端到端已來，智駕仿真測試該怎么做？

一、前言

隨著智能駕駛技術(shù)的發(fā)展，端到端的解決方案被越來越多的開發(fā)者提及，各大汽車企業(yè)爭先恐后將端到端智駕方案部署到量產(chǎn)新車型上。過去，智能駕駛方案一直是按照感知、決策、規(guī)劃、控制這類規(guī)則驅(qū)動（rule-based）的模塊化方法推進(jìn)，然而規(guī)則驅(qū)動的模塊化方案存在“規(guī)則難以窮舉、ODD邊界模糊、擴(kuò)展與維護(hù)升級困難”等局限性。因此端到端的學(xué)習(xí)驅(qū)動（learning-based）方案應(yīng)運(yùn)而生。

端到端的方案具有很多顯而易見的優(yōu)勢，首先，它具備較強(qiáng)的泛化能力，可以通過數(shù)據(jù)發(fā)現(xiàn)潛在規(guī)律，適應(yīng)多樣化和復(fù)雜場景；其次，端到端可實(shí)現(xiàn)全面優(yōu)化，學(xué)習(xí)驅(qū)動直接將輸入（如傳感器數(shù)據(jù)）映射到輸出（如車輛控制指令），避免了模塊化方案中的中間過程（如感知、決策和控制分離）可能導(dǎo)致的信息丟失或誤差累積；此外，端到端可持續(xù)學(xué)習(xí)和升級，模型可以通過在線學(xué)習(xí)或周期性訓(xùn)練，不斷吸收新數(shù)據(jù)，從而適應(yīng)動態(tài)變化的環(huán)境需求，如更新的道路法規(guī)、復(fù)雜的新場景等。

圖 1 自動駕駛傳統(tǒng)模塊化方案與端到端方案

可見，端到端智駕方案優(yōu)勢非常明顯，但是對于仿真測試來說卻是“災(zāi)難性的挑戰(zhàn)”。過去模塊化智駕方案中，感知與規(guī)控之間有顯性接口。無論是SIL仿真還是HIL仿真，可以輕松繞過感知模塊，直接對規(guī)控進(jìn)行仿真測試（即使輸入合成的低置信度圖像或點(diǎn)云，也不對感知進(jìn)行評測）。而端到端方案的到來，不再有所謂感知與規(guī)控接口，原有SIL或HIL仿真方案需要重構(gòu)。面向端到端的智駕仿真必須從傳感器輸出數(shù)據(jù)切入，提供一種置信度高、一致性好、覆蓋率全面、故障注入便捷的全鏈路閉環(huán)仿真方案。

我們探索了一種有效的端到端智駕仿真解決方案，在仿真引擎和數(shù)據(jù)傳輸上進(jìn)行了大幅優(yōu)化，以應(yīng)對端到端帶來的挑戰(zhàn)，整體框架如圖2所示。本方案充分利用了智能駕駛的中間件技術(shù)，將仿真引擎生成的傳感器原始數(shù)據(jù)（部分為結(jié)構(gòu)化數(shù)據(jù)）直接傳遞給智駕應(yīng)用層，繞過了傳感器硬件和驅(qū)動，縮短了仿真數(shù)據(jù)傳輸鏈路，規(guī)避了仿真系統(tǒng)開發(fā)過程帶來的復(fù)雜適配與調(diào)試工作。大大縮短開發(fā)周期的同時，還顯著降低了整個仿真系統(tǒng)的成本。

圖 2 基于軟件定義接口和中間件的閉環(huán)測試

二、XIL架構(gòu)仿真

方案核心架構(gòu)基于aiSim仿真器，采用XIL架構(gòu)，并提供開放靈活的API接口，滿足不同仿真測試需求。無論是傳感器模型、車輛動力學(xué)，還是場景構(gòu)建，都有對應(yīng)的功能模組來實(shí)現(xiàn)。

圖 3 aiSim XIL架構(gòu)示意圖

aiSim Air引擎支持如Raster、Raytrace等多種渲染方案，并兼容3DGS/NeRF等技術(shù)，能夠在平衡渲染效率和置信度的同時，優(yōu)化資源占用和數(shù)據(jù)傳輸效率。此外作為通過ISO 26262 ASIL D認(rèn)證的仿真工具，aiSim能夠在不同傳感器和天氣條件下提供完全的確定性和一致性。

圖 4 Raster和Raytrace渲染支持

圖 5 兼容三維重建場景

三、靈活先進(jìn)的場景構(gòu)建方案

此外，我們采用了多種先進(jìn)的場景構(gòu)建方案，極大地增強(qiáng)了測試的靈活性和廣度。交互式圖形化場景編輯工具支持OpenScenario和aiSim自定義的AimScenario兩種場景格式，能夠逐幀回放編輯過程。

圖 6 圖形化場景編輯工具

高斯?jié)姙R渲染器（GGSR）則可以在3D重建場景中動態(tài)插入物體，優(yōu)化環(huán)境條件，減少偽影，修復(fù)鏡頭下的非一致性問題。

圖 7 非一致性修正

圖 8 三維重建場景天氣環(huán)境編輯

圖 9 任意視角下多模態(tài)效果圖

LogSim2WorldSim進(jìn)一步通過云端自動化處理和分析原始數(shù)據(jù)，實(shí)現(xiàn)了基于EuroNCAP等法規(guī)場景的切片、預(yù)測試和回放功能。

圖 10 LogSim2WorldSim方案轉(zhuǎn)換流程

在完成場景構(gòu)建后，通過VRU、建筑物、道路標(biāo)志和天氣等動靜態(tài)元素，對場景的邊緣條件進(jìn)行探索，確保端到端測試全面覆蓋。

圖 11 場景泛化方案

四、高保真物理傳感器模型

在傳感器仿真方面，通過物理級相機(jī)、激光雷達(dá)和毫米波雷達(dá)模型等豐富模型庫的支持，可以實(shí)現(xiàn)快速配置和參數(shù)調(diào)整。此外通過精準(zhǔn)仿真HDR、高動態(tài)范圍、動態(tài)模糊、曝光等不同的視覺效應(yīng)，能夠確保各種駕駛環(huán)境和天氣條件下的高保真度測試。

圖 12 相機(jī)模型鏡頭效應(yīng)

圖 13 鏡頭不同曝光次數(shù)下HDR圖像

圖 14 不同天氣條件下鏡頭效果

激光雷達(dá)和毫米波雷達(dá)模型也能有效模擬不同天氣條件下的傳感器行為，為高效的多目標(biāo)檢測和車道線檢測任務(wù)提供可靠數(shù)據(jù)支持。

圖 15 激光雷達(dá)BRDF材質(zhì)反射

圖 16 雨雪天氣激光雷達(dá)點(diǎn)云輸出效應(yīng)

圖 17 激光雷達(dá)點(diǎn)云置信度驗(yàn)證

圖 18 毫米波雷達(dá)點(diǎn)云

五、置信度與仿真結(jié)果分析

我們還對采用此方案的仿真結(jié)果進(jìn)行了詳細(xì)的驗(yàn)證。例如，在車道線檢測任務(wù)中，aiSim仿真與真實(shí)世界數(shù)據(jù)之間的召回率一致，達(dá)到了98.45%的高準(zhǔn)確率。多個目標(biāo)檢測任務(wù)的測試結(jié)果也表明，仿真與實(shí)際表現(xiàn)高度契合，尤其在近距離目標(biāo)的檢測中，召回率表現(xiàn)優(yōu)異。

圖 19 置信度測試1：車道線檢測算法

圖 20 置信度測試2：多目標(biāo)檢測

端到端智駕仿真方案還在多個測試環(huán)境中展現(xiàn)了出色的表現(xiàn)，包括實(shí)車靜態(tài)和動態(tài)測試、車輛模型與動力學(xué)模型的集成，支持FMU接口快速接入第三方動力學(xué)模型。

圖 21 動力學(xué)測量和建模

每次仿真結(jié)束后，系統(tǒng)會自動生成SQLite數(shù)據(jù)庫文件，方便進(jìn)行深入的分析和數(shù)據(jù)挖掘，確保測試結(jié)果的全面性和準(zhǔn)確性。

圖 22 測試結(jié)果可視化分析

六、應(yīng)用案例分享

隨著自動駕駛測試需求的日益復(fù)雜，基于aiSim為核心的端到端仿真方案憑借其易于擴(kuò)展的特性，可以支持SiL/HiL等多種應(yīng)用場景，并提供了與ROS2、Simulink、Matlab等系統(tǒng)的無縫集成。

圖 23 基于DMA視頻注入閉環(huán)測試方案及監(jiān)測窗口

我們還嘗試探索了專為GNSS集成域控制器、決策功能快速測試等場景的測試方案，進(jìn)一步提高了測試效率，降低了硬件成本。

圖 24 GNSS聯(lián)合仿真方案

七、結(jié)語

本次介紹的端到端智駕仿真測試方案，以aiSim引擎和XIL架構(gòu)為核心支撐，憑借其開放的接口設(shè)計、靈活的場景構(gòu)建與測試功能，為自動駕駛技術(shù)的驗(yàn)證與優(yōu)化提供了強(qiáng)有力的支持。無論客戶面臨的是提升測試效率的迫切需求，還是降低成本的現(xiàn)實(shí)壓力，端到端智駕仿真測試方案都能幫助客戶輕松應(yīng)對自動駕駛測試中的種種復(fù)雜挑戰(zhàn)，實(shí)現(xiàn)技術(shù)難題的快速解決。