康謀分享 | AD/ADAS的性能概覽：在AD/ADAS的開發(fā)與驗證中“大海撈針”！

如果您希望從數(shù)百萬小時的駕駛數(shù)據(jù)中查找特定的相關(guān)駕駛事件和未遂事故，以確保您的所需功能正確運行，最好的方法就是創(chuàng)建一個系統(tǒng)性能的概覽分析，實現(xiàn)在數(shù)據(jù)日志中快速檢索關(guān)注點。為此，康謀在本文將為您詳細(xì)介紹IVEX的智能概覽功能，助力AD/ADAS的開發(fā)與驗證！

一、AD/ADAS性能概覽的重要性

為了開發(fā)、演進(jìn)、測試和驗證自動駕駛（AD）功能或自動駕駛輔助系統(tǒng)（ADAS），各大企業(yè)都在生成數(shù)千小時的包含仿真或真實世界的駕駛數(shù)據(jù)日志。那么，如何才能知道自身的AD/ADAS系統(tǒng)是否始終按要求運行？是否朝著更好的表現(xiàn)發(fā)展？

對“脫離”AD/ADAS模式的情況進(jìn)行分析是一種常見的方法。這有助于了解系統(tǒng)失敗的“原因”，而后可對表現(xiàn)不佳的地方進(jìn)行分組，提供一個概覽以確定糾正這些失敗的優(yōu)先順序。然而，“脫離”分析僅涵蓋“已知”的不當(dāng)行為，對于邊緣/極端情況該如何處理？更重要的是，對于險些發(fā)生的事故如何處理？

例如，由于一個錯誤檢測或者說“幽靈檢測”，白色的自車認(rèn)為它將與車輛1發(fā)生碰撞，因此決定執(zhí)行變道操作，如圖1所示。幸運的是，由于自車的左車道是空的，該操作是可行的，否則就可能會由于自車的急剎車而導(dǎo)致與車輛4發(fā)生追尾事故。

圖1 追尾未遂

這種更深入、更有成效的分析也與ISO 21448（SOTIF）所提出的過程相匹配，以識別在某些不利觸發(fā)條件下系統(tǒng)可能會表現(xiàn)出的局限性、弱點與干擾，而這些都可能導(dǎo)致事故或相關(guān)意外事件的發(fā)生。

如果能夠提供AD/ADAS系統(tǒng)性能的概覽，工程師就可以迅速在結(jié)構(gòu)化分析中定位所有相關(guān)的事件或條件，例如：

（1）數(shù)據(jù)日志中出現(xiàn)了哪些未遂事故？

（2）系統(tǒng)在哪一個操作域（OD）表現(xiàn)不佳，原因是什么？

（3）開發(fā)是否正朝著更好的表現(xiàn)方向發(fā)展？

（4）是否應(yīng)該修改功能需求，以便流暢且充分地與現(xiàn)實世界交互？

（5）功能是否滿足了指定的需求？

因此，為了開發(fā)和驗證AD/ADAS系統(tǒng)，需要有效地識別、分析并了解所有可能的未遂事故、性能不足或觸發(fā)條件，這些都對AD/ADAS系統(tǒng)構(gòu)成了挑戰(zhàn)。然而，當(dāng)前高度依賴人工的技術(shù)手段如同“海底撈針”，在數(shù)百萬小時的駕駛數(shù)據(jù)中幾乎難以發(fā)現(xiàn)目標(biāo)。

二、康謀IVEX智能概覽 

為了整理駕駛數(shù)據(jù)并找到那些重要的“針”，康謀IVEX通過使用特定的安全和關(guān)鍵績效指標(biāo)（SPIs，KPIs），即根據(jù)采集/模擬駕駛數(shù)據(jù)匯總的“指標(biāo)（metrics）”，以創(chuàng)建系統(tǒng)性能的最佳概覽。

1、利用指標(biāo)整理駕駛數(shù)據(jù)

由于采集數(shù)據(jù)的非結(jié)構(gòu)化特性和不斷變化的動態(tài)交通環(huán)境，整理駕駛數(shù)據(jù)存在巨大挑戰(zhàn)。我們設(shè)定了3個主要指標(biāo)類型來整理數(shù)據(jù)：傳感器與感知指標(biāo)、行為指標(biāo)、舒適度指標(biāo)。

第一層是傳感器與感知指標(biāo)。它們是自動駕駛汽車與環(huán)境的初始接觸點，表示系統(tǒng)對周圍環(huán)境的感知程度，有助于在開發(fā)的早期階段突出性能不佳的情況，例如誤報對象檢測、車道線提取失敗等。

第二層指標(biāo)關(guān)注AD/ADAS系統(tǒng)采取的控制和行為動作。例如，對于自動緊急制動（AEB）系統(tǒng)，需要檢查制動信號是否在正確的時間觸發(fā)，進(jìn)而產(chǎn)生更好的減速。

第三層指標(biāo)是指乘客可能體驗到的舒適度。例如，為了驗證自動車道保持輔助系統(tǒng)（ALKS），可以測量車輛產(chǎn)生的任何會給乘客帶來不適的擺動行為。

根據(jù)待測的AD/ADAS功能確定了哪些指標(biāo)是感興趣的之后，就可以有效地開始整理數(shù)據(jù)。除了前面的例子，指標(biāo)還可以是跟蹤感知物體尺寸、檢查檢測到的車輛邊界框是否分裂或合并、監(jiān)測與其他交通元素的前后距離和橫向距離、預(yù)測潛在碰撞以及評估檢測到的車道標(biāo)識質(zhì)量。IVEX軟件也允許工程師通過簡單的編程API包含他們自己的定制指標(biāo)。

2、創(chuàng)建合理且可觀的概覽

當(dāng)使用選定的指標(biāo)整理好記錄的駕駛數(shù)據(jù)后，如何在所有的數(shù)據(jù)中找到所需的“針”？在IVEX中，我們創(chuàng)建了一個優(yōu)化的流程來高效處理所有駕駛數(shù)據(jù)日志。

我們匯總了所有的測量結(jié)果，提供了一個基于指標(biāo)的清晰組織。此外，由于當(dāng)前的L2+ ADAS系統(tǒng)受限于運行設(shè)計域（ODD），例如ALKS僅適用于車速低于60公里/小時的高速公路場景。我們根據(jù)ODD對分析進(jìn)行切分，以便于簡化搜索空間。所有結(jié)果被匯總并呈現(xiàn)在一個簡潔、可定制的界面中，只需單擊三下即可“大海撈針”，詳細(xì)檢查特定的駕駛場景。

現(xiàn)在，我們可以觀察整理得到的數(shù)據(jù)結(jié)果，如下圖所示。這些結(jié)果是對所有數(shù)據(jù)日志的全面匯總，并以簡單但具有指導(dǎo)性的方式展示。每個指標(biāo)的結(jié)果顯示在每一行上，而ODD則顯示在列中。在每個單元格內(nèi)呈現(xiàn)的是相應(yīng)指標(biāo)與ODD組合的違規(guī)率。

圖2 聚合分析

舉個例子，假設(shè)我們正在分析城市環(huán)境中駕駛系統(tǒng)的舒適性：

在一次點擊中，我們選擇了“低速”O(jiān)DD（小于15公里/小時）下的“急剎車”指標(biāo)。

接下來,我們看到的是在所選擇的ODD內(nèi),所有分析的數(shù)據(jù)日志中施加的制動減速度分布情況。如果要求規(guī)定施加的制動減速度應(yīng)小于4米/秒2，那么可以立即看到有0.06%的情況未能滿足這一要求。通過第二次點擊，就可以選擇特定的制動范圍（分布中的列）來分析特定的事件/情景。

圖3 智能概覽訪問特定記錄數(shù)據(jù)流程示意圖

而后，工程師就可以直接訪問確切時間戳的特定記錄數(shù)據(jù)，觀察完整情況并獲得有關(guān)問題的額外見解。

三、結(jié)論

本文案例中，IVEX可以從69小時的駕駛?cè)罩局袦?zhǔn)確篩選出會令乘客非常不舒適的特定急剎車事件（減速度超過4米/秒2），展示了一種非常簡單工作流程。除了能夠幫助工程師在幾秒鐘內(nèi)從大量數(shù)據(jù)中找到相關(guān)事件，IVEX還提供可用于根據(jù)SOTIF和UL4600進(jìn)行安全論證的報告。

簡而言之，IVEX可以助力于實現(xiàn)：

1、整理海量數(shù)據(jù)日志并從中識別特定事件

2、識別需要添加為SOTIF分析一部分的觸發(fā)條件

3、跟蹤AD/ADAS系統(tǒng)在不同迭代中的演變，以展示系統(tǒng)改進(jìn)的論據(jù)，并為UL4600文檔提供具體的支持。