如何應對ADAS/AD海量數(shù)據(jù)處理挑戰(zhàn)？

隨著軟件定義汽車的發(fā)展，車輛生成的數(shù)據(jù)量也以前所未有的速度不斷增加。這些數(shù)據(jù)包含廣泛的信息，包括傳感器數(shù)據(jù)、遙測數(shù)據(jù)、診斷數(shù)據(jù)等。在開發(fā)過程中，有效處理這些數(shù)據(jù)并從中獲得見解至關(guān)重要。

對于原始設備制造商（OEM）和汽車一級供應商（Tier 1）來說，是否自主構(gòu)建和維護數(shù)據(jù)處理流程是一個至關(guān)重要的考慮因素。數(shù)據(jù)處理流程是應對當下軟件定義汽車所產(chǎn)生的海量數(shù)據(jù)的基礎組件。

一、問題背景

在 AWS 等云平臺上為高級駕駛輔助系統(tǒng) （ADAS） 和自動駕駛 （AD） 數(shù)據(jù)構(gòu)建魯棒的數(shù)據(jù)處理流程，通常需要全面了解各種服務及其集成。您可能使用的特定服務可能取決于應用程序的要求、數(shù)據(jù)源和處理需求。

為了解決這一問題，康謀通過使用IVEX提出了專門用于應對ADAS/AD海量數(shù)據(jù)的數(shù)據(jù)處理流程。該流程的核心目的是自動從原始傳感器數(shù)據(jù)等輸入中識別出值得關(guān)注的事件和場景。構(gòu)建這樣的數(shù)據(jù)處理流程需要仔細考慮各種技術(shù)方面，例如：原始傳感器數(shù)據(jù)的云端存儲、基于原始數(shù)據(jù)的算法執(zhí)行（包括需要例如GPU等特定資源的機器學習算法）、事件和場景等后處理數(shù)據(jù)的存儲機制、算法版本控制、結(jié)果可視化以及確保數(shù)據(jù)僅對授權(quán)用戶可見。

二、內(nèi)部構(gòu)建或獲取預組裝解決方案

IVEX的數(shù)據(jù)處理流程基于多種AWS服務實現(xiàn)無縫銜接，以下是經(jīng)過策略性部署的AWS服務：

1. 原始傳感器的數(shù)據(jù)（包括激光雷達點云、相機圖像和GNSS信息）存儲在S3存儲服務中。S3用作采集數(shù)據(jù)的暫存地，為后期處理的數(shù)據(jù)提供擴展存儲，并為處理提供經(jīng)濟高效的短期存儲解決方案。此外，使用S3掛載點功能能讓S3作為主要的“處理卷”，使其能夠像文件系統(tǒng)一樣使用。雖然它不完全符合POSIX標準，對某些工作負載存在限制，但可以通過整合EFS和可能添加的FSx來解決這個問題，以根據(jù)需要確保兼容性。

2. 處理后的數(shù)據(jù)（重要事件和場景）存儲在關(guān)系型數(shù)據(jù)庫服務（Relational Database Service，RDS）和DocDB中。RDS是一個高效的存儲庫，用于組織對分析至關(guān)重要的標記數(shù)據(jù)。同時，DocDB作為文檔存儲運行，它是專為快速變化的數(shù)據(jù)和顯示目的所需的二進制數(shù)據(jù)而設計的。

3. EKS和EC2處理算法執(zhí)行和可視化任務。EKS充當一系列服務的主機，包括后端、數(shù)據(jù)服務、前端和處理服務。EC2主要用于根據(jù)為EKS制定的規(guī)則配置機器。

4. 算法的版本控制通過 ECR 進行管理。ECR用于存儲Docker容器鏡像。

5. 身份驗證通過Cognito進行。如果有必要，可以靈活地替換為任何OpenID Connect （OIDC）解決方案。

6. 數(shù)據(jù)傳輸和臨時數(shù)據(jù)存儲通過EFS進行管理。EFS作為臨時處理區(qū)域運行，供各種數(shù)據(jù)處理流水線存放中間數(shù)據(jù)并促進不同進程之間的數(shù)據(jù)共享。因為EFS完全符合POSIX標準，所以可以選擇它作為S3的替代文件系統(tǒng)。

這個方案示例突出了構(gòu)建魯棒的ADAS/AD數(shù)據(jù)處理流程所涉及的眾多云服務，并強調(diào)了應對各種技術(shù)復雜性的必要性。此外，還必須解決諸如組織輸入數(shù)據(jù)、確保數(shù)據(jù)格式兼容性以及管理和監(jiān)控數(shù)據(jù)格式變化等挑戰(zhàn)。

例如，隨著ADAS/AD系統(tǒng)的發(fā)展，添加更多傳感器以及管理不同車輛配置的需求成為數(shù)據(jù)處理流程中的關(guān)鍵考慮因素。如果不加以妥善處理，這些因素可能會導致不正確的數(shù)據(jù)處理，最終得到錯誤的結(jié)果。

上圖列出的是構(gòu)建此數(shù)據(jù)處理流程的預計工作量和成本細目，該處理流程可標記12種駕駛場景、提取駕駛參數(shù)，并支持可視化大型文件（≥ 10TB）。

三、總結(jié)

總之，解決上述的這些問題需要付出大量的努力。顯而易見的是，選擇預先搭建好的數(shù)據(jù)處理流程將擁有更低的開銷。此后，便可以將節(jié)省的時間和成本分配給開發(fā)OEM和Tier1產(chǎn)品的關(guān)鍵方面。