合成數(shù)據(jù)為自動駕駛汽車鋪平了道路

根據(jù)幾年前的樂觀預(yù)測，自動駕駛汽車現(xiàn)在應(yīng)該已經(jīng)在我們的車庫里了。但隨著自動駕駛出租車的采用率上升，消費者逐漸習(xí)慣了車輛中越來越復(fù)雜的駕駛輔助系統(tǒng)，我們可能正在接近一些轉(zhuǎn)折點。總部位于硅谷的 Helm.ai 是一家推動發(fā)展的公司，該公司為駕駛員輔助系統(tǒng)和全自動駕駛汽車開發(fā)軟件。

該公司為自動駕駛汽車在道路上所需的意圖預(yù)測和路徑規(guī)劃提供基礎(chǔ)模型，還使用生成式 AI 創(chuàng)建合成訓(xùn)練數(shù)據(jù)，讓車輛為許多可能出錯的事情做好準(zhǔn)備。 IEEE Spectrum 與 Helm.ai 的創(chuàng)始人兼首席執(zhí)行官 Vladislav Voroninski 就該公司創(chuàng)建合成數(shù)據(jù)來訓(xùn)練和驗證自動駕駛汽車系統(tǒng)進行了交談。

Helm.ai 如何使用生成式 AI 來幫助開發(fā)自動駕駛汽車？

弗拉迪斯拉夫·沃羅寧斯基：我們將生成式 AI 用于模擬目的。那么，給定你觀察到的一定數(shù)量的真實數(shù)據(jù)，你能根據(jù)這些數(shù)據(jù)模擬新的情況嗎？您希望創(chuàng)建盡可能真實的數(shù)據(jù)，同時實際提供新內(nèi)容。我們可以從任何相機或傳感器創(chuàng)建數(shù)據(jù)，以增加這些數(shù)據(jù)集的多樣性，并解決訓(xùn)練和驗證的極端情況。

我知道您使用 VidGen 創(chuàng)建視頻數(shù)據(jù)，使用 WorldGen 創(chuàng)建其他類型的傳感器數(shù)據(jù)。不同的汽車公司是否仍然依賴不同的模式？

沃羅寧斯基： 我們的客戶肯定對多種模式感興趣。不是每個人都只想用視力做所有事情。相機相對便宜，而激光雷達(dá)系統(tǒng)更昂貴。但我們實際上可以訓(xùn)練模擬器，這些模擬器獲取相機數(shù)據(jù)并模擬激光雷達(dá)輸出的樣子。這可能是節(jié)省成本的一種方式。

即使只是視頻，在您進行實時駕駛時，也會有一些情況非常罕見或幾乎不可能獲得，或者太危險而無法獲得。因此，我們可以使用生成式 AI 來創(chuàng)建非常非常高質(zhì)量的視頻數(shù)據(jù)，并且在這些情況下與真實數(shù)據(jù)基本上沒有區(qū)別。這也是節(jié)省數(shù)據(jù)收集成本的一種方式。

您如何創(chuàng)建這些不尋常的邊緣情況？你說..「現(xiàn)在把一只袋鼠放在路上，現(xiàn)在把一只斑馬放在路上”嗎？

沃羅寧斯基： 有一種方法可以查詢這些模型，讓它們產(chǎn)生異常情況 — 這實際上只是整合控制仿真模型的方法。這可以通過文本或提示圖像或各種類型的幾何輸入來完成。這些場景可以明確指定：如果汽車制造商已經(jīng)有一份他們知道可能發(fā)生的情況的清單，他們可以查詢這些基礎(chǔ)模型來生成這些情況。您還可以做一些更具可擴展性的作，其中有一些探索過程或模擬中發(fā)生的情況隨機化，這可用于針對各種情況測試您的自動駕駛堆棧。

視頻數(shù)據(jù)的一個好處是，它絕對仍然是自動駕駛的主要模式，您可以使用不僅僅是來自駕駛的視頻數(shù)據(jù)進行訓(xùn)練。因此，當(dāng)涉及到那些稀有的天體類別時，您實際上可以在許多不同的數(shù)據(jù)集中找到它們。

那么，如果你有一個動物園里動物的視頻數(shù)據(jù)集，它能幫助駕駛系統(tǒng)識別路上的袋鼠嗎？

沃羅寧斯基： 當(dāng)然，這種數(shù)據(jù)可以用來訓(xùn)練感知系統(tǒng)來理解這些不同的對象類別。它還可用于模擬傳感器數(shù)據(jù)，將這些對象整合到駕駛場景中。我的意思是，同樣，很少有人在現(xiàn)實生活中見過路上的袋鼠。甚至可能在視頻中。但這很容易在你的腦海中浮現(xiàn)，對吧？如果你真的看到了它，你就能很快理解它。生成式 AI 的優(yōu)點在于，如果 [模型] 在不同場景中接觸到不同的概念，它可以在新穎的情況下將這些概念組合在一起。它可以在其他情況下觀察它，然后將這種理解帶到駕駛中。

您如何對合成數(shù)據(jù)進行質(zhì)量控制？您如何向客戶保證它與真品一樣好？

沃羅寧斯基：您可以捕獲一些指標(biāo)，以數(shù)字方式評估真實數(shù)據(jù)與合成數(shù)據(jù)的相似性。一個例子是你獲取一個真實數(shù)據(jù)的集合，然后你獲取一個旨在模擬它的合成數(shù)據(jù)的集合。你可以對兩者進行概率分布擬合。然后，您可以用數(shù)字方式比較這些概率分布之間的距離。

其次，我們可以驗證合成數(shù)據(jù)對于解決某些問題有用。你可以說，“我們要解決這個極端情況。您只能使用模擬數(shù)據(jù)。您可以驗證使用模擬數(shù)據(jù)是否確實解決了問題，并提高此任務(wù)的準(zhǔn)確性，而無需對真實數(shù)據(jù)進行訓(xùn)練。

是否有反對者說合成數(shù)據(jù)永遠(yuǎn)不夠好，無法訓(xùn)練這些系統(tǒng)并教給它們他們需要知道的一切？

沃羅寧斯基： 反對者通常不是 AI 專家。如果你尋找冰球的去向，很明顯，仿真將對自動駕駛系統(tǒng)的開發(fā)產(chǎn)生巨大影響。此外，一個移動的目標(biāo)就足夠好了，就像 AI 或 AGI [通用人工智能] 的定義一樣。做了一些發(fā)展，然后人們習(xí)慣了它們，“哦，這已經(jīng)沒意思了。一切都是為了接下來的事情。但我認(rèn)為很明顯，基于 AI 的模擬將繼續(xù)改進。如果你明確希望 AI 系統(tǒng)對某事進行建模，那么此時沒有瓶頸。然后，這只是一個問題，即它的推廣程度如何。