為什么最新AI模型并不總能最適合邊緣AI
當您準備在家度過一個放松的夜晚時,您可能會要求您的智能手機播放您最喜歡的歌曲或告訴您的家庭助理調(diào)暗燈光。這些任務感覺很簡單,因為它們是由人工智能 (AI) 提供支持的,人工智能 (AI) 現(xiàn)在已融入我們的日常生活。這些流暢交互的核心是邊緣人工智能——直接在智能手機、可穿戴設備和物聯(lián)網(wǎng)設備等設備上運行的人工智能,提供即時、直觀的響應。
什么是邊緣人工智能?
邊緣AI是指將AI算法直接部署在網(wǎng)絡“邊緣”的設備上,而不是依賴中心化的云數(shù)據(jù)中心。這種方法利用邊緣設備(例如筆記本電腦、智能手機、智能手表和家用電器)的處理能力在本地做出決策。
邊緣人工智能為隱私和安全提供了關(guān)鍵優(yōu)勢:通過最大限度地減少通過互聯(lián)網(wǎng)傳輸敏感數(shù)據(jù)的需要,邊緣人工智能降低了數(shù)據(jù)泄露的風險。它還提高了數(shù)據(jù)處理和決策的速度,這對于醫(yī)療保健可穿戴設備、工業(yè)自動化、增強現(xiàn)實和游戲等實時應用至關(guān)重要。邊緣人工智能甚至可以在連接間歇性的環(huán)境中運行,以有限的維護支持自主性并降低數(shù)據(jù)傳輸成本。
雖然人工智能現(xiàn)在已集成到許多設備中,但在日常設備中啟用強大的人工智能功能在技術(shù)上具有挑戰(zhàn)性。邊緣設備在處理能力、內(nèi)存和電池壽命的嚴格限制下運行,在適度的硬件規(guī)格內(nèi)執(zhí)行復雜的任務。
例如,智能手機要執(zhí)行復雜的面部識別,必須使用尖端的優(yōu)化算法在幾毫秒內(nèi)分析圖像并匹配特征。耳塞上的實時翻譯需要保持低能耗,以確保延長電池壽命。雖然基于云的 AI 模型可以依賴具有廣泛計算能力的外部服務器,但邊緣設備必須湊合使用手頭的東西。這種向邊緣處理的轉(zhuǎn)變從根本上改變了人工智能模型的開發(fā)、優(yōu)化和部署方式。
幕后花樣:針對邊緣優(yōu)化人工智能
能夠在邊緣設備上高效運行的 AI 模型需要大幅減小大小和計算能力,同時保持類似的可靠結(jié)果。這個過程通常稱為模型壓縮,涉及神經(jīng)架構(gòu)搜索 (NAS)、遷移學習、修剪和量化等高級算法。
模型優(yōu)化應首先選擇或設計專門適合設備硬件功能的模型架構(gòu),然后對其進行優(yōu)化以在特定邊緣設備上高效運行。NAS 技術(shù)使用搜索算法來探索許多可能的 AI 模型,并找到最適合邊緣設備上特定任務的模型。遷移學習技術(shù)使用已訓練的較大模型(教師)訓練小得多的模型(學生)。修剪涉及消除不會顯著影響準確性的冗余參數(shù),量化將模型轉(zhuǎn)換為使用較低精度的算術(shù)來節(jié)省計算和內(nèi)存使用。
在將最新的 AI 模型引入邊緣設備時,人們很容易只關(guān)注它們執(zhí)行基本計算的效率,特別是“乘法累加”運算或 MAC。簡單來說,MAC 效率衡量的是芯片完成 AI 核心數(shù)學運算的速度:將數(shù)字相乘并相加。模型開發(fā)人員可以獲得“MAC 隧道視野”,專注于該指標而忽略其他重要因素。
一些最流行的 AI 模型(如 MobileNet、EfficientNet 和用于視覺應用的 transformers)旨在在這些計算中非常高效。但在實踐中,這些模型并不總是在我們手機或智能手表內(nèi)的 AI 芯片上運行良好。這是因為實際性能不僅取決于數(shù)學速度,還取決于數(shù)據(jù)在設備內(nèi)部移動的速度。如果模型需要不斷從內(nèi)存中獲取數(shù)據(jù),那么無論計算速度有多快,它都會減慢所有速度。
令人驚訝的是,像 ResNet 這樣較舊、體積更大的型號有時在當今的設備上效果更好。它們可能不是最新或最精簡的,但內(nèi)存和處理之間的來回更適合 AI 處理器規(guī)格。在實際測試中,這些經(jīng)典型號在邊緣設備上提供了更好的速度和準確性,即使在經(jīng)過修剪以適應之后也是如此。
教訓?“最好”的人工智能模型并不總是具有最華麗的新設計或最高的理論效率的模型。對于邊緣設備來說,最重要的是模型與其實際運行的硬件的契合程度。
而且這種硬件也在迅速發(fā)展。為了滿足現(xiàn)代人工智能的需求,設備制造商已開始在智能手機、智能手表、可穿戴設備等中加入稱為人工智能加速器的特殊專用芯片。這些加速器是專門為處理 AI 模型所需的計算和數(shù)據(jù)移動而構(gòu)建的。每年都會在架構(gòu)、制造和集成方面取得進步,確保硬件跟上人工智能趨勢。
邊緣人工智能的未來之路
由于生態(tài)系統(tǒng)的碎片化性質(zhì),在邊緣設備上部署人工智能模型變得更加復雜。由于許多應用程序需要自定義模型和特定硬件,因此缺乏標準化。需要的是高效的開發(fā)工具來簡化邊緣應用程序的機器學習生命周期。此類工具應該使開發(fā)人員更容易針對實際性能、功耗和延遲進行優(yōu)化。
設備制造商和人工智能開發(fā)人員之間的合作正在縮小工程和用戶交互之間的差距。新興趨勢側(cè)重于上下文感知和自適應學習,使設備能夠更自然地預測和響應用戶需求。通過利用環(huán)境線索和觀察用戶習慣,邊緣人工智能可以提供直觀且個性化的響應。本地化和定制化的智能將改變我們對技術(shù)和世界的體驗。
評論