用于邊緣設(shè)備的AI為設(shè)備制造商營造機會

作者 Werner Goertz Annette Jump Gartner個人科技團隊研究總監(jiān) Alan Priestley Gartner研究總監(jiān)

摘要：在持續(xù)完善機器學(xué)習(xí)模型和訓(xùn)練過程中，各種個人設(shè)備(如：移動設(shè)備、汽車和物聯(lián)網(wǎng))發(fā)揮著不可或缺的作用。著重闡述了個人設(shè)備在優(yōu)化深度學(xué)習(xí)架構(gòu)中發(fā)揮的關(guān)鍵作用。

　　傳統(tǒng)的機器學(xué)習(xí)包括兩個功能：訓(xùn)練和推理(運行時間)。訓(xùn)練模型(參見圖1)通過對比真實事件(例如，捕捉圖像中的對象)實現(xiàn)持續(xù)改進和完善。在傳統(tǒng)模型中，訓(xùn)練和推理完全在云中運行(圖1中左側(cè)的垂直箭頭)。然而，這種模式最終會遇到可擴展性問題，如：不可接受的延遲，依賴永遠在線的帶寬和數(shù)據(jù)隱私問題等。因此，一種新的機器學(xué)習(xí)架構(gòu)正在興起，處于網(wǎng)絡(luò)邊緣的設(shè)備在機器學(xué)習(xí)中扮演一定角色，尤其是在推理(右側(cè)垂直箭頭所示)方面。

　　對于各種設(shè)備制造商而言，這種新的分布式架構(gòu)是很好的選擇。科技產(chǎn)品管理領(lǐng)導(dǎo)者必須了解這一新興趨勢，掌握能夠啟動設(shè)備，將推理放在邊緣上或設(shè)備中的組件和框架知識。現(xiàn)在，制定路線圖成為了必要條件，它將本地AI(人工智能)處理和價值創(chuàng)造考慮到其中。下列設(shè)備將受益于新架構(gòu)結(jié)構(gòu)的開發(fā)，并成為設(shè)備層面的推理備選項：

　　● 支持虛擬個人助理的揚聲器(VPA-enabled speakers);

　　● 家庭網(wǎng)關(guān)(home gateways);

　　● 智能手機;

　　● 平板電腦/個人電腦;

　　● 家庭傳感器(home sensors)。

　　在持續(xù)完善機器學(xué)習(xí)模型和訓(xùn)練過程中，各種個人設(shè)備(如：移動設(shè)備、汽車和物聯(lián)網(wǎng))發(fā)揮著不可或缺的作用。

　　在本文中，我們著重闡了個人設(shè)備在優(yōu)化深度學(xué)習(xí)架構(gòu)中發(fā)揮的關(guān)鍵作用。

1 AI市場與分布式AI框架相融合

　　領(lǐng)先的AI框架組合已經(jīng)成形，并正在支持AI組件的無縫集成。這些框架包括：

　　● TensorFlow/TensorFlow Lite：TensorFlow是Google的開源工具和軟件庫，旨在加速機器學(xué)習(xí)應(yīng)用的開發(fā)過程。2017年5月，TensorFlow Lite在Google I/O上推出。

　　● Caffe：Caffe是加州大學(xué)伯克利分校開發(fā)的獨立框架。Caffe也是一種開源框架，由全球貢獻者網(wǎng)絡(luò)提供支持。

　　● MXNet：Nvidia和Amazon是MXNet背后的推動力。Amazon Web Services(AWS)的客戶對該開源框架推崇有加。

2 運行中的邊緣AI

　　如今，技術(shù)供應(yīng)商，特別是在智能家居領(lǐng)域的供應(yīng)商都在面向邊緣AI的未來格局設(shè)計相關(guān)產(chǎn)品，而基于機器學(xué)習(xí)的智能數(shù)據(jù)分析就是不錯的開端。此類典型產(chǎn)品包括：

　　● 聯(lián)網(wǎng)家庭中樞和Wi-Fi接入點的制造商Securifi已經(jīng)將其機器學(xué)習(xí)功能應(yīng)用于高端Almond路由器系列，“學(xué)習(xí)”聯(lián)網(wǎng)家庭設(shè)備的典型行為和流量模式;

　　● Speechmatics正在開發(fā)最終可以完全在設(shè)備上運行的自然語言處理技術(shù);

　　● Mojo Networks提供基于AI的工具以檢測Wi-Fi或有線網(wǎng)絡(luò)問題。

3 AI解決方案的開發(fā)需要個人設(shè)備供應(yīng)商考慮兩個發(fā)展階段

　　除了確定AI解決方案的使用目的，在評估AI解決方案的部署情況時，技術(shù)產(chǎn)品管理領(lǐng)導(dǎo)者必須考慮兩個關(guān)鍵的開發(fā)階段，具體如下。

3.1 開發(fā)和訓(xùn)練AI模型/神經(jīng)網(wǎng)絡(luò)

　　許多基于AI的項目利用基于數(shù)據(jù)中心的資源，開發(fā)和訓(xùn)練用戶與其個人設(shè)備互動的模型和神經(jīng)網(wǎng)絡(luò)，從而從AI解決方案中獲益。利用數(shù)據(jù)中心資源的原因在于神經(jīng)網(wǎng)絡(luò)的初始模型必須經(jīng)過訓(xùn)練和“提升”，才能承擔(dān)預(yù)期的特定任務(wù)，包括語音識別/響應(yīng)、語音翻譯或圖像識別。這通常要求模型能夠訪問大量的“已知”數(shù)據(jù)和運行模型的連續(xù)迭代，來確保提供正確結(jié)果。訓(xùn)練神經(jīng)網(wǎng)絡(luò)需要高性能的服務(wù)器驅(qū)動系統(tǒng)，該系統(tǒng)能夠?qū)崿F(xiàn)極高的數(shù)據(jù)吞吐量，以保證模型的多次迭代在可控時間段內(nèi)運行。這些系統(tǒng)通常基于高性能x86微處理器，并輔以一系列圖形處理器(GPU)，來加速神經(jīng)網(wǎng)絡(luò)算法的高度并行元素。

　　在很大程度上，經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)的可靠性取決于訓(xùn)練網(wǎng)絡(luò)的已知優(yōu)良數(shù)據(jù)。這將要求設(shè)備供應(yīng)商的技術(shù)產(chǎn)品管理領(lǐng)導(dǎo)者評估目前哪些數(shù)據(jù)可用，或能夠訪問哪些數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò);在可用數(shù)據(jù)不足的情況下，可以授權(quán)第三方數(shù)據(jù)集，或獲得預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的訪問權(quán)限。使用預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)可以最大限度地減少對高性能服務(wù)器基礎(chǔ)架構(gòu)的投資，而在訓(xùn)練階段處理大型數(shù)據(jù)集離不開這些基礎(chǔ)架構(gòu)。

　　在開發(fā)和訓(xùn)練模型或神經(jīng)網(wǎng)絡(luò)之后，開發(fā)人員通常會優(yōu)化模型，以便在基于“未知”數(shù)據(jù)推斷新結(jié)果，即在供客戶使用之時，減少費用和等待時間。

3.2 確定如何有效地為客戶部署AI解決方案

　　用于部署AI解決方案，根據(jù)未知數(shù)據(jù)推斷結(jié)果的選擇有多種：

　　(1)云端部署

　　對于許多開發(fā)人員而言，這將是很簡單的部署方案。開發(fā)人員能夠利用與開發(fā)神經(jīng)網(wǎng)絡(luò)相同的系統(tǒng)和技術(shù)，這些系統(tǒng)已經(jīng)成為許多云服務(wù)中的“標(biāo)準(zhǔn)”產(chǎn)品。

　　這種方法面臨的挑戰(zhàn)是大量原始數(shù)據(jù)必須傳遞到云端，以便神經(jīng)網(wǎng)絡(luò)做出響應(yīng)。這需要一個連續(xù)的高帶寬通信連接到云端，使用具有有線互聯(lián)網(wǎng)連接的設(shè)備，這一切將成為可能(例如智能家居設(shè)備和VPA)。然而，當(dāng)無法保證云端連接或帶寬有限時，此方法并不適用(例如蜂窩連接)。

　　另一個必須考慮的因素是云服務(wù)處理輸入數(shù)據(jù)，以及在合理時間內(nèi)做出響應(yīng)的能力，這就是所謂的延遲。人們對于在用戶心生不滿、轉(zhuǎn)而采用其它方法之前的合理系統(tǒng)響應(yīng)時間內(nèi)已開展了諸多研究。而且隨著AI系統(tǒng)被用于任務(wù)關(guān)鍵型/生命關(guān)鍵型決策，延遲將越來越重要(例如自主駕駛系統(tǒng))。

　　在很多情況下，應(yīng)用程序延遲將是數(shù)據(jù)傳輸時間與神經(jīng)網(wǎng)絡(luò)原始執(zhí)行時間共同的結(jié)果。在任何時候，這兩種情況都會受到用戶數(shù)量的影響。在高峰期，網(wǎng)絡(luò)帶寬或云計算能力可能會限制性能。

　　(2)個人設(shè)備

　　通過訓(xùn)練神經(jīng)網(wǎng)絡(luò)和優(yōu)化推理模型，運行模型所需的處理資源一般遠遠少于訓(xùn)練階段所需的資源。這能夠使模型在更簡單的設(shè)備上運行，如：FPGA、專用神經(jīng)網(wǎng)絡(luò)芯片，甚至今天許多個人設(shè)備中使用的Arm處理器內(nèi)核。

　　在個人設(shè)備中部署神經(jīng)網(wǎng)絡(luò)模型可以幫助開發(fā)人員解決依賴云服務(wù)造成的延遲和連接性挑戰(zhàn)。

　　然而，將神經(jīng)網(wǎng)絡(luò)模型遷至設(shè)備本身也存在挑戰(zhàn)。首先，個人設(shè)備必須有足夠的資源運行神經(jīng)網(wǎng)絡(luò)模型和數(shù)據(jù)存儲，保存參考數(shù)據(jù)，使其能夠根據(jù)新的未知輸入推斷答案。

　　個人設(shè)備有各種設(shè)計限制。這些限制可能包括外形規(guī)格、電池壽命、功能性或大批量可制造性。因此，許多設(shè)備都采用定制AP(應(yīng)用處理器)設(shè)計，這些AP將設(shè)備的大部分功能集成到單個芯片上。定制AP的典型示例包括蘋果公司在其智能手機和平板電腦中使用的A系列處理器，以及用于智能手機的高通Snapdragon AP。專用微控制器也常用于外形尺寸較大的個人設(shè)備。所有這些半導(dǎo)體器件都旨在平衡性能要求與延長的電池壽命，即最低的設(shè)備功耗。

　　許多開發(fā)AP的半導(dǎo)體供應(yīng)商正在評估能夠運行神經(jīng)網(wǎng)絡(luò)的額外功能模塊。其中一些模塊專用于特定的神經(jīng)網(wǎng)絡(luò)功能，例如圖像識別。其他模塊則提供更多的靈活性，以便開發(fā)人員根據(jù)自己的需求優(yōu)化神經(jīng)網(wǎng)絡(luò)。

　　現(xiàn)在，許多IP公司提供可集成到AP設(shè)計中的數(shù)字信號處理器(DSP)、GPU和FPGA IP模塊——所有這些都可以提供運行神經(jīng)網(wǎng)絡(luò)模型所需的并行性。

　　此外，一些公司正在開發(fā)專用的AI處理器。但大部分都還沒有上市，不過在此期間，這些公司還提出了將AI功能添加到個人設(shè)備上的另一個選項。但是，由于這些AI處理器通?；趯Ｓ械奶幚砥骷軜?gòu)，提供完全集成的軟件堆棧可能具有挑戰(zhàn)性。因此，應(yīng)該進行全面的評價，評估收益與替代設(shè)計決策對比。

　　使用標(biāo)準(zhǔn)個人電腦架構(gòu)的更復(fù)雜的個人設(shè)備可以選擇使用基于周邊設(shè)備互連高速(Peripheral Component Interconnect Express)的GPU或FPGA附加卡(FPGA add-in card)執(zhí)行神經(jīng)網(wǎng)絡(luò)功能。

　　(3)兩者兼具

　　對于許多應(yīng)用而言，由于性能、功耗和外形規(guī)格因素的限制，完全在個人設(shè)備上運行神經(jīng)網(wǎng)絡(luò)模型可能并不可行。在這種情況下，最好分離推理操作，在設(shè)備和云中的其它設(shè)備上進行操作。

　　本文來源于《電子產(chǎn)品世界》2018年第3期第5頁，歡迎您寫論文時引用，并注明出處。