清華團隊研發(fā)光電融合芯片，算力是商用GPU的3000余倍，推動構(gòu)建生態(tài)友好的AI計算框架
加入技術(shù)交流群
研究人員表示：“形象來說，如果原本的電量可支持現(xiàn)有高性能芯片工作一小時，那么相同的電量供給下 ACCEL 芯片可以工作五百多年?！?/span>
圖 | 部分團隊成員合影（來源：資料圖）論文中的實驗演示表明，該芯片的成功研制證明了光子計算在諸多 AI 任務中的優(yōu)越性（即光子霸權(quán)），也為解決摩爾定律增速放緩、構(gòu)建生態(tài)能源友好的大規(guī)模 AI 計算框架開辟了新路徑。
圖 | ACCEL 芯片（來源：課題組）在論文中，研究人員用“All-analog Chip Combining Electronics and Light”來描述這款光電融合芯片的特征。這句英文的首字母簡稱為 ACCEL，恰好是“加速”的含義。
當前，人類正處于算力需求爆炸式增長的時代，超高性能的計算架構(gòu)有著大量用武之地。研究人員非常希望能將 ACCEL 芯片快速用于實踐之中。
目前，他們正在基于 ACCEL 芯片的光電計算框架，開展一系列應用探索例如自動駕駛、野外監(jiān)測、物聯(lián)網(wǎng)傳感器網(wǎng)絡、計算機視覺等。
目前，他們已經(jīng)開展了將超高速圖像計算，用于光纖通信中的信號編解碼和誤碼糾錯的探索，有望將光纖通信端到端信號處理的時延降低四個數(shù)量級。
一旦計算時間從三小時變成三秒鐘，很多日常生活應用和科學計算任務將會發(fā)生質(zhì)的變化。
圖 | 光電計算芯片 ACCEL 的計算原理和芯片架構(gòu)（來源：Nature）據(jù)介紹，ACCEL 芯片通過融合光域計算和模擬域電計算，來實現(xiàn)神經(jīng)網(wǎng)絡的計算。在光域之中，ACCEL 芯片通過一個多層光學衍射神經(jīng)網(wǎng)絡，針對所輸入的高分辨率圖像，以光速來進行特征提取和數(shù)據(jù)降維。
衍射網(wǎng)絡的輸出，則由一個光電二極管陣列加以接收，并通過光電效應轉(zhuǎn)換成模擬電流信號。通過這種光域處理，可以極大地減小數(shù)據(jù)維度，從而降低光電轉(zhuǎn)換的規(guī)模。
其中，每一個光電二極管所產(chǎn)生的光電流，會根據(jù)電網(wǎng)絡的權(quán)重參數(shù)流入相應的計算結(jié)點之中，并基于基爾霍夫定律實現(xiàn)模擬域的電計算。
這時，通過光電二極管這一超高速、低功耗的光電接口，光網(wǎng)絡和電網(wǎng)絡完成連接，讓光電融合計算系統(tǒng)實現(xiàn)直接、高效的集成。
那么，在自動駕駛等視覺任務中，ACCEL 芯片的泛化能力如何？泛化能力，通常指一個模型對于新樣本、新場景的適應能力。
ACCEL 不僅在不同測試集上表現(xiàn)出很好的泛化能力，在不同工況下也具備優(yōu)秀的泛化性。比如，同樣是用于交通場景的計算，如果出現(xiàn)極弱光、超高幀率等場景，相比單獨光計算或電計算，ACCEL 芯片在抗噪聲訓練算法之下表現(xiàn)出極好的魯棒性。
此外，現(xiàn)有光計算系統(tǒng)，常常針對特定的專一任務而設計，這導致其應用范圍受到限制。而 ACCEL 芯片融合光域計算和模擬域電計算，可以輕松實現(xiàn)重構(gòu)。
當針對特定任務來設計并制備出來 ACCEL 芯片之后，借助電信號域的易編程性，ACCEL 芯片能夠重新訓練電網(wǎng)絡的參數(shù)，從而適用于不同的任務，而幾乎不影響最終準確率。
圖 | 光電計算芯片 ACCEL 在不同任務和光強下的性能（來源：Nature）
比如在物理學史上著名的楊氏雙縫實驗中，相干光經(jīng)過帶有兩條狹縫的擋板之后，會在后面的探測板上得到明暗相間的條紋。如果把相干平行光看做輸入，探測板上的圖案看做輸出，上述實驗就可以簡單抽象理解為：擋板對輸入光進行了調(diào)控，并通過光在擋板和探測面之間的傳播，實現(xiàn)了對于輸入光信號的處理。
對于現(xiàn)有光計算來說，許多思想都和上述過程類似。即通過精細調(diào)控光傳播的過程，改變接收位置處的光相位、光振幅、光偏振等物理屬性，從而實現(xiàn)光域的計算和信號處理。
光計算芯片的優(yōu)勢在于光子的高速度、低耗能和大帶寬，這能為大規(guī)模并行計算和高速數(shù)據(jù)傳輸提供極具潛力的解決方案。
與此同時，在大量視覺任務及日常生活場景中，原始信號本身就是光信號。使用傳統(tǒng)解決方案，需要在傳感器拍攝之后，再使用電子芯片進行處理，這會增加光電轉(zhuǎn)換、存儲、以及計算的步驟。相比之下，利用光直接進行計算，是一種更自然、更高效的方式。
近年來，面對摩爾定律增速放緩和失效危機，光計算作為一種新型計算范式，得到了廣泛關(guān)注并被寄予厚望。相比目前的電子器件，通過在光域之中直接對原始視覺信息進行處理，讓光計算在速度和能效上得以提高幾個數(shù)量級。然而，目前的光計算系統(tǒng)面臨著非線性實現(xiàn)復雜、光電接口耗能等國際難題，導致不少科研工作評估的高性能優(yōu)勢難以落地并實現(xiàn)應用。
基于此，該團隊便將課題初衷瞄準攻克當前光計算領域存在的瓶頸，讓光計算的超高性能從實驗室走到日常生活。
光芯片，如何完善？
為解決上述國際難題，本次研究首次提出了深度融合的光計算和模擬電計算，建立起一種全模擬的芯片計算框架。
為了克服現(xiàn)有光計算系統(tǒng)的痛點，研究人員把目光轉(zhuǎn)向同為模擬計算的電域模擬計算：它借助基爾霍夫電壓電流定律、電荷守恒定律等基本的物理規(guī)律實現(xiàn)計算。而光信號通過光電效應轉(zhuǎn)換成模擬電信號時，存在著本征的非線性關(guān)系。
基于此，他們提出了新的計算范式：ACCEL 將用于大規(guī)模提取視覺特征的衍射神經(jīng)網(wǎng)絡和基于基爾霍夫定律的純模擬電子計算，集成在同一枚芯片框架內(nèi)。借此繞過模擬數(shù)字轉(zhuǎn)換器速度、精度與功耗相互制約的物理瓶頸，從而在一枚芯片之內(nèi)就能突破大規(guī)模計算單元集成、高效非線性、高速光電接口等三大關(guān)鍵瓶頸。在保證高任務性能的同時，還實現(xiàn)超高的計算能效和計算速度。
圖 | ACCEL 有望用于電子設備超低功耗人臉喚醒示意動圖（來源：清華大學）
之后，兩者所在課題組開展的討論中，便萌生了這樣一個想法：既然同為模擬計算領域，那么是否可以通過深度合作，共同解決領域內(nèi)的瓶頸問題？
很快他們定下了這項課題。隨后，先是開展理論建模和仿真驗證，針對衍射光網(wǎng)絡的計算模型、光電效應的非線性模型模擬、以及電網(wǎng)絡的計算模型，開展了物理推導、物理仿真和芯片設計。
后來在實際流片后和芯片實測中，為了克服實際系統(tǒng)部署中所存在的誤差累積和噪聲，他們對這些非理想因素進行建模，借此開發(fā)出一套系統(tǒng)性修正算法，以此來應對弱光噪聲、對齊、加工誤差等非理想因素。借此實現(xiàn)了與仿真結(jié)果符合度較高的實驗準確率。
此后，他們又對芯片系統(tǒng)級的能效和算力加以評估。實測結(jié)果顯示，ACCEL 芯片在系統(tǒng)級算力和能效上，分別比目前高性能的商用工業(yè)級 GPU 高出千余倍和百萬余倍。
為了確保如此驚人數(shù)據(jù)的可靠性，研究人員做了尤為扎實的工作來進行實測和驗證。
他們不僅實測了 ACCEL 芯片端到端系統(tǒng)級的耗能數(shù)據(jù)和時延數(shù)據(jù)，還進一步提出了等效算力的概念。直接從準確率的角度來衡量計算效果，從而能夠摒除不同物理建模方式的影響。
真正做到即便在復雜數(shù)據(jù)集之上，也能達到和數(shù)字卷積神經(jīng)網(wǎng)絡相同的準確率，同時將端到端系統(tǒng)級的耗時降低千倍、耗能降低百萬倍。打消了業(yè)內(nèi)人士對光計算算力“有效性”的顧慮。
最終，相關(guān)論文以《用于高速視覺任務的全模擬光電子芯片》（All-analog photoelectronic chip for high-speed vision tasks）為題發(fā)在 Nature[1]，博士生陳一彤、博士生麥麥提·那扎買提、許晗博士是共同一作，清華大學戴瓊海院士、方璐副教授、喬飛副研究員、吳嘉敏助理教授擔任共同通訊作者。
圖 | 相關(guān)論文（來源：Nature）后續(xù)，他們將研究規(guī)模更大、算力更強的模擬域光電融合系統(tǒng)，這需要在算法層面和硬件層面，開展更高層次的聯(lián)合設計優(yōu)化。
另外，以大語言模型為基礎，基于新型 AI 算法的高效硬件計算平臺，也是非常值得研究的方向之一。
毋容置疑，硬件算力的提升是引領當今 AI 浪潮的重要引擎之一。研究人員認為，基于全模擬光電融合計算的框架，有著非常好的應用前景。
要想進一步拓展應用范圍，就需要構(gòu)建從軟件到硬件的生態(tài)環(huán)境。而一個完善的生態(tài)環(huán)境，則需要由學界和業(yè)界協(xié)同打造，因此他們非常期待業(yè)界可以在該方向上部署相關(guān)業(yè)務，讓前沿學術(shù)成果能夠加速轉(zhuǎn)化成為產(chǎn)品，完成高效計算平臺范式的進一步跨越。
參考資料：
1.Chen, Y. et al. All-analog photoelectronic chip for high-speed vision tasks. Nature https://doi.org/10.1038/s41586-023-06558-8 (2023).
運營/排版：何晨龍
*博客內(nèi)容為網(wǎng)友個人發(fā)布，僅代表博主個人觀點，如有侵權(quán)請聯(lián)系工作人員刪除。
