比GPU快幾百倍！曦智科技首發(fā)新一代光電混合計算卡：128×128光子矩陣

3月26日消息，曦智科技今天正式發(fā)布全新光電混合計算卡“曦智天樞”，首次實現(xiàn)了光電混合計算在復(fù)雜商業(yè)化模型中的應(yīng)用。

曦智科技是全球領(lǐng)先的光電混合算力提供商，在集成光子領(lǐng)域取得了開創(chuàng)性的突破，掌握了光子矩陣計算(oMAC)、片上光網(wǎng)絡(luò)(oNOC)、片間光網(wǎng)絡(luò)(oNET)三大核心技術(shù)，打造了光子計算、光子網(wǎng)絡(luò)兩大產(chǎn)品線。

2021年12月，曦智科技首次對外發(fā)布光電混合計算產(chǎn)品，成功驗證了光電混合計算在特定算法下，相較于主流GPU的速度優(yōu)勢多達數(shù)百倍。

曦智科技認為，光電混合將會為人工智能、大語言模型、智能制造等領(lǐng)域帶來算力革新。

本次發(fā)布的曦智天樞，深度融合了光芯片、電芯片各自的優(yōu)勢，并采用3D先進封裝技術(shù)，支持可編程。

它在光電集成度、光子矩陣規(guī)模、精度、可編程性等方面，都比前代產(chǎn)品實現(xiàn)了明顯的性能提升。

比如在支持科學(xué)計算（如伊辛算法）基礎(chǔ)上，加強了對于ResNet50等商業(yè)算法應(yīng)用的支持，既保持了光計算優(yōu)勢，還大幅提升了產(chǎn)品通用適配性。

天樞采用非相干架構(gòu)，不僅易于系統(tǒng)擴展，還具備出色的抗干擾能力、更高的計算精度。

它的核心處理器包括光學(xué)處理單元（OPU）、電學(xué)專用集成電路（ASIC），光芯片和電芯片通過3D TSV硅通孔、FlipChip倒裝芯片封裝技術(shù)進行整合、協(xié)同工作，可顯著降低延遲、提升信號傳輸完整性，其中光芯片面積達到600平方毫米，比上代增大3倍。

芯片主頻為1GHz，輸出精度8bit，比上代提升8倍。

光芯片上的器件數(shù)量超4萬個，但器件尺寸進一步縮小，集成度顯著提升。

最大可支持128x128矩陣規(guī)模，是上一代64×64的4倍，運算能力、靈活性都得到了極大的提升。

此外，用戶可以通過API自由配置計算矩陣系數(shù)，擁有更強的適應(yīng)性和優(yōu)化空間。

據(jù)悉，光子計算是一種被動運算，運算任務(wù)在光通過光子矩陣的過程中即可完成，顛覆了傳統(tǒng)CMOS電子芯片的運算邏輯。

光子芯片的性能提升與光子矩陣規(guī)模、主頻速率、波長數(shù)量等參數(shù)相關(guān)，而不依賴晶體管的密度及芯片制程的提升。

曦智科技還首次提出了等效光算力（EOPP）標準，是一種考慮了矩陣規(guī)模、輸出精度、權(quán)重刷新速度等的綜合算力評價方法，相比當前主流的電芯片指標計算方法，更符合光計算的原理和特點。

軟件方面，天樞搭載了曦智光電混合計算軟件棧，算子庫包含RVV(RiscV Vector)算子，電矩陣(dMAC)加速算子、光矩陣(oMAC)加速算子，支持CV類和LLM類模型，以及包括Ising、LineSolver在內(nèi)的non-AI算子。

用戶借助曦智編譯器，可以靈活地運用這些算子來構(gòu)建高效的應(yīng)用模型。

此外，平臺還支持用戶自定義算子，通過OpenCL C/C++語言進行編譯和優(yōu)化，進一步擴展了算法開發(fā)的靈活性。

曦智科技的軟件棧與Pytorch、ONNX等主流框架深度集成，可通過軟件棧直接使用天樞的光矩陣和電矩陣加速單元對模型和算法進行加速和驗證，也可以將模型通過曦智編譯框架編譯部署在端側(cè)進行推理。

通過軟件棧，天樞成功運行了ResNet50深度卷積神經(jīng)網(wǎng)絡(luò)模型、Llama 2 AI大語言模型，首次實現(xiàn)了光電混合計算在商業(yè)化場景中的應(yīng)用。

目前，曦智科技已啟動下一代光電混合計算產(chǎn)品的研發(fā)，將會進一步提升計算能力。