低功耗生成式AI必然會(huì)出現(xiàn)

5月12日我們?cè)谂笥讶锇l(fā)表了“論中美在人工智能領(lǐng)域的差距”的評(píng)論中我們首次提出目前以Transformer算法為核心的自然語(yǔ)言處理的生成式AI，在取得突破性的應(yīng)用成果的同時(shí)，由于Transformer算法沒(méi)有擺脫人工神經(jīng)網(wǎng)絡(luò)的圖靈機(jī)不可解的NP問(wèn)題的綁架，因此超大模型的計(jì)算引起了能源的危機(jī)的社會(huì)的熱議。針對(duì)注意力機(jī)制的計(jì)算，巨大的矩陣乘法不是唯一的解，因此可以通過(guò)邏輯推理模型可以線(xiàn)性的求解，通過(guò)低能耗就可實(shí)現(xiàn)目前的生成式AI的應(yīng)用效果。

果不其然來(lái)自加州大學(xué)圣克魯茲分校等機(jī)構(gòu)的研究者證明了 “MatMul 操作可以完全從 LLM 中消除，同時(shí)在十億參數(shù)尺度下保持強(qiáng)大的性能?！?/p>

這給還在追求大模型的生成式AI的研究者一個(gè)啟示，不能盲目的照抄，跟隨的結(jié)果只能證明自己的愚昧！要有敢于同被世界關(guān)注的算法對(duì)抗的意識(shí)！要善于走自己的路，才會(huì)有深刻的造詣！

附：

中美人工智能領(lǐng)域的差距實(shí)際有多大？

中國(guó)嵌入式系統(tǒng)產(chǎn)業(yè)聯(lián)盟

通用人工智能AGI專(zhuān)委會(huì)

主任顧澤蒼 于5月12日

從現(xiàn)在開(kāi)始我想聊一聊大家最關(guān)心的這個(gè)題目。

談到中美兩國(guó)在AI領(lǐng)域的差距時(shí)我想絕大多數(shù)人都會(huì)認(rèn)為我們一定是落后于美國(guó)。這種觀念是無(wú)可非議的。從本次AI高潮主流算法的深度學(xué)習(xí)模型就是美國(guó)的，當(dāng)今的基礎(chǔ)大模型的發(fā)展來(lái)看，確實(shí)也是美國(guó)遙遙領(lǐng)先。

在這種情況下我國(guó)的研究人員感到無(wú)能為力！那么必定我國(guó)的AI就一定趕不上美國(guó)嗎？

我認(rèn)為要趕上美國(guó)首先就要調(diào)整我們的創(chuàng)造意識(shí)！AI的思路被美國(guó)牽引著，跟隨美國(guó)的AI模型的發(fā)展，我們就不可能超越美國(guó)！

比如深度學(xué)習(xí)模型，依靠深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)，可以提高識(shí)別精度，這已經(jīng)被業(yè)界認(rèn)可了。但是，深度神經(jīng)網(wǎng)絡(luò)的效率極低，無(wú)功消耗極大！這種模型出自于連接主義的神經(jīng)網(wǎng)絡(luò)學(xué)派，是被數(shù)學(xué)上的NP問(wèn)題所綁架。

事實(shí)上應(yīng)用效果的好壞與網(wǎng)絡(luò)連接的規(guī)模無(wú)關(guān)。

無(wú)需復(fù)雜鏈接，依靠高智慧密度的訓(xùn)練數(shù)據(jù)，依靠把握被識(shí)別對(duì)象的真實(shí)的物理世界的全貌，依靠核函數(shù)的高維平面分類(lèi)，依靠概率尺度自組織可對(duì)被識(shí)別的數(shù)據(jù)的進(jìn)行最大概率的選擇，可以做到如同人類(lèi)識(shí)別物體那樣一回生二回熟越識(shí)別精度越高。這樣的屬于AGI時(shí)代的自動(dòng)機(jī)器學(xué)習(xí)模型自然會(huì)遙遙領(lǐng)先于目前的深度學(xué)習(xí)模型的。

那么目前流行的生成式AI一定要消耗巨大的能源嗎？其實(shí)，從理論上講根本不需要!

還在被機(jī)器學(xué)習(xí)模型束縛的Transformer算法，在NLP上比起把類(lèi)似的單詞捆綁在一起通過(guò)深度學(xué)習(xí)訓(xùn)練出詞向量的算法相比具有突破性的進(jìn)步。但是，NLP的處理不像模式識(shí)別那樣需要具有很好的泛化能力，從網(wǎng)絡(luò)上訓(xùn)練的相同語(yǔ)意的單詞的頻率的大小是相對(duì)確定性的，語(yǔ)言的語(yǔ)法關(guān)系也是相對(duì)確定性的，因此不需要做到模式識(shí)別所需要的泛化能力。特別是在兩個(gè)矩陣的之間注意力機(jī)制的計(jì)算通過(guò)矩陣乘法才能獲得，這是很笨的方法。生成式AI的效果完全取決于所訓(xùn)練出的語(yǔ)言數(shù)據(jù)的參數(shù)的多少！因此回避復(fù)雜連接的神經(jīng)網(wǎng)絡(luò)，使用低能耗的邏輯推理模型照樣可以訓(xùn)練出超越傳統(tǒng)生成式AI的數(shù)據(jù)參數(shù)的數(shù)量，一定可以獲得接近人的大腦的功耗，而超越大模型的生成式AI的效果！從生成式AI的機(jī)理上搞清楚了就一定可以成功的。

僅舉如上的兩個(gè)例子足以說(shuō)明，只要我們改變思路就一定可以超越美國(guó)的AI水平。

特別是神經(jīng)網(wǎng)絡(luò)學(xué)派堅(jiān)持復(fù)雜連接，這是愚蠢的違背科學(xué)的，必然走不下去的，美國(guó)推崇的生成式AI僅僅一個(gè)自然語(yǔ)言的應(yīng)用就出現(xiàn)能源危機(jī)，這是違背科學(xué)的結(jié)果。我們只要堅(jiān)持科學(xué)的方法論，悶頭走自己的路，當(dāng)美國(guó)的AI領(lǐng)域研究者發(fā)現(xiàn)自己走不下去的時(shí)候，我們已經(jīng)在AGI的時(shí)代里奮勇直前。