憶阻器或賦予AI芯片時間感知能力

“你有時間嗎？”隨著密歇根大學（University of Michigan）最新的憶阻器發(fā)現(xiàn)，人工智能芯片可能很快就會注意到事件的順序。

密歇根大學的一個研究小組利用新的憶阻器技術(shù)創(chuàng)建了一個時間感知神經(jīng)網(wǎng)絡。雖然這項技術(shù)目前只是在小規(guī)模上實現(xiàn)，但其特性可能會導致人工智能的重大范式轉(zhuǎn)變。

與感知器等早期神經(jīng)網(wǎng)絡相比，現(xiàn)代人工智能模型遠遠超出了簡單的模式識別。最新的部署，如 Copilot 或 GPT4，可以生成新的材料。然而，這種性能會消耗相當大的功率。

研究人員研究了人腦中的神經(jīng)元，以了解他們?nèi)绾卧趹涀杵鳎ㄉ窠?jīng)元的硬件模擬）中復制計時。神經(jīng)元通過一種稱為“松弛時間”的東西來編碼有關(guān)一系列事件何時發(fā)生的信息。神經(jīng)元接收并發(fā)送一些電信號。神經(jīng)元只有在接收到一定的輸入信號閾值時才會發(fā)送自己的信號，并且必須在一定的時間范圍內(nèi)達到這個閾值。如果時間過長，神經(jīng)元就會放松并釋放電能。人類可以理解事件發(fā)生的時間和順序，因為這些神經(jīng)元在我們的神經(jīng)網(wǎng)絡中以不同的速率放松。

到目前為止，憶阻器的工作原理與此不同。當一個憶阻器接觸到一個信號時，它的電阻會減小，允許更多的下一個信號通過。隨著時間的推移，更多的放松會導致更高的電阻。然而，加州大學團隊的研究表明，基底材料的變化可以產(chǎn)生不同的弛豫時間，類似于神經(jīng)元弛豫時間的自然變化，從而使憶阻器具有計時機制。

研究人員挖掘“原子世界的廚房水槽”

使用熵穩(wěn)定氧化物 （ESO），UM 憶阻器表現(xiàn)出隨時間變化的弛豫時間，可以在159到278 ns之間進行調(diào)節(jié)。依賴時間的神經(jīng)元激活可以在硬件中編程，從而在部署模型時不需要耗電的GPU。

UM小組使用釔、鋇、碳和氧（YBCO）襯底開發(fā)了這種ESO，該襯底在-292°F以下具有超導特性。該項目的一位研究人員將這種熵穩(wěn)定的氧化物稱為“原子世界的廚房水槽”;也就是說，研究人員添加的元素越多，它就越穩(wěn)定。

經(jīng)過訓練后，該設備可以識別數(shù)字 0 到 9 的聲音（在許多情況下甚至在音頻輸入完成之前），同時與基于 GPU 的系統(tǒng)相比，始終保持更好的運行效率。未來，該團隊相信他們可以進一步改進用于制造設備的能源密集型過程。

在現(xiàn)代神經(jīng)網(wǎng)絡中，GPU 技術(shù)完成了大部分訓練和識別。GPU 從內(nèi)存中提取已知權(quán)重，將它們用于乘法和累加，并將它們發(fā)送回內(nèi)存。這可以重復任意次數(shù)，結(jié)果是模型輸出。這種方法非常適用于小型模型。隨著模型變得越來越先進，內(nèi)存移動的數(shù)量開始凸顯馮·諾依曼架構(gòu)的弱點。許多研究人員和開發(fā)人員正在轉(zhuǎn)向內(nèi)存計算或硬件支持的技術(shù)，以加快這種數(shù)據(jù)傳輸并降低能耗。

UM小組并不是第一個在人工智能和高級計算中使用憶阻器的團隊。以前的許多小組已經(jīng)探索了用于內(nèi)存計算的新材料。然而，UM是第一個表現(xiàn)出時間依賴性行為的研究小組，這對于復制人腦的運作方式至關(guān)重要。

雖然 UM 小組對他們的可調(diào) ESO 能否很快投入商用沒有任何誤解，但他們的研究標志著向硬件支持的人工智能性能又邁進了一步。

如果憶阻器件能夠利用現(xiàn)代半導體技術(shù)，它們對定制的人工智能硬件解決方案的影響可能是巨大的。UM團隊估計，在不改變時間常數(shù)的情況下，他們的新材料系統(tǒng)可以將人工智能芯片的能效提高到目前材料的六倍。

來源：EETOP