ssm 文章 進(jìn)入ssm技術(shù)社區(qū)

Transformer、RNN和SSM的相似性探究：揭示看似不相關(guān)的LLM架構(gòu)之間的聯(lián)系

• 通過探索看似不相關(guān)的大語言模型(LLM)架構(gòu)之間的潛在聯(lián)系，我們可能為促進(jìn)不同模型間的思想交流和提高整體效率開辟新的途徑。盡管Mamba等線性循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)和狀態(tài)空間模型(SSM)近來備受關(guān)注，Transformer架構(gòu)仍然是LLM的主要支柱。這種格局可能即將發(fā)生變化：像Jamba、Samba和Griffin這樣的混合架構(gòu)展現(xiàn)出了巨大的潛力。這些模型在時間和內(nèi)存效率方面明顯優(yōu)于Transformer，同時在能力上與基于注意力的LLM相比并未顯著下降。近期研究揭示了不同架構(gòu)選擇之間的深層聯(lián)系，包括T
• 關(guān)鍵字： Transformer  RNN  SSM  模型