順序決策與基礎(chǔ)模型如何交叉互惠？谷歌、伯克利等探討更多可能

預(yù)訓(xùn)練基礎(chǔ)模型和順序決策的研究越來越頻繁地出現(xiàn)交叉，那么如何將兩個領(lǐng)域的研究交融，讓二者都從交叉研究中受益？這篇論文對這一問題進行了深入探討。

在廣泛數(shù)據(jù)集上基于自監(jiān)督學(xué)習(xí)的預(yù)訓(xùn)練基礎(chǔ)模型，已經(jīng)展現(xiàn)出將知識遷移到不同下游任務(wù)的優(yōu)秀能力。因此，這些模型也被應(yīng)用到長期推理、控制、搜索和規(guī)劃等更復(fù)雜的問題，或者被部署在對話、自動駕駛、醫(yī)療保健和機器人等應(yīng)用中。未來它們也會提供接口給外部實體和智能體，例如在對話應(yīng)用中，語言模型與人進行多輪交流；在機器人領(lǐng)域，感知控制模型在真實環(huán)境中執(zhí)行動作。

這些場景為基礎(chǔ)模型提出了新的挑戰(zhàn)，包括：1) 如何從外部實體（如人對對話質(zhì)量的評價）的反饋中學(xué)習(xí)，2) 如何適應(yīng)大規(guī)模語言或視覺數(shù)據(jù)集中不常見的模態(tài)（如機器人動作），3) 如何在未來進行長期的推理和規(guī)劃。 

這些問題一直是傳統(tǒng)意義上順序決策的核心，涵蓋了強化學(xué)習(xí)、模仿學(xué)習(xí)、規(guī)劃、搜索和最優(yōu)控制等領(lǐng)域。與基礎(chǔ)模型使用數(shù)十億圖像和文本 token 的廣泛數(shù)據(jù)集進行預(yù)訓(xùn)練的范式相反，以往關(guān)于順序決策制定的工作主要集中在任務(wù)特定或具有有限先驗知識的白板設(shè)置上。
盡管缺少或沒有先驗知識讓順序決策看起來很難，但是對順序決策的研究已經(jīng)在多個任務(wù)上超越了人類表現(xiàn)，如玩棋盤游戲、雅達利（Atari）電子游戲以及操作機器人完成導(dǎo)航和操作等。
然而，由于這些方法學(xué)習(xí)從零開始解決任務(wù)而沒有來自視覺、語言或其它數(shù)據(jù)集的廣泛知識，因此通常在泛化和樣本效率方面表現(xiàn)不佳，例如需要 7 塊 GPU 運行一天才能解決單個雅達利游戲。直覺上，類似于基礎(chǔ)模型所用的廣泛數(shù)據(jù)集也應(yīng)該對順序決策制定模型有用。舉例而言，互聯(lián)網(wǎng)上有無數(shù)關(guān)于如何玩雅達利游戲的文章和視頻。同樣地，有關(guān)對象和場景屬性的大量知識對于機器人非常有用，關(guān)于人類愿望和情感的知識也可以改善對話模型。
雖然由于應(yīng)用和關(guān)注點不同，基礎(chǔ)模型和順序決策的研究大體上是不相交的，但交匯的研究也越來越多。在基礎(chǔ)模型方面，隨著大語言模型的出現(xiàn)，目標應(yīng)用從簡單的零樣本或少樣本任務(wù)擴展到現(xiàn)在需要長期推理或多次交互的問題 。相反在順序決策領(lǐng)域，受到大規(guī)模視覺和語言模型成功的啟發(fā)，研究人員開始為學(xué)習(xí)多模型、多任務(wù)和通用交互式智能體準備越來越大的數(shù)據(jù)集。
兩者領(lǐng)域之間的界線變得越來越模糊，一些最近的工作研究了預(yù)訓(xùn)練基礎(chǔ)模型（例如 CLIP 和 ViT）在視覺環(huán)境中 bootstrap 交互式智能體的訓(xùn)練，而其他工作則研究了基礎(chǔ)模型作為通過強化學(xué)習(xí)和人類反饋進行優(yōu)化的對話智能體。還有一些工作還調(diào)整大型語言模型以與外部工具交互，例如搜索引擎、計算器、翻譯工具、MuJoCo 模擬器和程序解釋器。
最近，谷歌大腦團隊、UC 伯克利和 MIT 的研究者撰文表示，基礎(chǔ)模型和交互式?jīng)Q策研究相結(jié)合會讓彼此受益。一方面，將基礎(chǔ)模型應(yīng)用于涉及外部實體的任務(wù)中，可以從交互式反饋和長期規(guī)劃中受益。另一方面，順序決策可以利用基礎(chǔ)模型的世界知識更快地解決任務(wù)并進行更好的泛化。

論文地址：https://arxiv.org/pdf/2303.04129v1.pdf
為了在這兩個領(lǐng)域的交集上推動進一步的研究，研究者限定了用于決策制定的基礎(chǔ)模型的問題空間。同時提供了理解當前研究的技術(shù)工具，回顧了目前存在的挑戰(zhàn)和未解決的問題，并預(yù)測了解決這些挑戰(zhàn)的潛在解決方案和有前景的方法。
論文概覽
論文主要分為以下 5 個主要章節(jié)。
第 2 章回顧了順序決策的相關(guān)背景，并提供了一些基礎(chǔ)模型和決策制定最好一起考慮的示例場景。隨后講述了圍繞基礎(chǔ)模型如何構(gòu)建決策制定系統(tǒng)的不同組件。

第 3 章探討了基礎(chǔ)模型如何作為行為生成式模型（比如技能發(fā)現(xiàn)）和環(huán)境生成式模型（比如進行基于模型的推演）。

第 4 章探討了基礎(chǔ)模型如何作為狀態(tài)、動作、獎勵和轉(zhuǎn)移動態(tài)的表示學(xué)習(xí)器（例如即插即用的視覺 - 語言模型、基于模型的表示學(xué)習(xí)）。

第 5 章探討了語言基礎(chǔ)模型如何作為交互式智能體和環(huán)境，使得可以在順序決策框架（語言模型推理、對話、工具使用）下考慮新問題和應(yīng)用。

最后一章，研究者概述了未解決的問題和挑戰(zhàn)，并提出了潛在的解決方案（例如如何利用廣泛的數(shù)據(jù)、如何構(gòu)建環(huán)境以及基礎(chǔ)模型和順序決策的哪些方面可以得到改進）。

更多細節(jié)內(nèi)容請參閱原論文。