復(fù)旦發(fā)布中國版ChatGPT：MOSS開啟測試沖上熱搜，服務(wù)器擠爆
加入技術(shù)交流群
機器之心報道
編輯：澤南、蛋醬
不知道這個人工智能，有沒有獲得完整的一生。
ChatGPT 是最先進的 AI，也是最熱門的應(yīng)用 —— 自去年 11 月底發(fā)布以來，它的月活躍用戶兩個月超過一億，輕松拿到了全球互聯(lián)網(wǎng)史上用戶增長速度的第一。
它也是一種門檻很高的技術(shù)。由于 ChatGPT 的訓(xùn)練過程所需算力資源大、標(biāo)注成本高，目前國內(nèi)暫未出現(xiàn)對大眾開放的同類產(chǎn)品。百度、阿里、京東等互聯(lián)網(wǎng)大廠都放出消息，表示正在打造「國產(chǎn) ChatGPT」，并將在近期發(fā)布。
在各大廠產(chǎn)品到位之前，學(xué)界先有了消息。2 月 20 日晚，復(fù)旦大學(xué)自然語言處理實驗室發(fā)布了具備 ChatGPT 能力的語言模型 ——MOSS，并面向大眾公開邀請內(nèi)測。
- MOSS 體驗鏈接：https://moss.fastnlp.top/
- MOSS 項目主頁：https://txsun1997.github.io/blogs/moss.html
MOSS 的名稱來自電影《流浪地球》，和電影一樣火的是，MOSS 發(fā)布的消息很快沖上了知乎等平臺熱搜榜的第一位。
不過與科幻不同的是，現(xiàn)實世界的 AI 還沒有量子計算機加持，距離開放還沒有過 24 個小時，由于瞬時訪問壓力過大，MOSS 服務(wù)器昨晚已被擠爆，可見大家對于生成語言模型的期待程度有多高。
據(jù)復(fù)旦大學(xué)研究人員介紹，目前在內(nèi)測，與用戶交互迭代優(yōu)化，不適合公測。
我們知道，自然語言處理是 AI 領(lǐng)域的最大挑戰(zhàn)之一，雖然突破已經(jīng)出現(xiàn)，但這個月上線的新必應(yīng)搜索，以及谷歌發(fā)布的競品 BARD 在測試中不時會出現(xiàn)問題，復(fù)旦大學(xué)的 MOSS 水平如何呢？
對話 MOSS，水平如何？
MOSS 的基礎(chǔ)功能與 ChatGPT 類似，可以按照用戶輸入的指令完成各類自然語言處理任務(wù)，包括文本生成、文本摘要、翻譯、代碼生成、閑聊等等。在預(yù)覽期間，MOSS 的使用是免費的。
MOSS 和 ChatGPT 一樣，構(gòu)建的過程包括自然語言基礎(chǔ)模型訓(xùn)練，以及理解人類意圖的對話能力訓(xùn)練兩個階段。
據(jù)項目主頁介紹，MOSS 和 ChatGPT 的主要區(qū)別在于：
- MOSS 的參數(shù)數(shù)量比 ChatGPT 少得多。
- MOSS 通過與人類和其他人工智能模型交談來學(xué)習(xí)，而 ChatGPT 則通過人類反饋強化學(xué)習(xí)（RLHF）進行訓(xùn)練。
- MOSS 將是開源的，以促進未來的研究，但 ChatGPT 可能不會。
MOSS 的對話水平如何，讓我們看幾個示例。以下是 MOSS 生成的一些交互記錄：
在這個例子中，用戶首先要求 MOSS 推薦五部科幻電影，接著要求 MOSS 生成了一個表格來展示這些電影以及它們的導(dǎo)演，最后要求 MOSS 在表格中新插入一列來展示這些電影的上映年份。完成這一任務(wù)需要語言模型具備強大的多輪交互能力和指令理解能力，MOSS 顯然在這兩方面表現(xiàn)優(yōu)異。
與 ChatGPT 類似，MOSS 有時也會輸出一些事實性錯誤的例子，比如例子中《黑客帝國》的導(dǎo)演并不是 Thomas Neff，而是沃卓斯基兄弟（姐妹）。
除了多輪對話，MOSS 生成代碼也不在話下。在下面的例子中，MOSS 不僅可以為用戶提供實現(xiàn)快速排序的 Python 代碼，還能在用戶的要求下對這段代碼提供解釋和使用示例，可謂是手把手教學(xué)的程序員了。
除了讓 MOSS 幫忙寫代碼之外，還可以向 MOSS 詢問有關(guān)代碼細(xì)節(jié)的問題，讓其更好地幫助理解代碼。在下面的例子中，用戶向 MOSS 詢問了一段代碼的編程語言和功能，并進一步提問了其中一個函數(shù)的作用，MOSS 均給出了滿意的回復(fù)。
此外，MOSS 還具備人類的價值觀，當(dāng)被要求回答不合理的問題時，MOSS 會拒絕回答并給出正確的勸導(dǎo)。
據(jù)了解，MOSS 采用參數(shù)量為百億級的自研模型進行訓(xùn)練。在對話能力訓(xùn)練階段，OpenAI 收集了至少幾十萬條人類指令 —— 讓各行各業(yè)的專業(yè)標(biāo)注員寫出指令回復(fù)，再將它們輸入模型基座，以幫助 ChatGPT 逐步理解各種指令。復(fù)旦團隊則采用不同的技術(shù)路線，通過讓 MOSS 和人類以及其它 AI 模型都進行交互，顯著提升了學(xué)習(xí)效率和研發(fā)效率，短時間內(nèi)高效完成了對話能力訓(xùn)練。
研發(fā)團隊表示，雖然 MOSS 已經(jīng)實現(xiàn)了 ChatGPT 的一些功能，但仍然存在許多限制，由于缺乏高質(zhì)量的數(shù)據(jù)、計算資源和模型容量，MOSS 仍然遠(yuǎn)遠(yuǎn)落后于 ChatGPT。
- 由于訓(xùn)練數(shù)據(jù)中的多語言語料庫有限，MOSS 在理解和生成英語以外的語言的文本方面表現(xiàn)不佳。團隊目前正在開發(fā)一個改進版本，以提高其中文語言技能。
- 由于模型容量相對較小，MOSS 不包含足夠的世界知識。因此，MOSS 生成的一些響應(yīng)可能包含誤導(dǎo)性或虛假信息。
- 有時 MOSS 以迂回的方式執(zhí)行，甚至未能遵循指示。在這種情況下，用戶可能需要重新生成幾次或修改 prompt，以獲得令人滿意的回復(fù)。團隊正在積極提高其遵循指示的能力以及生產(chǎn)力。
- 有時 MOSS 可能會因 prompt 生成不道德或有害的反應(yīng)。用戶可通過單擊 “不喜歡” 來幫助減少此類行為，團隊將在下一個版本中更新模型。
研究團隊指出，當(dāng)前版本的 MOSS 表現(xiàn)仍不穩(wěn)定，也受到數(shù)據(jù)集問題的影響：「MOSS 的英文回答水平比中文高，因為它的模型基座學(xué)習(xí)了 3000 多億個英文單詞，中文詞語只學(xué)了約 300 億個。」
發(fā)布之后，團隊將持續(xù)通過提供 MOSS 的可訪問界面，根據(jù)寶貴的用戶反饋（在許可下）不斷改進模型。
，時長00:37
未來，研究人員還計劃結(jié)合復(fù)旦在人工智能和相關(guān)交叉學(xué)科的研究成果，賦予 MOSS 繪圖、語音、譜曲等多模態(tài)能力，并加強它輔助科學(xué)家進行高效科研的能力等。
期待 MOSS 能為國內(nèi)對話大模型的發(fā)展開一個好頭。
團隊介紹
MOSS 的主要作者共有兩位：復(fù)旦大學(xué)教授邱錫鵬和他的博士生孫天祥。此外還有多位成員對項目有所貢獻(xiàn)。
邱錫鵬，復(fù)旦大學(xué)計算機科學(xué)技術(shù)學(xué)院教授，博士生導(dǎo)師。國家優(yōu)青獲得者，于復(fù)旦大學(xué)獲得理學(xué)學(xué)士和博士學(xué)位。主要從事自然語言處理、深度學(xué)習(xí)等方向的研究，發(fā)表 CCF A/B 類論文 70 余篇，獲得 ACL 2017 杰出論文獎（CCF A 類）、CCL 2019 最佳論文獎、《中國科學(xué)：技術(shù)科學(xué)》2021 年度高影響力論文獎，有 5 篇論文入選 PaperDigest 發(fā)布的 IJCAI/ACL/EMNLP 的最有影響力論文（被引用數(shù)進入前當(dāng)屆會議的 20 名）。出版開源專著《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》，Github 關(guān)注數(shù) 1.5 萬，豆瓣評分 9.4 分。主持開發(fā)了開源框架 FudanNLP 和 FastNLP，已被國內(nèi)外數(shù)百家單位使用。2015 年入選首屆中國科協(xié)青年人才托舉工程項目，2018 年獲錢偉長中文信息處理科學(xué)技術(shù)獎青年創(chuàng)新獎一等獎，2020 獲第四屆上海高校青年教師教學(xué)競賽優(yōu)等獎，2021 年獲首屆上海市計算機學(xué)會教學(xué)成果獎一等獎（第一完成人）等。培養(yǎng)學(xué)生多次獲得一級學(xué)會優(yōu)博、微軟學(xué)者、百度獎學(xué)金等。
孫天祥，復(fù)旦大學(xué)計算機科學(xué)學(xué)院博士生，導(dǎo)師為邱錫鵬教授和黃萱菁教授。2019 年畢業(yè)于西安電子科技大學(xué)。研究興趣集中于機器學(xué)習(xí)及其在自然語言處理中的應(yīng)用，特別是預(yù)訓(xùn)練語言模型的高效微調(diào)及推理、多任務(wù)學(xué)習(xí)、知識表示學(xué)習(xí)等。以第一作者在 ICML, ACL, NAACL, AAAI, COLING 等會議發(fā)表多篇論文。
*博客內(nèi)容為網(wǎng)友個人發(fā)布，僅代表博主個人觀點，如有侵權(quán)請聯(lián)系工作人員刪除。
