復(fù)旦MOSS大模型揭開面紗

復(fù)旦大學(xué)自然語言處理實(shí)驗(yàn)室開發(fā)的新版MOSS模型今日正式上線，成為國內(nèi)首個(gè)插件增強(qiáng)的開源對話語言模型。

目前，MOSS模型已上線開源，相關(guān)代碼、數(shù)據(jù)、模型參數(shù)在Github和Hugging Face等平臺開放，供科研人員下載。

復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院教授MOSS系統(tǒng)負(fù)責(zé)人邱錫鵬表示：“這是國內(nèi)第一個(gè)插件版對話語言模型，能使用搜索引擎、圖像生成模型、方程求解器等外部工具，為用戶提供越來越多的服務(wù)。GPT-4也能接入各種插件，這種能力在大模型落地應(yīng)用過程中會很有價(jià)值?！?/span>

而《科創(chuàng)板日報(bào)》記者拿到內(nèi)測碼，對MOSS模型進(jìn)行了測試。

“介紹一下科創(chuàng)板日報(bào)。”輸入這個(gè)指令后，模型界面給出了如下回答：

在MOSS界面，用戶可自主添加搜索引擎、圖像生成、方程求解器、計(jì)算器等外部插件工具。

記者加入了搜索引擎的插件，然后提問：特斯拉在國內(nèi)過去五個(gè)月、過去一年的銷量是多少？

MOSS顯示了回答，并在回答內(nèi)容的下方，給出了所引用的英文參考資料。不過，和此前文心一言的測試一樣，所能提供的數(shù)據(jù)也較為陳舊。

寫工作總結(jié)是常見的問題。記者此前也提問了文心一言。

MOSS對這個(gè)較為寬泛的問題，進(jìn)行了追問：要求給出工作總結(jié)的具體性質(zhì)等。在記者設(shè)定條件后，得到了一份市場營銷相關(guān)的工作總結(jié)。

記者還讓其生成針對AI醫(yī)療公司的中秋節(jié)文案：

寫一份贊美母親的信：

在數(shù)理邏輯推算能力方面，記者先嘗試問了一道簡單的加法題。

接著，記者增加難度，提問經(jīng)典的雞兔同籠問題。通過使用方程求解器，MOSS給出了正確的答案。

《科創(chuàng)板日報(bào)》記者又提問小升初的數(shù)學(xué)題：

某次數(shù)學(xué)競賽共20道題，評分標(biāo)準(zhǔn)是:每做對一題得5分,每做錯(cuò)或不做一題扣1分。小華參加了這次競賽，得了64分。問：小華做對幾道題?

正確答案應(yīng)該是14題，在這方面國內(nèi)的模型均表現(xiàn)不佳。此前文心一言回答的是16道題，通義千問則得出了43道題。而MOSS的答案是15題。

通過調(diào)用相關(guān)插件，MOSS也擁有了AI繪畫的本領(lǐng)。《科創(chuàng)板日報(bào)》記者提出“請幫我一幅大海的畫”，它自主調(diào)用text2image插件，生成了一幅對應(yīng)內(nèi)容的畫。

記者增加了對圖畫內(nèi)容的描述，要求生成一張中國女孩躺在草地上的照片，

據(jù)介紹，MOSS是一個(gè)支持中英雙語和多種插件的開源對話語言模型，moss-moon系列模型具有160億參數(shù)，在FP16精度下可在單張A100/A800或兩張3090顯卡運(yùn)行，在INT4/8精度下可在單張3090顯卡運(yùn)行。

邱錫鵬表示，未來，MOSS將陸續(xù)開源更多訓(xùn)練數(shù)據(jù)及模型參數(shù)，同時(shí)也為企業(yè)私有化部署人工智能模型、開展相關(guān)服務(wù)提供解決方案。