開(kāi)源大模型超越 GPT-3.5！爆火 MoE 實(shí)測(cè)結(jié)果出爐，網(wǎng)友：OpenAI 越來(lái)越?jīng)]護(hù)城河了

一條神秘磁力鏈接引爆整個(gè) AI 圈，現(xiàn)在，正式測(cè)評(píng)結(jié)果終于來(lái)了：

首個(gè)開(kāi)源 MoE 大模型 Mixtral 8x7B，已經(jīng)達(dá)到甚至超越了 Llama 2 70B 和 GPT-3.5 的水平。

（對(duì)，就是傳聞中 GPT-4 的同款方案。）

并且由于是稀疏模型，處理每個(gè) token 僅用了 12.9B 參數(shù)就做到了這般成績(jī)，其推理速度和成本也與 12.9B 的密集模型相當(dāng)。

消息一出，再次在社交媒體上掀起討論熱潮。

OpenAI 創(chuàng)始成員 Andrej Karpathy 第一時(shí)間趕到現(xiàn)場(chǎng)整理起了筆記，還高亮出了重點(diǎn)：這家“歐版 OpenAI”透露出的最強(qiáng)模型，還只是“中杯”。

p.s. Mixtral 8×7B 甚至只是小杯……

英偉達(dá) AI 科學(xué)家 Jim Fan 則贊說(shuō)：

每個(gè)月都會(huì)有十幾個(gè)新的模型冒出來(lái)，但真正能經(jīng)得住檢驗(yàn)的卻寥寥無(wú)幾，能引發(fā)大家伙熱烈關(guān)注的就更少了。

并且這波啊，不僅是模型背后公司 Mistral AI 大受關(guān)注，也帶動(dòng) MoE（Mixture of Experts）再次成為開(kāi)源 AI 社區(qū)的最火議題。

HuggingFace 官方就趁熱發(fā)布了一篇 MoE 的解析博文，同樣打出了“轉(zhuǎn)發(fā)如潮”的效果。

值得關(guān)注的是，Mistral AI 的最新估值已經(jīng)沖破 20 億美元，在短短 6 個(gè)月中增長(zhǎng)了 7 倍多……

基本超越 Llama 2 70B

說(shuō)起來(lái)，Mistral AI 這家公司也是不走尋常路。隔壁大廠前腳剛轟轟烈烈搞發(fā)布會(huì)，慢慢悠悠發(fā)模型，他們可倒好，直接來(lái)了個(gè)程序顛倒：

先甩鏈接開(kāi)放下載，又給 vLLM 項(xiàng)目（一個(gè)大模型推理加速工具）提了 PR，最后才想起來(lái)發(fā)布技術(shù)博客給自家模型整了個(gè)正經(jīng)官宣。

△ 模型一開(kāi)始是醬嬸發(fā)布的

那么還是先來(lái)看看，官方給出了哪些信息，與這兩天吃瓜群眾自己扒出來(lái)的細(xì)節(jié)有何不同。

首先，官方自信地表示：

Mixtral 8×7B 在大多數(shù)基準(zhǔn)測(cè)試中都優(yōu)于 Llama 2 70B，推理速度快了 6 倍。

它是最強(qiáng)大的、具有寬松許可的開(kāi)放權(quán)重模型，也是最佳性價(jià)比之選。

具體來(lái)說(shuō)，Mixtral 采用了稀疏混合專家網(wǎng)絡(luò)，是一個(gè) decoder-only 的模型。在其中，前饋塊會(huì)從 8 組不同的參數(shù)組中進(jìn)行選擇 ——

也就是說(shuō)，實(shí)際上，Mixtral 8×7B 并不是 8 個(gè) 7B 參數(shù)模型的集合，僅僅是 Transformer 中的前饋塊有不同的 8 份。

這也就是為什么 Mixtral 的參數(shù)量并不是 56B，而是 46.7B。

其特點(diǎn)包括以下幾個(gè)方面：

• 在大多數(shù)基準(zhǔn)測(cè)試中表現(xiàn)優(yōu)于 Llama 2 70B，甚至足以擊敗 GPT-3.5

• 上下文窗口為 32k

• 可以處理英語(yǔ)、法語(yǔ)、意大利語(yǔ)、德語(yǔ)和西班牙語(yǔ)

• 在代碼生成方面表現(xiàn)優(yōu)異

• 遵循 Apache 2.0 許可（免費(fèi)商用）

具體測(cè)試結(jié)果如下：

另外，在幻覺(jué)問(wèn)題方面，Mixtral 的表現(xiàn)也由于 Llama 2 70B：

在 TruthfulQA 基準(zhǔn)上的成績(jī)是 73.9% vs 50.2%；在 BBQ 基準(zhǔn)上呈現(xiàn)更少的偏見(jiàn)；在 BOLD 上，Mixtral 顯示出比 Llama 2 更積極的情緒。

此次與 Mixtral 8×7B 基礎(chǔ)版本一起發(fā)布的，還有 Mixtral 8x7B Instruct 版本。后者經(jīng)過(guò) SFT 和 DPO 優(yōu)化，在 MT-Bench 上拿到了 8.3 的分?jǐn)?shù)，跟 GPT-3.5 差不多，優(yōu)于其他開(kāi)源大模型。

目前，Mistral 官方已經(jīng)宣布上線 API 服務(wù)，不過(guò)還是邀請(qǐng)制，未受邀用戶需要排隊(duì)等待。

值得關(guān)注的是，API 分為三個(gè)版本：

• 小小杯（Mistral-tiny），對(duì)應(yīng)模型是 Mistral 7B Instruct；

• 小杯（Mistral-small），對(duì)應(yīng)模型是這次發(fā)布的 Mixtral 8×7B；

• 中杯（Mistral-medium），對(duì)應(yīng)的模型尚未公布，但官方透露其在 MT-Bench 上的得分為 8.6 分。

有網(wǎng)友直接把 GPT-4 拉過(guò)來(lái)對(duì)比了一下?？梢钥吹剑斜Ｐ驮?WinoGrande（常識(shí)推理基準(zhǔn)）上的得分超過(guò)了 GPT-4。

價(jià)格方面，小小杯到中杯的輸入和輸出價(jià)格分別是每一百萬(wàn) token0.14~2.5 歐元和 0.42~7.5 歐元不等，嵌入模型則是 0.1 歐元每百萬(wàn) token（1 歐元約合 7.7 人民幣）。

而在線版本，目前還只能到第三方平臺(tái)（Poe、HuggingFace 等）體驗(yàn)。

能看懂中文，但不太愿意說(shuō)

雖然官方通告中并沒(méi)有說(shuō)支持中文，但我們實(shí)測(cè)（HuggingFace Chat 中的在線版，模型為 Instruct 版本）發(fā)現(xiàn)，Mixtral 至少在理解層面上已經(jīng)具備一定中文能力了。

生成層面上，Mixtral 不太傾向于用中文來(lái)回答，但如果指明的話也能得到中文回復(fù)，不過(guò)還是有些中英混雜的情況。

面對(duì)更多的“弱智吧”問(wèn)題，Mixtral 的回答雖中規(guī)中矩，但看上去至少已經(jīng)理解了字面含義。

數(shù)學(xué)方面，面對(duì)經(jīng)典的雞兔同籠問(wèn)題，Mixtral 的回答從過(guò)程到結(jié)果都完全正確。

即使是高等數(shù)學(xué)問(wèn)題，比如復(fù)雜的函數(shù)求導(dǎo)，Mixtral 也能給出正確答案，更難能可貴的是過(guò)程沒(méi)什么問(wèn)題。

而此次的官方通告中專門(mén)強(qiáng)調(diào)了 Mixtral 的代碼能力很強(qiáng)，所以也受到了我們的重點(diǎn)考察。

一道困難難度的 LeetCode 下來(lái)，Mixtral 給出的代碼一次就通過(guò)了測(cè)試。

給你一個(gè)未排序的整數(shù)數(shù)組 nums，請(qǐng)你找出其中沒(méi)有出現(xiàn)的最小的正整數(shù)。

請(qǐng)你實(shí)現(xiàn)時(shí)間復(fù)雜度為 O (n) 并且只使用常數(shù)級(jí)別額外空間的解決方案。

但隨著我們繼續(xù)提問(wèn)，Mixtral 的回答一不小心暴露了自己可能專門(mén)針對(duì) LeetCode 做過(guò)訓(xùn)練，而且還是中文版 LC。

為了更加真實(shí)地展示 Mixtral 的代碼能力，我們轉(zhuǎn)而讓它編寫(xiě)實(shí)用程序 —— 用 JS 寫(xiě)一個(gè) Web 版計(jì)算器。

經(jīng)過(guò)幾輪調(diào)整之后，雖然按鈕的布局有些奇怪，但基本的四則運(yùn)算已經(jīng)可以完成了。

此外我們會(huì)發(fā)現(xiàn)，如果在同一個(gè)對(duì)話窗口中不斷補(bǔ)充新的要求，Mixtral 的表現(xiàn)可能會(huì)有所下降，出現(xiàn)代碼格式混亂等問(wèn)題，開(kāi)啟新一輪對(duì)話后則會(huì)恢復(fù)正常。

除了 API 和在線版本，Mistral AI 還提供了模型下載服務(wù)，可以用