馬斯克用20萬(wàn)張H100訓(xùn)練出1400分大模型

馬斯克旗下人工智能公司xAI發(fā)布了其最新一代大模型 Grok 3，目前Grok已經(jīng)推出了專(zhuān)屬的 http://Grok.com 網(wǎng)頁(yè)，供用戶(hù)體驗(yàn)Grok系列模型。馬斯克稱(chēng)，Grok 3能力較前代產(chǎn)品Grok 2提升了“一個(gè)數(shù)量級(jí)”，并且是一款“追求極致真實(shí)”的 AI。

20萬(wàn)張H100訓(xùn)練出1400分大模型

Grok 3早期化名“巧克力”打榜LMSYS，一舉奪魁并成為唯一一個(gè)得分超1400的模型。競(jìng)技場(chǎng)（lmarena.ai）官方評(píng)價(jià)Grok 3是首個(gè)突破1400分的模型，并且在所有類(lèi)別中排名第一。

去年馬斯克劇透，Grok 3在10萬(wàn)張H100上進(jìn)行訓(xùn)練，是首個(gè)達(dá)到如此訓(xùn)練集群規(guī)模的模型。這比Grok 2多了數(shù)倍不止，要知道Grok 2訓(xùn)練大約使用了2萬(wàn)個(gè)H100。但是令人震驚的是，實(shí)際上Grok3訓(xùn)練過(guò)程中集群規(guī)模再次擴(kuò)展到了20萬(wàn)卡。

Grok 3比Grok 2快十倍，在Grok3中大規(guī)模安裝更多計(jì)算能力使其能夠在更短的時(shí)間內(nèi)運(yùn)行大數(shù)據(jù)集，同時(shí)提供更高的準(zhǔn)確性。

此次推出的Grok 3有滿(mǎn)血和mini兩個(gè)版本。在數(shù)學(xué)推理、科學(xué)邏輯推理和代碼寫(xiě)作等能力表現(xiàn)方面，Grok-3在多項(xiàng)Benchmark測(cè)試中均取得了比DeepSeek-v3、GPT-4o、Gemini-2 pro更優(yōu)的效果。

在AIME'24數(shù)學(xué)能力測(cè)試中，Grok-3取得了52分，明顯高于

在AIME'24數(shù)學(xué)能力測(cè)試中，Grok-3取得了52分，明顯高于DeepSeek-V3的39分。在GPQA科學(xué)知識(shí)評(píng)估中，Grok-3以75分的優(yōu)異成績(jī)領(lǐng)先DeepSeek-V3的65分。此外，在LCB Oct-Feb編程能力測(cè)試中，Grok-3也以57分的成績(jī)超越了DeepSeek-V3的36分。

除此之外，在Grok 3和mini的基礎(chǔ)之上，xAI團(tuán)隊(duì)還打造了兩款推理模型。

馬斯克團(tuán)隊(duì)指出，大約一個(gè)月前，Grok 3的預(yù)訓(xùn)練已經(jīng)完成，從那時(shí)起其一直在努力將推理能力融入Grok 3模型中。目前基于mini的推理模型（Grok 3 mini Reasoning）已經(jīng)比較成熟，而基于滿(mǎn)血版的推理模型（Grok 3 Reasoning Beta）還處在Beta階段。

值得注意的是，xAI團(tuán)隊(duì)不僅在硬件上進(jìn)行了升級(jí)，還在軟件層面進(jìn)行了優(yōu)化。Grok 3 通過(guò)改進(jìn)訓(xùn)練流程，引入合成數(shù)據(jù)集、自我糾錯(cuò)以及強(qiáng)化學(xué)習(xí)等技術(shù)，進(jìn)一步提升了模型的性能。這些技術(shù)的綜合應(yīng)用，使得 Grok 3 在處理復(fù)雜任務(wù)時(shí)表現(xiàn)得更為出色。

然而，原計(jì)劃在此次發(fā)布中推出的語(yǔ)音模式并未如期上線(xiàn)。馬斯克在 X 平臺(tái)上解釋稱(chēng)：“語(yǔ)音模式目前還存在一些問(wèn)題，預(yù)計(jì)將在大約一周后推出，但它非常出色?！辈⒂?jì)劃在幾周后將Grok 3模型和DeepSearch功能整合到 xAI 的企業(yè) API 中。

此外，xAI計(jì)劃在最新版本完全成熟后立即開(kāi)源其Grok 模型的先前版本，馬斯克預(yù)計(jì)Grok-3的過(guò)渡將在幾個(gè)月內(nèi)完成。

目前，X 平臺(tái)的 Premium + 訂閱用戶(hù)將率先體驗(yàn)到 Grok 3，而其他功能則被整合到 xAI 推出的名為 SuperGrok 的訂閱服務(wù)中。SuperGrok 的訂閱價(jià)格為每月 30 美元或每年 300 美元，用戶(hù)可獲得額外的推理和 DeepSearch 查詢(xún)權(quán)限，以及無(wú)限量的圖像生成功能。

三個(gè)月將數(shù)據(jù)中心容量翻倍

據(jù)報(bào)道，xAI計(jì)劃與戴爾達(dá)成50億美元協(xié)議，為Grok 3提供AI服務(wù)器支持。xAI即將與戴爾科技達(dá)成協(xié)議收購(gòu)價(jià)值超過(guò)50億美元的配備英偉達(dá)GB200芯片的AI優(yōu)化服務(wù)器，此次收購(gòu)旨在滿(mǎn)足Grok 3和其他AI應(yīng)用程序日益增長(zhǎng)的計(jì)算需求。

在發(fā)布會(huì)上，馬斯克團(tuán)隊(duì)透露xAI在短短三個(gè)月將數(shù)據(jù)中心容量翻倍，使用了20萬(wàn)個(gè)英偉達(dá)H100 GPU打造出Grok 3。

馬斯克團(tuán)隊(duì)表示，去年4月馬斯克決定xAI要想取得成功并打造出最佳 AI，唯一的辦法就是創(chuàng)建自己的數(shù)據(jù)中心。我們花了122天的時(shí)間才讓第一批10萬(wàn)個(gè)GPU啟動(dòng)并運(yùn)行。我們很快意識(shí)到要構(gòu)建我們?cè)O(shè)想的 AI，需要將集群規(guī)模擴(kuò)大一倍。因此，我們?cè)诙潭?2天內(nèi)就將容量翻了一番。

值得注意的是，目前xAI正在田納西州孟菲斯建設(shè)的超級(jí)計(jì)算機(jī)Colossus項(xiàng)目中。Colossus用于支持xAI的AI大模型Grok，xAI計(jì)劃擴(kuò)展到至少100萬(wàn)塊GPU，并已采用戴爾與超微電腦的服務(wù)器設(shè)備。去年12月戴爾曾披露，已在該項(xiàng)目部署數(shù)萬(wàn)個(gè)GPU，并致力于在剩余工程中獲取"大部分份額"。

戴爾去年11月末公布，在截至2024年11月1日的第三財(cái)季，交付AI服務(wù)器29億美元，推動(dòng)包括AI系統(tǒng)在內(nèi)的服務(wù)器和網(wǎng)絡(luò)業(yè)務(wù)當(dāng)季收入增長(zhǎng)58%至74億美元。分析師預(yù)計(jì)，在截至2025年1月的2025財(cái)年，戴爾的AI服務(wù)器出貨量?jī)r(jià)值將超過(guò)100億美元，并預(yù)計(jì)，AI服務(wù)器2026財(cái)年將為戴爾創(chuàng)收140億美元，一年收入增長(zhǎng)約40%。