博客專欄

EEPW首頁 > 博客 > 馬斯克:史上最強(qiáng)AI訓(xùn)練集群上線,將再增加10萬顆GPU

馬斯克:史上最強(qiáng)AI訓(xùn)練集群上線,將再增加10萬顆GPU

發(fā)布人:旺材芯片 時間:2024-09-04 來源:工程師 發(fā)布文章

圖片


圖片

特斯拉CEO埃隆·馬斯克。視覺中國 資料圖馬斯克旗下宣稱是目前最強(qiáng)大的人工智能計(jì)算集群上線,其規(guī)模還將很快翻倍。9月3日,特斯拉CEO埃隆·馬斯克在X平臺上宣布,旗下人工智能初創(chuàng)企業(yè)x.AI打造的超級人工智能訓(xùn)練集群已經(jīng)正式上線,該集群名為“Colossus(巨人)”。他透露,團(tuán)隊(duì)花了122天來完成Colossus的上線過程。Colossus還將在未來幾個月內(nèi)增加10萬顆GPU(圖形處理器),其中,5萬顆將是更為先進(jìn)的英偉達(dá)H200,這意味著Colossus的算力將再次翻倍。

圖片

在社交平臺上,業(yè)內(nèi)的反響非常熱烈,稱這是人工智能領(lǐng)域的巨大成就。風(fēng)險投資公司方舟投資(ARK Invest)的CEO凱茜·伍德(Cathie Wood)也對該團(tuán)隊(duì)取得的成就表示祝賀,稱其“令人印象深刻”,并透露xAI未來還會有重大進(jìn)展要宣布。

圖片

早在去年上半年,就不斷有媒體爆料稱馬斯克正在為特斯拉采購大量GPU。今年5月份,Colossus首次被公開,并在7月份開始運(yùn)行。5月25日,馬斯克在一場演講中透露,xAI計(jì)劃打造一臺超級計(jì)算機(jī),名為“算力的超級工廠”,預(yù)計(jì)規(guī)模是市場上最強(qiáng)大競爭對手的四倍。該計(jì)算機(jī)將采用英偉達(dá)H100 GPU。7月22日,馬斯克在X上宣布,xAI團(tuán)隊(duì)、X團(tuán)隊(duì)、英偉達(dá)及其他支持公司已經(jīng)于當(dāng)?shù)貢r間凌晨4時20分開始在“孟菲斯超級集群(Memphis Supercluster)”,也就是Colossus上進(jìn)行訓(xùn)練。Colossus由10萬個液冷H100 GPU組成,在單個RDMA結(jié)構(gòu)(即遠(yuǎn)程直接數(shù)據(jù)存儲結(jié)構(gòu),可解決網(wǎng)絡(luò)傳輸中服務(wù)器端數(shù)據(jù)處理的延遲)上運(yùn)行,是“世界上最強(qiáng)大的人工智能訓(xùn)練集群”。馬斯克還補(bǔ)充說,目標(biāo)是在今年12月前訓(xùn)練出“按每項(xiàng)指標(biāo)衡量都是世界上最強(qiáng)大的人工智能”。當(dāng)然,xAI的大模型Grok也將在自家的Colossus上進(jìn)行訓(xùn)練。去年7月,xAI宣布正式成立,并表示公司的宗旨是“了解宇宙的真實(shí)本質(zhì)”。xAI在官網(wǎng)表示,“我們是一家獨(dú)立于X Corp的公司,但將與X、特斯拉和其他公司密切合作,以實(shí)現(xiàn)使命?!?/span>2023年11月,xAI發(fā)布第一款大模型Grok-1;8月13日,xAI宣布Grok-2的測試版本正式上線,并首次引入圖像生成功能;馬斯克此前曾透露,Grok-3將使用Colossus進(jìn)行訓(xùn)練,預(yù)計(jì)將于年底發(fā)布,相信它會“非常特別”。今年5月份,xAI宣布獲得60億美元B輪融資,主要投資者包括安德森·霍洛維茨基金(Andreessen Horowitz)、紅杉資本(Sequoia Capital)等。xAI的投前估值為180億美元,本輪融資后的投后估值將達(dá)到240億美元。不過,在引領(lǐng)人工智能革命的同時,馬斯克長期以來也一直在強(qiáng)調(diào)人工智能的潛在安全風(fēng)險,并積極推動人工智能安全法規(guī)落地。8月27日,馬斯克在X上發(fā)帖稱,他認(rèn)為加利福尼亞州應(yīng)該通過參議院SB 1047號法案。此舉在科技界引起了爭議,許多人擔(dān)心這可能會扼殺美國的人工智能創(chuàng)新。據(jù)悉,SB 1047法案要求一些最大的人工智能模型(成本高于1億美元)在開發(fā)時必須報(bào)告智能安全問題,并需要提交評估與模型相關(guān)的風(fēng)險的報(bào)告。該法案已經(jīng)遭到xAI競爭對手OpenAI公司的反對。

圖片

來源:澎湃新聞



*博客內(nèi)容為網(wǎng)友個人發(fā)布,僅代表博主個人觀點(diǎn),如有侵權(quán)請聯(lián)系工作人員刪除。



關(guān)鍵詞: 馬斯克

相關(guān)推薦

技術(shù)專區(qū)

關(guān)閉