挑戰(zhàn)DeepSeeK 「AI教母」打造AI模型訓(xùn)練成本不到50美元
DeepSeek強(qiáng)敵來了! 被譽(yù)為「AI教母」的知名華裔美籍科學(xué)家李飛飛領(lǐng)導(dǎo)的團(tuán)隊,以低于50美元的云計算成本,成功訓(xùn)練出名為「s1」的人工智能推理模型。 此模型在數(shù)學(xué)和編碼能力測驗中的表現(xiàn),據(jù)稱媲美OpenAI o1和DeepSeek R1等尖端推理模型。
本文引用地址:http://2s4d.com/article/202502/466749.htm科創(chuàng)板日報、新浪科技報道,李飛飛團(tuán)隊的s1模型并非從頭訓(xùn)練,而是建立在阿里巴巴的Qwen2.5 和 Google DeepMind的Gemini 2.0 Flash Thinking的基礎(chǔ)之上。 他們搜集了1000個精心挑選的問題及其解答,并通過記錄 Gemini 2.0 Flash 的思考過程,建立訓(xùn)練資料集,利用這些資料,微調(diào)了Qwen2.5-32B-Instruct模型,創(chuàng)造出s1。
大陸某知名大模型公司CEO表示,李飛飛團(tuán)隊的成就實際上是利用從 Google 模型中擷取的 1000 個樣本來微調(diào)通義千問模型。 這種微調(diào)的成本固然低廉,但其優(yōu)異表現(xiàn)仍有賴于既有模型的基礎(chǔ)。
上海交通大學(xué)人工智能學(xué)院副教授謝偉迪指出,s1以通義千問模型為基礎(chǔ),因此即使使用有限的樣本資料,也能產(chǎn)生新的推理模型。 然而,如果更換其他基礎(chǔ)模型,新模型的效能并不會提升。 因此,真正在背后發(fā)揮效能的關(guān)鍵是Qwen模型,而非 s1。
阿里云證實,李飛飛團(tuán)隊通過利用阿里開源的Qwen2.5-32B-Instruct模型進(jìn)行監(jiān)督微調(diào),在16個英偉達(dá)H100 GPU上僅花費26分鐘就訓(xùn)練出s1-32B模型,其數(shù)學(xué)和編碼能力與OpenAI o1和DeepSeek R1等尖端推理模型不相上下。
評論