從基礎(chǔ)能力到應(yīng)用，大模型實(shí)測結(jié)果揭曉
加入技術(shù)交流群
OpenAI 于 2023 年 3 月 14 日發(fā)布最新版本多模態(tài)大模型 GPT-4 及其 API；在中國市場，模型的通用性和泛化能力吸引了各大廠商布局，市場上的大模型/生成式AI產(chǎn)品紛至沓來。2024年5月，全球代表性AI技術(shù)供應(yīng)商如OpenAI發(fā)布了更新的大模型GPT-4o，在文本、圖像、音頻和視頻等多模態(tài)融合嘗試方面展現(xiàn)出強(qiáng)大的能力，能夠以這三者的任意組合進(jìn)行輸入和輸出，Google也發(fā)布了大模型Gemini的最新功能、文生圖模型Imagen3、對標(biāo)Sora的文生視頻模型Veo等。IDC觀察到，在中國市場，從2024年第二季度開始，越來越多的AI技術(shù)供應(yīng)商開始更新升級基礎(chǔ)大模型及相關(guān)產(chǎn)品，新一輪的“百模大戰(zhàn)”一觸即發(fā)。
本文引用地址：http://2s4d.com/article/202406/459752.htm實(shí)測方法
本次實(shí)測面向市場上主流的大模型技術(shù)供應(yīng)商，產(chǎn)品必須是已經(jīng)開放使用，并按照國家互聯(lián)網(wǎng)信息辦公室要求已經(jīng)完成備案。測試的媒介主要是基于基礎(chǔ)大模型的網(wǎng)頁版的產(chǎn)品，IDC對參與廠商的產(chǎn)品表現(xiàn)分別進(jìn)行測評?；A(chǔ)能力問題涉及問答理解類、推理類、創(chuàng)作表達(dá)類、數(shù)學(xué)類、代碼類等；應(yīng)用問題主要包含toC通用場景類和toB特定行業(yè)類，每一類單獨(dú)計(jì)分。
基礎(chǔ)大模型產(chǎn)品實(shí)測結(jié)果評述
為對比國內(nèi)外大模型的產(chǎn)品差異以及推動(dòng)大模型/生成式AI相關(guān)產(chǎn)品的發(fā)展和應(yīng)用，IDC成立產(chǎn)品測試團(tuán)隊(duì)，通過多個(gè)維度（如生成質(zhì)量、使用與性能、安全與合規(guī)等）對基礎(chǔ)大模型及相關(guān)產(chǎn)品進(jìn)行評測，并邀請外部專家團(tuán)隊(duì)深入分析各個(gè)產(chǎn)品答案準(zhǔn)確性、合理性等，并在審核委員會(huì)的監(jiān)督下，最終得出各廠商的評估結(jié)果，供用戶選型參考。
綜合最終的得分情況，基礎(chǔ)大模型產(chǎn)品能力處于第一梯隊(duì)的有（梯隊(duì)產(chǎn)品表現(xiàn)在同一均線，以下按照技術(shù)供應(yīng)商首字母順序排列）：阿里通義千問/通義萬相等通義系列生成式AI產(chǎn)品、百度文心一言/文心一格、科大訊飛訊飛星火 3.5 Max、OpenAI GPT4、商湯日日新SenseNova 5.0。
在所有的題目類型中，目前如問答理解、toC通用場景類得分率較高，數(shù)學(xué)類、推理類、代碼類問題、行業(yè)應(yīng)用類的準(zhǔn)確率較低，需進(jìn)一步優(yōu)化。詳細(xì)的測評結(jié)果展示如下：
IDC中國大模型產(chǎn)品測試團(tuán)隊(duì)表示，2024年產(chǎn)業(yè)界更加關(guān)注大模型和生成式AI的落地，生成式AI的進(jìn)一步發(fā)展需要多種模態(tài)的大模型作為引擎。更為接近人類的思維方式，是未來大語言模型競爭的關(guān)鍵，技術(shù)供應(yīng)商還需持續(xù)優(yōu)化大模型在數(shù)學(xué)、推理、代碼等問題以及在行業(yè)應(yīng)用中的生成質(zhì)量，提高生成的速度并降低大模型使用的成本，加快大模型技術(shù)的應(yīng)用與普及。
免責(zé)聲明
本文中的內(nèi)容和數(shù)據(jù)均來源于IDC所發(fā)布的報(bào)告，所有內(nèi)容及數(shù)據(jù)均為我公司所有。未經(jīng)IDC書面許可，任何機(jī)構(gòu)和個(gè)人不得以任何形式翻版、復(fù)制、刊登、發(fā)表或引用。
評論