中國(guó)電信發(fā)布全球首個(gè)單體稠密萬(wàn)億參數(shù)語(yǔ)義模型 Tele-FLM-1T

IT之家 6 月 19 日消息，中國(guó)電信人工智能研究院（TeleAI）和智源研究院聯(lián)合發(fā)布全球首個(gè)單體稠密萬(wàn)億參數(shù)語(yǔ)義模型 Tele-FLM-1T，該模型與百億級(jí)的 52B 版本，千億級(jí)的 102B 版本共同構(gòu)成 Tele-FLM 系列模型。

TeleAI 和智源研究院基于模型生長(zhǎng)和損失預(yù)測(cè)等技術(shù)，Tele-FLM 系列模型僅使用了業(yè)界普通訓(xùn)練方案 9% 的算力資源，基于 112 臺(tái) A800 服務(wù)器，用 4 個(gè)月完成 3 個(gè)模型總計(jì) 2.3T tokens 的訓(xùn)練。模型訓(xùn)練全程做到了零調(diào)整零重試，算力能效高且模型收斂性和穩(wěn)定性好，Tele-FLM-1T 版本即將開(kāi)源。

目前，TeleFLM 系列模型已經(jīng)全面開(kāi)源了 52B 版本，核心技術(shù) (生長(zhǎng)技術(shù)、最優(yōu)超參預(yù)測(cè))、訓(xùn)練細(xì)節(jié) (loss 曲線、最優(yōu)超參、數(shù)據(jù)配比和 Grad Norm 等) 均開(kāi)源，開(kāi)源模型下載量過(guò)萬(wàn)，積累超 40 萬(wàn)用戶。

此外，中國(guó)電信在某市民生訴求場(chǎng)景項(xiàng)目上，通過(guò)引入 TeleChat-52B 模型能力，整體應(yīng)用效果提升 40%，達(dá)到行業(yè)領(lǐng)先水平。

IT之家附 Tele-FLM-52B 版本開(kāi)源地址：https://huggingface.co/CofeAI/Tele-FLM

Tele-FLM-Chat 試用 (純模型單輪對(duì)話版) 地址：https://modelscope.cn/studios/FLM/ChatFLM