摩爾線程首個(gè)千卡KUAE智算中心落地

據(jù)摩爾線程官網(wǎng)消息，12月19日，摩爾線程首個(gè)全國(guó)產(chǎn)千卡千億模型訓(xùn)練平臺(tái)——摩爾線程KUAE智算中心揭幕儀式在北京成功舉辦，宣告國(guó)內(nèi)首個(gè)以國(guó)產(chǎn)全功能GPU為底座的大規(guī)模算力集群正式落地。與此同時(shí)，摩爾線程聯(lián)合國(guó)內(nèi)眾多合作伙伴發(fā)起并成立了“摩爾線程PES - KUAE智算聯(lián)盟”和“摩爾線程PES - 大模型生態(tài)聯(lián)盟”，共同夯實(shí)從智算基礎(chǔ)設(shè)施到大模型訓(xùn)練與推理的國(guó)產(chǎn)大模型一體化生態(tài)，持續(xù)為我國(guó)大模型產(chǎn)業(yè)發(fā)展加速。

據(jù)官方介紹，摩爾線程KUAE智算中心解決方案以全功能GPU為底座，是軟硬一體化的全棧解決方案，包括以KUAE計(jì)算集群為核心的基礎(chǔ)設(shè)施、KUAE Platform集群管理平臺(tái)以及KUAE ModelStudio模型服務(wù)，旨在以一體化交付的方式解決大規(guī)模GPU算力的建設(shè)和運(yùn)營(yíng)管理問題。該方案可實(shí)現(xiàn)開箱即用，大大降低傳統(tǒng)算力建設(shè)、應(yīng)用開發(fā)和運(yùn)維運(yùn)營(yíng)平臺(tái)搭建的時(shí)間成本，實(shí)現(xiàn)快速投放市場(chǎng)開展商業(yè)化運(yùn)營(yíng)。

摩爾線程KUAE支持包括DeepSpeed、Megatron-DeepSpeed、Colossal-AI、FlagScale在內(nèi)的業(yè)界主流分布式框架，并融合了多種并行算法策略，包括數(shù)據(jù)并行、張量并行、流水線并行和ZeRO，且針對(duì)高效通信計(jì)算并行和Flash Attention做了額外優(yōu)化。

目前，摩爾線程支持包括LLaMA、GLM、Aquila、Baichuan、GPT、Bloom、玉言等各類主流大模型的訓(xùn)練和微調(diào)?；谀柧€程KUAE千卡集群，70B到130B參數(shù)的大模型訓(xùn)練，線性加速比均可達(dá)到91%，算力利用率基本保持不變。