中國(guó)電信：運(yùn)營(yíng)商視角思考RISC-V 在AI領(lǐng)域的應(yīng)用

7月18日，第五屆RISC-V中國(guó)峰會(huì)在上海進(jìn)入分論壇環(huán)節(jié)。作為未來電子產(chǎn)業(yè)最龐大的應(yīng)用范疇之一，人工智能是不可回避的話題。人工智能的飛速發(fā)展，正以年均超過100%的算力需求增長(zhǎng)驅(qū)動(dòng)底層架構(gòu)的革新，“開放、靈活、可定制”的RISC-V已成為構(gòu)建自主AI算力基石的戰(zhàn)略支點(diǎn)。人工智能分論壇邀請(qǐng)各方企業(yè)探討RISC-V架構(gòu)如何利用其開源、開放、可擴(kuò)展的特性，實(shí)現(xiàn)AI計(jì)算架構(gòu)的革新，以及RISC-V架構(gòu)在AI軟硬件的最新進(jìn)展和應(yīng)用落地情況。 

中國(guó)電信研究院技術(shù)專家楊玉模在介紹基于RISC-V架構(gòu)的高性能AI大模型工作站的同時(shí)，還分享了在運(yùn)營(yíng)商視角如何思考RISC-V 在AI領(lǐng)域的應(yīng)用。 楊玉模從三個(gè)方面介紹中國(guó)電信研究院在RISC-V AI領(lǐng)域的一些工作進(jìn)展。

    針對(duì)云計(jì)算領(lǐng)域發(fā)展趨勢(shì)與RISC-V現(xiàn)狀，他先是分析了數(shù)據(jù)中心計(jì)算架構(gòu)的發(fā)展趨勢(shì)。IaaS云計(jì)算依然是數(shù)據(jù)中心的主要形態(tài)，主要體現(xiàn)在兩個(gè)方面：（1）在大型企業(yè)和政府機(jī)構(gòu)中，IaaS的服務(wù)依然是提供主要的基礎(chǔ)支撐。（2）在未來很長(zhǎng)一段時(shí)間里，容器和虛擬機(jī)仍然是主要的計(jì)算形態(tài)。 AI驅(qū)動(dòng)智算爆發(fā)式增加，主要數(shù)據(jù)中心從“通算”向以AI為中心的智算轉(zhuǎn)變，AI算力每3-4個(gè)月翻1倍，單次訓(xùn)練成本可能會(huì)高達(dá)千萬美元。因此新型的計(jì)算架構(gòu)芯片、超節(jié)點(diǎn)和集群會(huì)成為提升算力規(guī)模的一個(gè)關(guān)鍵突破點(diǎn)。領(lǐng)域?qū)Ｓ眉軜?gòu)DSA成為新趨勢(shì)，DSA是針對(duì)特定領(lǐng)域進(jìn)行的計(jì)算架構(gòu)優(yōu)化，相比傳統(tǒng)通用計(jì)算在性能和功耗都會(huì)有顯著的優(yōu)勢(shì)，并且雖然AI領(lǐng)域?qū)λ懔π枨蟮目焖僭鲩L(zhǎng)，DSA成為數(shù)據(jù)中心發(fā)展的一個(gè)新趨勢(shì)。

RISC-V在數(shù)據(jù)中心中嶄露頭角。左邊的圖是RISC-V硬件產(chǎn)品矩陣，它從互聯(lián)網(wǎng)、然后到邊緣計(jì)算、到數(shù)據(jù)中心，它都有RISC-V硬件廠商的參與，但是在數(shù)據(jù)中心的標(biāo)桿應(yīng)用的性能上仍然有差距。右邊的圖主要是RISC-V的軟件生態(tài)，這個(gè)軟件生態(tài)主要是、大家可以看到適配的很多操作系統(tǒng)，還有操作系統(tǒng)上面的一些基礎(chǔ)軟件，這個(gè)也是比較全面。但是應(yīng)用軟件由于依賴庫(kù)的多樣性、以及版本的多樣，所以它的適配遷移能力還依然比較困難。

      去年中國(guó)電信研究院在RISC-V中國(guó)峰會(huì)發(fā)布了“北海云計(jì)算開放實(shí)驗(yàn)平臺(tái)”，主要針對(duì)RISC-V云計(jì)算軟硬件生態(tài)不成率、缺乏規(guī)?；膽?yīng)用驗(yàn)證，以中國(guó)電信的豐富應(yīng)用場(chǎng)景為牽引，來推動(dòng)RISC-V架構(gòu)在云計(jì)算行業(yè)的成熟與規(guī)模應(yīng)用。

    左邊的這個(gè)圖就是北海RISC-V云計(jì)算實(shí)驗(yàn)架構(gòu)，包含“技術(shù)設(shè)施實(shí)驗(yàn)平臺(tái)”、以及“云化實(shí)驗(yàn)”和“云計(jì)算應(yīng)用的實(shí)例驗(yàn)證”。中間的圖是依托中國(guó)電信RISC-V大科學(xué)裝置，已經(jīng)構(gòu)建了運(yùn)營(yíng)商首個(gè)超千核RISC-V云計(jì)算集群，右邊是在去年的RISC-V中國(guó)峰會(huì)發(fā)布的成果。

    今年中國(guó)電信繼續(xù)擴(kuò)展研究推出北海2.0智算云試驗(yàn)平臺(tái)，主要在之前的基礎(chǔ)上增加了“云原生虛擬化、AI大模型、AI智能體”等的管理。我們推出了RISC-V高性能AI大模型工作站，為虛擬化和AI智能體應(yīng)用提供基礎(chǔ)設(shè)施和適配驗(yàn)證的一些方案。

    上圖是大模型工作站基礎(chǔ)設(shè)施結(jié)構(gòu)圖。左邊是大模型工作站的開發(fā)環(huán)境，中間是大模型工作站等桌面機(jī)，硬件上基于國(guó)產(chǎn)RISC-V的CPU和AI卡，我們采用超睿8核高性能RISC-V CPU芯片，單核在SPEint2006性能達(dá)到10.4/GHz。PCIe擴(kuò)展可以從X16擴(kuò)展到2個(gè)x8或者4個(gè)x8，可以支持1-4張AI推理卡的穩(wěn)定運(yùn)行。我們搭載的希姆單卡16GB顯存，可以完成標(biāo)量、向量和矩陣云，支持FP16和INT8運(yùn)算。軟件方面適配RISC-V云計(jì)算和AI軟件生態(tài)，我們基于GCC和LLVM的私有編譯器，優(yōu)化AI大模型的性能，并且豐富RISC-V的軟件生態(tài)，主要是包括適配Ubntu、OpenEule、K8s等，并且適配1.5B-32B的DeepSeek和千問大模型。

   在這個(gè)過程中，中國(guó)電信有兩個(gè)突破：1.填補(bǔ)了RISC-V云原生虛擬化適配驗(yàn)證平臺(tái)。推動(dòng)RISC-V虛擬化的商業(yè)規(guī)模應(yīng)用，基于高性能RISC-V硬件虛擬化的平臺(tái)、往上面適配了OpenEuler。再往上是KubeVirt的適配，首先是編譯、包括編譯環(huán)境和具體的編譯步驟。編譯環(huán)境有原生編譯和交叉編譯，我們采用的是交叉編譯技術(shù)。編譯步驟這個(gè)中間，比如涉及到一些修改解碼、構(gòu)建KubeVit組件的鏡像等等。KubeVit部署完了以后、并且運(yùn)行成功以后，我們就要進(jìn)行驗(yàn)證、虛擬機(jī)的啟動(dòng)。虛擬機(jī)啟動(dòng)首先就要?jiǎng)?chuàng)建虛擬機(jī)，創(chuàng)建虛擬機(jī)包括創(chuàng)建服務(wù)器版及桌面版的虛擬機(jī)。然后，我們要去創(chuàng)建KubeVit虛擬機(jī)對(duì)象VMI，然求啟動(dòng)虛擬機(jī)、再登陸虛擬機(jī)。這個(gè)過程中也會(huì)遇見錯(cuò)誤，因?yàn)榭赡芨摍C(jī)啟動(dòng)時(shí)候的業(yè)務(wù)邏輯相關(guān)，那么同樣我們也要返回回去重新編譯、直至部署、虛擬機(jī)啟動(dòng)驗(yàn)證成功。 2.填補(bǔ)了RISC-V AI智能體管理平臺(tái)的空白。因?yàn)槲覀兪轻槍?duì)AI智能體在執(zhí)行LLM動(dòng)態(tài)產(chǎn)生代碼時(shí)的隔離性、環(huán)境一致性等，構(gòu)建安全隔離沙盒環(huán)境，覆蓋智能體從開發(fā)到部署的全流程，推動(dòng)智能體驗(yàn)證適配。

    最后，楊玉模分享了在運(yùn)營(yíng)商視角如何思考RISC-V AI應(yīng)用前景。他認(rèn)為，首先是要找好定位。做AI基礎(chǔ)設(shè)施平臺(tái)和集成商。因?yàn)榈紫掠布白钌厦娴膽?yīng)用不是運(yùn)營(yíng)商的專長(zhǎng)，中國(guó)電信以IaaS為基礎(chǔ)做AI算力平臺(tái)、以PaaS為基礎(chǔ)做AI應(yīng)用平臺(tái)。其次是大模型如何為客戶創(chuàng)造價(jià)值。他認(rèn)為是立足現(xiàn)有業(yè)務(wù)、拓展新型業(yè)務(wù)，比如：將大模型重新定義傳統(tǒng)業(yè)務(wù)或者是AI去重新定義傳統(tǒng)業(yè)務(wù)，比如說圖象處理、通過AI的技術(shù)可以提高處理的性能和速度。還有就是大模型談塞新型業(yè)務(wù)場(chǎng)景，例如：交互式的問答這種類型。最后，思考如何將理論研究轉(zhuǎn)化為商業(yè)應(yīng)用。要與上下游廠商攜手推進(jìn)商業(yè)的落地，首先要健全RISC-V AI領(lǐng)域的開源生態(tài)，然后要開源向產(chǎn)品化進(jìn)行轉(zhuǎn)變。