算力網(wǎng)絡與傳統(tǒng)網(wǎng)絡有何不同
隨著人工智能(AI)和機器學習(ML)的日益普及,對數(shù)據(jù)中心網(wǎng)絡的需求也在增長。
本文引用地址:http://2s4d.com/article/202501/465997.htm本白皮書分析了AI網(wǎng)絡的新要求、獨特的AI流量模式,以及如何利用現(xiàn)有技術(shù)使以太網(wǎng)網(wǎng)絡適應運行高性能AI工作負載。此外,還討論了Keysight解決方案如何幫助優(yōu)化AI網(wǎng)絡。
新的網(wǎng)絡要求
支持AI和ML的網(wǎng)絡在要求和流量模式上與傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡存在顯著差異。在傳統(tǒng)數(shù)據(jù)中心和AI數(shù)據(jù)中心之間,數(shù)據(jù)的類型、數(shù)量和流量模型都有很大的不同。大型AI集群的硬件投資高達數(shù)億美元,通過優(yōu)化可以顯著減少模型訓練所需的時間。
傳統(tǒng)數(shù)據(jù)中心
在傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡中,常見的工作負載包括單個查詢或定時作業(yè),如夜間作業(yè)。這些工作負載變化很大,流量分布在不同的會話上。整個網(wǎng)絡負載在單個鏈路上均勻分布,隨著用戶數(shù)量的增加而成比例增長。通常,延遲或丟失的數(shù)據(jù)包不會造成重大問題。例如,銀行后端系統(tǒng)處理單個賬戶余額的網(wǎng)頁請求或計算利息的夜間作業(yè)。
AI數(shù)據(jù)中心
相比之下,數(shù)據(jù)中心中的AI集群需要表現(xiàn)得像超級計算機,配備成千上萬的圖形處理單元(GPU)和數(shù)百個CPU及交換機。在AI集群中,所有GPU都致力于解決同一個問題。構(gòu)建大型語言模型(LLM)可能需要數(shù)天或數(shù)周時間。通過最快的網(wǎng)絡鏈路相互連接,這些GPU需要移動大量數(shù)據(jù),不能在任何鏈路上丟失數(shù)據(jù)包或遇到擁堵。因為所有GPU都在處理同一個問題,所以當最后一個GPU完成處理時,任務就完成了。一旦構(gòu)建完成,LLM可以遷移到較小的GPU或基于CPU的前端計算機系統(tǒng)。然后,用戶可以使用模型,看看它在訓練期間學到的信息應用得如何。這個過程被稱為推理。本文僅討論后端LLM訓練。
擴展性
擴展傳統(tǒng)數(shù)據(jù)中心時,優(yōu)化主要取決于比較查詢響應的服務級別(SLA)與實際結(jié)果。例如,檢索支票賬戶余額的響應可能在毫秒級,而大型夜間作業(yè)可能需要數(shù)小時。若結(jié)果未達預期時效,運維人員可以調(diào)整服務器數(shù)量和網(wǎng)絡速度。
然而,擴展AI集群需要優(yōu)化構(gòu)建模型的時間。新模型構(gòu)建可能需數(shù)周或數(shù)月。即使縮短幾天,也能釋放AI數(shù)據(jù)中心價值數(shù)百萬美元的GPU,用于下一工作。增加GPU成本高昂,且數(shù)量有限。因此,首要優(yōu)化目標是降低GPU的空閑時間,并在增加容量前消除網(wǎng)絡擁塞。
在AI集群中,GPU共同學習以訓練模型。任何影響一個GPU的數(shù)據(jù)包延遲或丟失都可能顯著延長任務完成時間,因為其他GPU將處于空閑狀態(tài)。盡管需要高速網(wǎng)絡鏈路,但這還不夠。關(guān)鍵在于配置AI網(wǎng)絡,利用現(xiàn)代以太網(wǎng)網(wǎng)絡的多種技術(shù)避免擁塞。
新的流量模式
AI數(shù)據(jù)中心的網(wǎng)絡流量模式與傳統(tǒng)數(shù)據(jù)中心不同。工作負載分布在數(shù)百或數(shù)千個GPU之間,涉及大量數(shù)據(jù)的發(fā)送和接收。與大小不定的互聯(lián)網(wǎng)流量不同,AI數(shù)據(jù)大小具有有限的隨機性。AI集群在GPU計算和GPU間共享計算結(jié)果之間經(jīng)歷快速、高頻率的轉(zhuǎn)換。GPU在發(fā)送或等待信息時處于空閑狀態(tài)。流量可能突發(fā),呈現(xiàn)特定模式,如多個GPU相互發(fā)送數(shù)據(jù),導致內(nèi)部擁堵。
長尾效應
AI網(wǎng)絡性能衡量的是完成時間最長的流量,而非平均帶寬。這些長尾顯著影響任務完成時間,進而影響GPU利用率。例如,若平均流量完成時間為150毫秒,但一個GPU的最長完成時間為190毫秒,則所有GPU的實際總體完成時間為190毫秒。詳情見圖1。
圖1. 關(guān)鍵評估指標示例
網(wǎng)絡優(yōu)化中的平衡至關(guān)重要
在此例中,某些GPU獲取數(shù)據(jù)速度遠快于其他GPU。優(yōu)化的目標并非將數(shù)據(jù)盡可能快地移動至特定GPU,而是平衡網(wǎng)絡,確保所有GPU幾乎同時接收到數(shù)據(jù),避免空閑。實際上,這涉及加快慢速流程,減慢快速流程。GPU一旦從彼此處接收到數(shù)據(jù),即可啟動下一計算周期。這種優(yōu)化網(wǎng)絡能最大化GPU利用率。
類比來說,就像100顆大理石懸掛在網(wǎng)上,網(wǎng)孔僅比大理石略大。若將所有大理石投入網(wǎng)中,部分會迅速落下,但許多會聚在一起,最后一個落下需時較長。若通過某種通道引導大理石入孔,即使第一個大理石通過時間較長,所有大理石整體通過速度將更快。這里的網(wǎng)孔代表網(wǎng)絡鏈路,大理石則代表GPU的流量。
相較之下,傳統(tǒng)數(shù)據(jù)中心流量包含許多不同時間發(fā)生的大小不一的流量,連接眾多客戶端。平衡此類流量網(wǎng)絡鏈路相對簡單,有時甚至能自我平衡。然而,AI流量涉及始終向所有節(jié)點發(fā)送大量流量,平衡難度更大。
何時升級AI網(wǎng)絡?
AI的運營模式已發(fā)生改變
在傳統(tǒng)數(shù)據(jù)中心,當鏈路利用率接近50%時,便會考慮升級。而在AI數(shù)據(jù)中心,鏈路利用率可高達90%。即使所有鏈路速度奇跡般地加倍,鏈路利用率依然會保持在較高水平。
新型以太網(wǎng)網(wǎng)絡配置
以太網(wǎng)網(wǎng)絡在現(xiàn)今數(shù)據(jù)中心中占據(jù)主導地位,公司可以對其進行優(yōu)化和配置,以支持AI網(wǎng)絡。構(gòu)建、部署、管理和排查這些網(wǎng)絡所需的技能,通常可通過內(nèi)部資源或外部承包商和顧問獲得。公司可以利用這些現(xiàn)有技能,為AI配置以太網(wǎng)網(wǎng)絡,避免擁塞影響GPU利用率。
現(xiàn)代以太網(wǎng)協(xié)議通過優(yōu)先級流量控制(PFC)、顯式擁塞通知(ECN)、數(shù)據(jù)中心量化擁塞通知(DCQCN)和分組噴濺等技術(shù),管理數(shù)據(jù)中心網(wǎng)絡的流量和擁塞。讓我們簡要了解這些技術(shù)。
從PFC和ECN開始調(diào)優(yōu)
PFC允許交換機在其緩沖區(qū)達到特定閾值時,向上游設備發(fā)送暫停幀,停止該隊列的流量。這種方法雖可防止數(shù)據(jù)包丟失,但單獨使用并非最佳解決方案。網(wǎng)絡可能會運行緩慢,隊列頻繁啟停。
ECN則在設備間提供擁塞通知,使發(fā)送設備降低流量速率。DCQCN協(xié)調(diào)ECN和PFC的工作。
DCQCN是一種算法,通過在擁塞開始時降低傳輸速率,使ECN能夠管理流量控制,從而減少PFC的持續(xù)時間。調(diào)整DCQCN較為復雜,還有其他改善AI網(wǎng)絡配置的途徑。
進一步優(yōu)化AI網(wǎng)絡的選項
在傳統(tǒng)的數(shù)據(jù)中心中,等價多路徑(ECMP)是一種常用的路由策略,它通過平衡網(wǎng)絡流量來實現(xiàn)網(wǎng)絡優(yōu)化。然而,在AI網(wǎng)絡中,由于單個AI流量可能會占滿整個鏈路,這種策略就會面臨挑戰(zhàn)。對于AI網(wǎng)絡來說,更有效的方法是在數(shù)據(jù)包級別進行網(wǎng)絡平衡。例如,數(shù)據(jù)包噴濺以及其他形式的負載均衡技術(shù),如動態(tài)負載均衡、基于小單元的路由和確定性路由,可以將數(shù)據(jù)包分散到可用的網(wǎng)絡鏈路上。與AI集合通信中的流量相比,這些數(shù)據(jù)包體積小,可以顯著提高鏈路利用率。
在硬件層面,遠程直接內(nèi)存訪問(RDMA)技術(shù)允許兩個服務器之間的應用程序直接交換數(shù)據(jù),無需經(jīng)過處理器、操作系統(tǒng)、緩存或網(wǎng)絡內(nèi)核。這意味著應用程序可以直接在遠程服務器的內(nèi)存上進行讀寫操作,無需使用任何服務器的處理器,從而實現(xiàn)更快的數(shù)據(jù)傳輸和更低的延遲?;谌诤弦蕴W(wǎng)的RDMA(RoCE)在以太網(wǎng)網(wǎng)絡中提供了這種機制。
無損以太網(wǎng)網(wǎng)絡的構(gòu)建
通過結(jié)合上述技術(shù)和為每種技術(shù)設置適當?shù)膮?shù),構(gòu)建一個無損以太網(wǎng)網(wǎng)絡是可行的。 無損以太網(wǎng)網(wǎng)絡的協(xié)議已經(jīng)存在,同時也有工具來提供基準測試,所需的管理應用程序,以及網(wǎng)絡工程師和架構(gòu)師的知識體系都已完備。
行業(yè)專家們正在為AI開發(fā)新的以太網(wǎng)能力和創(chuàng)新技術(shù)。比如,超以太網(wǎng)聯(lián)盟正在致力于標準化高性能以太網(wǎng)能力,并簡化配置和管理,作為其AI網(wǎng)絡增長路線圖的一部分。 挑戰(zhàn)在于如何在部署前驗證設計和目標。
優(yōu)化AI網(wǎng)絡的新方法
為了提供AI網(wǎng)絡的測試基準,需要模擬AI訓練的流量模式,并通過能夠模擬GPU和RDMA網(wǎng)絡接口卡(NIC)的網(wǎng)絡流量發(fā)生器發(fā)送這些數(shù)據(jù)。GPU支持RDMA NIC,這使得GPU之間的數(shù)據(jù)訪問變得更快捷。
需要模擬的流量類型
系統(tǒng)應能夠可重復地創(chuàng)建由AI集群中集合通信產(chǎn)生的不同數(shù)據(jù)模式和大小的場景。這些流量包括模擬隊列對(Q-pair)連接和流,生成擁塞通知,執(zhí)行基于DCQCN的動態(tài)速率控制,并提供測試吞吐量、緩存管理以及ECMP哈希的靈活性。
工程團隊可以使用支持RoCE v2 / RDMA的網(wǎng)絡流量發(fā)生器,在實驗室或灰度環(huán)境中根據(jù)性能測量結(jié)果對設計進行改進,而不依賴于GPU加速卡。一個有效的AI網(wǎng)絡優(yōu)化解決方案應具備定義AI系統(tǒng)配置以模擬工作負載的靈活性,包括GPU的數(shù)量、NIC的數(shù)量、擁塞控制設置(如PFC和DCQCN)、數(shù)據(jù)大小、Q-pair特性以及模擬NIC的配置,靈活的配置可以使基準測試更高效和可重復。進行不同數(shù)據(jù)大小的基準測試,提供完成時間、算法和總線帶寬等關(guān)鍵性能指標的結(jié)果是優(yōu)化AI網(wǎng)絡的重要步驟,了解單個RoCEv2 Q-pair的統(tǒng)計指標細節(jié)對于排錯和定位也很關(guān)鍵。
結(jié)論
AI數(shù)據(jù)中心網(wǎng)絡的要求和流量模式與傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡有顯著差異。優(yōu)化AI網(wǎng)絡的范式不同,人們期望網(wǎng)絡能夠以接近滿載和無損的方式運行。一個關(guān)鍵策略是優(yōu)化網(wǎng)絡以提升GPU利用率。雖然有許多傳統(tǒng)以太網(wǎng)的調(diào)優(yōu)方法,但效果并不直觀、復雜程度高。
Keysight的工具用于提供基準測試和優(yōu)化AI網(wǎng)絡,工具充分利用了現(xiàn)有的數(shù)據(jù)中心工程技能、知識體系和測試方法學,可以避免手動、耗時的操作。有了這些工具,網(wǎng)絡架構(gòu)師可以使用Keysight AI(KAI)數(shù)據(jù)中心構(gòu)建器來模擬網(wǎng)絡負載和GPU行為,結(jié)合硬件儀表方案,主動識別瓶頸并調(diào)整網(wǎng)絡配置,調(diào)優(yōu)網(wǎng)絡性能。從而最終顯著提升GPU利用率——最小化資源浪費并大幅降低網(wǎng)絡GPU的開支。
評論