谷歌新一代云端AI芯片TPU v5p發(fā)布，性能提升2.8倍

12月7日凌晨，谷歌（Google）在發(fā)布多模態(tài)大模型Gemini的同時(shí)，還推出了全新的面向云端AI加速的TPU v5p ，這也是谷歌迄今為止功能最強(qiáng)大且最具成本效益的 TPU（云張量處理單元）。

據(jù)介紹，每個(gè) TPU v5p Pod 由多達(dá) 8,960 個(gè)芯片組成，使用最高帶寬的芯片間連接（每芯片 4,800 Gbps）進(jìn)行互連，確?？焖賯鬏斔俣群妥罴研阅堋?/p>

在AI性能方面，TPU v5p能夠提供459 teraFLOPS（每秒可執(zhí)行459萬(wàn)億次浮點(diǎn)運(yùn)算）的bfloat16（16位浮點(diǎn)數(shù)格式）性能或918 teraOPS（每秒可執(zhí)行918萬(wàn)億次整數(shù)運(yùn)算）的Int8（執(zhí)行8位整數(shù)）性能，支持95GB的高帶寬內(nèi)存，能夠以2.76 TB/s的速度傳輸數(shù)據(jù)。

與TPU v4相比，新發(fā)布的TPU v5p具有兩倍的FLOPS（每秒浮點(diǎn)運(yùn)算）和三倍的高內(nèi)存帶寬提升，這在人工智能領(lǐng)域是令人驚嘆的。

此外，在模型訓(xùn)練方面，TPU v5p 在 LLM（大語(yǔ)言模型）訓(xùn)練速度上顯示出 2.8 倍的代際提升，即使相比TPU v5e也有約50%的提升。Google還擠出更多的計(jì)算能力，因?yàn)?TPU v5p“就每個(gè) Pod 的總可用 FLOP 而言，可擴(kuò)展性比 TPU v4 高 4 倍”。

0

總結(jié)來(lái)說，TPU v5p與 TPU v4 相比：

• 浮點(diǎn)運(yùn)算次數(shù)增加了 2 倍（459 TFLOPs Bf16 / 918 TOPs INT8）

• 內(nèi)存容量比 TPU v4 (95 GB HBM) 高出 3 倍

• LLM 培訓(xùn)速度提高 2.8 倍

• 嵌入密集模型訓(xùn)練速度提高 1.9 倍

• 帶寬增加 2.25 倍（2765 GB/秒 vs 1228 GB/秒）

• 芯片間互連帶寬是原來(lái)的 2 倍（4800 Gbps 與 2400 Gbps）

谷歌已經(jīng)認(rèn)識(shí)到在擁有最好的硬件和軟件資源方面取得了明顯的成功，這就是該公司擁有人工智能超級(jí)計(jì)算機(jī)的原因，它是一組旨在協(xié)作工作以實(shí)現(xiàn)現(xiàn)代人工智能工作負(fù)載的元素。谷歌集成了性能優(yōu)化計(jì)算、最佳存儲(chǔ)和液體冷卻等功能，以充分利用巨大的功能，輸出的性能確實(shí)是行業(yè)領(lǐng)先。

在軟件方面，Google已經(jīng)加強(qiáng)了使用開放軟件來(lái)調(diào)整其人工智能工作負(fù)載，以確保其硬件的最佳性能。

以下是AI Hypercomputer新增軟件資源的概要：

對(duì)流行的 ML 框架（例如 JAX、TensorFlow 和 PyTorch）的廣泛支持開箱即用。JAX 和 PyTorch 均由 OpenXLA 編譯器提供支持，用于構(gòu)建復(fù)雜的 LLM。XLA 充當(dāng)基礎(chǔ)骨干，支持創(chuàng)建復(fù)雜的多層模型（使用 PyTorch/XLA 在云 TPU 上進(jìn)行 Llama 2 訓(xùn)練和推理）。它優(yōu)化了各種硬件平臺(tái)上的分布式架構(gòu)，確保針對(duì)不同的 AI 使用案例進(jìn)行易于使用且高效的模型開發(fā)（AssemblyAI 利用 JAX/XLA 和 Cloud TPU 進(jìn)行大規(guī)模 AI 語(yǔ)音）。

開放且獨(dú)特的多片訓(xùn)練和多主機(jī)推理軟件分別使擴(kuò)展、訓(xùn)練和服務(wù)工作負(fù)載變得順利和簡(jiǎn)單。開發(fā)人員可以擴(kuò)展到數(shù)萬(wàn)個(gè)芯片來(lái)支持要求苛刻的人工智能工作負(fù)載。

與 Google Kubernetes Engine (GKE) 和 Google Compute Engine 深度集成，提供高效的資源管理、一致的操作環(huán)境、自動(dòng)擴(kuò)展、節(jié)點(diǎn)池自動(dòng)配置、自動(dòng)檢查點(diǎn)、自動(dòng)恢復(fù)和及時(shí)的故障恢復(fù)。

Google的人工智能革命性方法通過其新的硬件和軟件元素顯而易見，這些元素都將打破限制該行業(yè)的障礙?？纯葱碌?Cloud TPU v5p 處理單元如何與 AI 超計(jì)算機(jī)一起幫助正在進(jìn)行的AI開發(fā)將會(huì)很有趣，但有一點(diǎn)是肯定的，它們肯定會(huì)加劇競(jìng)爭(zhēng)。

編輯：芯智訊-浪客劍