英偉達(dá)獨(dú)霸時(shí)代結(jié)束？ChatGPT引爆谷歌微軟芯片大戰(zhàn)，亞馬遜也入局
發(fā)布人：傳感器技術(shù)
時(shí)間：2023-05-10
來(lái)源：工程師
發(fā)布文章
加入技術(shù)交流群
掃碼加入
和技術(shù)大咖面對(duì)面交流
海量資料庫(kù)查詢
各大科技巨頭研發(fā)的AI芯片ChatGPT爆火，大廠開(kāi)啟芯片爭(zhēng)霸賽
根據(jù)外媒The Information的報(bào)道以及其他來(lái)源，這三家大廠現(xiàn)在已經(jīng)推出或計(jì)劃發(fā)布8款服務(wù)器和AI芯片，用于內(nèi)部產(chǎn)品開(kāi)發(fā)、云服務(wù)器租賃或者二者兼有。
「如果你能制造出針對(duì)AI進(jìn)行優(yōu)化的硅，那前方等待你的將是巨大的勝利」，研究公司Forrester的董事Glenn O’Donnell這樣說(shuō)。付出這些巨大的努力，一定會(huì)得到回報(bào)嗎？答案是，并不一定。
英特爾、AMD和英偉達(dá)可以從規(guī)模經(jīng)濟(jì)中獲益，但對(duì)大型科技公司來(lái)說(shuō)，情況遠(yuǎn)非如此。它們還面臨著許多棘手的挑戰(zhàn)，比如需要聘請(qǐng)芯片設(shè)計(jì)師，還要說(shuō)服開(kāi)發(fā)者使用他們定制的芯片構(gòu)建應(yīng)用程序。不過(guò)，大廠們已經(jīng)在這一領(lǐng)域取得了令人矚目的進(jìn)步。根據(jù)公布的性能數(shù)據(jù)，亞馬遜的Graviton服務(wù)器芯片，以及亞馬遜和谷歌發(fā)布的AI專用芯片，在性能上已經(jīng)可以和傳統(tǒng)的芯片廠商相媲美。亞馬遜、微軟和谷歌為其數(shù)據(jù)中心開(kāi)發(fā)的芯片，主要有這兩種：標(biāo)準(zhǔn)計(jì)算芯片和用于訓(xùn)練和運(yùn)行機(jī)器學(xué)習(xí)模型的專用芯片。正是后者，為ChatGPT之類的大語(yǔ)言模型提供了動(dòng)力。此前，蘋(píng)果成功地為iPhone，iPad和Mac開(kāi)發(fā)了芯片，改善了一些AI任務(wù)的處理。這些大廠，或許正是跟蘋(píng)果學(xué)來(lái)的靈感。在三家大廠中，亞馬遜是唯一一家在服務(wù)器中提供兩種芯片的云服務(wù)商，2015年收購(gòu)的以色列芯片設(shè)計(jì)商Annapurna Labs，為這些工作奠定了基礎(chǔ)。谷歌在2015年推出了一款用于AI工作負(fù)載的芯片，并正在開(kāi)發(fā)一款標(biāo)準(zhǔn)服務(wù)器芯片，以提高谷歌云的服務(wù)器性能。相比之下，微軟的芯片研發(fā)開(kāi)始得較晚，是在2019年啟動(dòng)的，而最近，微軟更加快了推出專為L(zhǎng)LM設(shè)計(jì)的AI芯片的時(shí)間軸。而ChatGPT的爆火，點(diǎn)燃了全世界用戶對(duì)于AI的興奮。這更促進(jìn)了三家大廠的戰(zhàn)略轉(zhuǎn)型。
ChatGPT運(yùn)行在微軟的Azure云上，使用了上萬(wàn)塊英偉達(dá)A100。無(wú)論是ChatGPT，還是其他整合進(jìn)Bing和各種程序的OpenAI軟件，都需要如此多的算力，以至于微軟已經(jīng)為開(kāi)發(fā)AI的內(nèi)部團(tuán)隊(duì)分配了服務(wù)器硬件。在亞馬遜，首席財(cái)務(wù)官Brian Olsavsky在上周的財(cái)報(bào)電話會(huì)議上告訴投資者，亞馬遜計(jì)劃將支出從零售業(yè)務(wù)轉(zhuǎn)移到AWS，部分原因是投資于支持ChatGPT所需的基礎(chǔ)設(shè)施。在谷歌，負(fù)責(zé)制造張量處理單元的工程團(tuán)隊(duì)已經(jīng)轉(zhuǎn)移到谷歌云。據(jù)悉，云組織現(xiàn)在可以為T(mén)PU和在其上運(yùn)行的軟件制定路線圖，希望讓云客戶租用更多TPU驅(qū)動(dòng)的服務(wù)器。谷歌：為AI特調(diào)的TPU V4
早在2020年，谷歌就在自家的數(shù)據(jù)中心上部署了當(dāng)時(shí)最強(qiáng)的AI芯片——TPU v4。
不過(guò)直到今年的4月4日，谷歌才首次公布了這臺(tái)AI超算的技術(shù)細(xì)節(jié)。
相比于TPU v3，TPU v4的性能要高出2.1倍，而在整合4096個(gè)芯片之后，超算的性能更是提升了10倍。同時(shí)，谷歌還聲稱，自家芯片要比英偉達(dá)A100更快、更節(jié)能。對(duì)于規(guī)模相當(dāng)?shù)南到y(tǒng)，TPU v4可以提供比英偉達(dá)A100強(qiáng)1.7倍的性能，同時(shí)在能效上也能提高1.9倍。對(duì)于相似規(guī)模的系統(tǒng)，TPU v4在BERT上比A100快1.15倍，比IPU快大約4.3倍。對(duì)于ResNet，TPU v4分別快1.67倍和大約4.5倍。
另外，谷歌曾暗示，它正在研發(fā)一款與Nvidia H100競(jìng)爭(zhēng)的新TPU。谷歌研究員Jouppi在接受路透社采訪時(shí)表示，谷歌擁有「未來(lái)芯片的生產(chǎn)線」。微軟：秘密武器雅典娜
不管怎么說(shuō)，微軟在這場(chǎng)芯片紛爭(zhēng)中，依舊躍躍欲試。
此前有消息爆出，微軟秘密組建的300人團(tuán)隊(duì)，在2019年時(shí)就開(kāi)始研發(fā)一款名為「雅典娜」（Athena）的定制芯片。
根據(jù)最初的計(jì)劃，「雅典娜」會(huì)使用臺(tái)積電的5nm工藝打造，預(yù)計(jì)可以將每顆芯片的成本降低1/3。如果在明年能夠大面積實(shí)裝，微軟內(nèi)部和OpenAI的團(tuán)隊(duì)便可以借助「雅典娜」同時(shí)完成模型的訓(xùn)練和推理。這樣一來(lái)，就可以極大地緩解專用計(jì)算機(jī)緊缺的問(wèn)題。彭博社在上周的報(bào)道中，稱微軟的芯片部門(mén)已與AMD合作開(kāi)發(fā)雅典娜芯片，這也導(dǎo)致AMD的股價(jià)在周四上漲了6.5%。但一位知情者表示，AMD并未參與其中，而是在開(kāi)發(fā)自己的GPU，與英偉達(dá)競(jìng)爭(zhēng)，并且AMD一直在與微軟討論芯片的設(shè)計(jì)，因?yàn)槲④涱A(yù)計(jì)要購(gòu)買這款GPU。亞馬遜：已搶跑一個(gè)身位
而在與微軟和谷歌的芯片競(jìng)賽中，亞馬遜似乎已經(jīng)領(lǐng)先了一個(gè)身位。
在過(guò)去的十年中，亞馬遜在云計(jì)算服務(wù)方面，通過(guò)提供更加先進(jìn)的技術(shù)和更低的價(jià)格，一直保持了對(duì)微軟和谷歌的競(jìng)爭(zhēng)優(yōu)勢(shì)。而未來(lái)十年內(nèi)，亞馬遜也有望通過(guò)自己內(nèi)部開(kāi)發(fā)的服務(wù)器芯片——Graviton，繼續(xù)在競(jìng)爭(zhēng)中保持優(yōu)勢(shì)。作為最新一代的處理器，AWS Graviton3在計(jì)算性能上比上一代提高多達(dá)25%，浮點(diǎn)性能提高多達(dá)2倍。并支持DDR5內(nèi)存，相比DDR4內(nèi)存帶寬增加了50%。針對(duì)機(jī)器學(xué)習(xí)工作負(fù)載，AWS Graviton3比上一代的性能高出多達(dá)3倍，并支持 bfloat16。
基于Graviton 3芯片的云服務(wù)在一些地區(qū)非常受歡迎，甚至于達(dá)到了供不應(yīng)求的狀態(tài)。亞馬遜另一方面的優(yōu)勢(shì)還表現(xiàn)在，它是目前唯一一家在其服務(wù)器中提供標(biāo)準(zhǔn)計(jì)算芯片（Graviton）和AI專用芯片（Inferentia和Trainium）云供應(yīng)商。早在2019年，亞馬遜就推出了自己的AI推理芯片——Inferentia。它可以讓客戶可以在云端低成本運(yùn)行大規(guī)模機(jī)器學(xué)習(xí)推理應(yīng)用程序，例如圖像識(shí)別、語(yǔ)音識(shí)別、自然語(yǔ)言處理、個(gè)性化和欺詐檢測(cè)。而最新的Inferentia 2更是在計(jì)算性能提高了3倍，加速器總內(nèi)存擴(kuò)大了4倍，吞吐量提高了4倍，延遲降低到1/10。
在初代Inferentia推出之后，亞馬遜又發(fā)布了其設(shè)計(jì)的主要用于AI訓(xùn)練的定制芯片——Trainium。它對(duì)深度學(xué)習(xí)訓(xùn)練工作負(fù)載進(jìn)行了優(yōu)化，包括圖像分類、語(yǔ)義搜索、翻譯、語(yǔ)音識(shí)別、自然語(yǔ)言處理和推薦引擎等。
在一些情況下，芯片定制不僅僅可以把成本降低一個(gè)數(shù)量級(jí)，能耗減少到1/10，并且這些定制化的方案可以給客戶以更低的延遲提供更好的服務(wù)。撼動(dòng)英偉達(dá)的壟斷，沒(méi)那么容易
不過(guò)到目前為止，大多數(shù)的AI負(fù)載還是跑在GPU上的，而英偉達(dá)生產(chǎn)了其中的大部分芯片。
據(jù)此前報(bào)道，英偉達(dá)獨(dú)立GPU市場(chǎng)份額達(dá)80%，在高端GPU市場(chǎng)份額高達(dá)90%。20年，全世界跑AI的云計(jì)算與數(shù)據(jù)中心，80.6%都由英偉達(dá)GPU驅(qū)動(dòng)。21年，英偉達(dá)表示，全球前500個(gè)超算中，大約七成是由自家的芯片驅(qū)動(dòng)。而現(xiàn)在，就連運(yùn)行ChatGPT的微軟數(shù)據(jù)中心用了上萬(wàn)塊英偉達(dá)A100 GPU。一直以來(lái)，不管是成為頂流的ChatGPT，還是Bard、Stable Diffusion等模型，背后都是由每個(gè)大約價(jià)值1萬(wàn)美元的芯片英偉達(dá)A100提供算力。
不僅如此，A100目前已成為人工智能專業(yè)人士的「主力」。2022人工智能現(xiàn)狀報(bào)告還列出了使用A100超級(jí)計(jì)算機(jī)部分公司的名單。
顯而易見(jiàn)，英偉達(dá)已經(jīng)壟斷了全球算力，憑借自家的芯片，一統(tǒng)江湖。根據(jù)從業(yè)者的說(shuō)法，相比于通用芯片，亞馬遜、谷歌和微軟一直在研發(fā)的專用集成電路（ASIC）芯片，在執(zhí)行機(jī)器學(xué)習(xí)任務(wù)的速度更快，功耗更低。O’Donnell董事在比較GPU和ASIC時(shí)，用了這樣一個(gè)比較：「平時(shí)開(kāi)車，你可以用普銳斯，但如果你必須在山上用四輪驅(qū)動(dòng)，用吉普牧馬人就會(huì)更合適?！?/span>
然而盡管已經(jīng)做出了種種努力，但亞馬遜、谷歌和微軟都面臨著挑戰(zhàn)——如何說(shuō)服開(kāi)發(fā)者使用這些AI芯片呢？現(xiàn)在，英偉達(dá)的GPU是占主導(dǎo)地位的，開(kāi)發(fā)者早已熟悉其專有的編程語(yǔ)言CUDA，用于制作GPU驅(qū)動(dòng)的應(yīng)用程序。如果換到亞馬遜、谷歌或微軟的定制芯片，就需要學(xué)習(xí)全新的軟件語(yǔ)言了，他們會(huì)愿意嗎？ 來(lái)源：新智元
*博客內(nèi)容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀點(diǎn)，如有侵權(quán)請(qǐng)聯(lián)系工作人員刪除。
