比肩摩爾定律！英偉達提出"黃氏定律"！

#時事熱點頭條說#

當人們在爭論摩爾定律在本世紀20年代是否會放緩、是否仍然適用、甚至是否已經走向盡頭時，英偉達的科學家們卻預示著令人印象深刻的“黃仁勛定律”。在過去十年中，英偉達GPU的人工智能處理能力據稱增長了1000倍。黃氏定律意味著我們在“單芯片推理性能”中看到的增速不會逐漸消失，而是會繼續(xù)出現。

英偉達上周五發(fā)表了一篇關于黃氏定律的博客文章，概述了黃氏定律背后的信念和工作實踐。有趣的是，英偉達首席科學家比爾?戴利所描述的“后摩爾定律時代計算機性能的結構性轉變”主要是基于人類的聰明才智。這一特征似乎有些難以預測，但戴利認為，下面這張令人印象深刻的圖表標志著黃氏定律的開始。

根據戴利最近在Hot Chips 2023大會上的演講，上圖顯示GPU AI推理性能在過去十年中增長了1000倍。有趣的是，與摩爾定律不同的是，工藝尺寸縮小對黃氏定律的進展幾乎沒有影響。

戴利回憶了如何通過改變Nvidia GPU的底層數字處理方式實現16倍的性能增益。另一個巨大的推動力是Nvidia Hopper架構的到來，此架構使用了Transformer Engine。據稱，Hopper使用了8位和16位浮點數和整數計算的動態(tài)混合，實現了12.5倍的性能飛躍，同時還節(jié)省了能耗。

戴利最令人驚訝的說法之一是，人工智能推理性能的1000倍性能增加與工藝尺寸縮小的收益形成鮮明對比。在過去的十年里，隨著英偉達GPU從28納米工藝轉向5納米工藝，半導體工藝的改進“只占總收益的2.5倍”。

值得慶幸的是，戴利表示他和他的團隊仍然看到了加速人工智能推理處理的“幾個機會”，其中包括進一步簡化數字的表示方式，在人工智能模型中創(chuàng)建更多的稀疏性，以及設計更好的內存和通信電路。