ARK報告：AI仍處早期，發(fā)展速度是摩爾定律50倍

文 | 董溫淑

智東西7月1日消息，近日，投資管理公司ARK Invest發(fā)布一份報告，分析了人工智能技術的發(fā)展情況。

通過與摩爾定律的發(fā)展歷程進行對比，ARK認為，人工智能還處于較早期的階段。數(shù)據(jù)顯示，目前人工智能的訓練成本正以50倍于摩爾定律的速度增長，對于許多用例來說，運行AI推理系統(tǒng)的成本幾乎為。

一、AI計算復雜度每年激增10倍

在過去10年中，用于人工智能的訓練模型的計算資源激增。在1960到2010年間，人工智能的計算復雜度每兩年翻一番。在2010到2020年間，人工智能的計算復雜度每年猛增10倍。

▲1960～2020年間，人工智能計算復雜度變化

報告認為，企業(yè)有足夠的動力增加對AI的計算資源投入。一方面，這是因為人工智能技術能夠帶來顯著的收入增長；另一方面，用于訓練人工智能模型的硬件成本在迅速下降。

實際上，一些超級互聯(lián)網公司已經開始利用自己掌握的數(shù)據(jù)訓練深度學習網絡。目前，這些公司已經在人工智能硬件方面投入了數(shù)億美元的預算。報告預計，隨著時間推移，互聯(lián)網公司會獲得更高的回報率。

二、AI模型成本下降：訓練成本可低至1美元

另外，人工智能訓練成本約每年下降10倍。例如，2017年，在公有云上訓練一個像ResNet-50這樣的圖像識別網絡成本約為1000美元。到了2019年，這項成本降為約10美元。根據(jù)報告，按照目前的下降速度，到今年年底，這項成本或將降為1美元。

▲人工智能訓練成本呈現(xiàn)下降趨勢

運行一個訓練好的神經網絡用于推理的成本下降得更快。在過去兩年中，分類10億張圖片的成本從10000美元下降到0.03美元。

▲過去兩年間，運行神經網絡分類10億張圖片的成本呈現(xiàn)下降趨勢

三、軟件和硬件的突破使成本下降成為可能

軟件和硬件的突破使上述成本下降成為可能。過去3年間，芯片和系統(tǒng)已經進化到可以為深度學習任務添加專用硬件，這帶來了16倍的性能提升。如果保持硬件不變，用新版本的AI框架（TensorFlow和PyTorch）與新的訓練方法結合，可以產生8倍的性能增益。

▲左–硬件升級帶來的性能提升；右–軟件升級帶來的性能提升

奇怪的是，人工智能訓練芯片的成本并未隨著單位硬件價格的下降而下降。例如，NVIDIA GPU數(shù)據(jù)中心經過3次迭代，價格翻了3倍。事實上，自從2017年推出Nvidia V100 GPU以來，亞馬遜網絡服務（AWS）并沒有降低過它的價格。

理論上說，AI芯片市場上的競爭有可能驅動NVIDIA降低價格。但實際上，迄今為止還沒有玩家能夠研發(fā)出對Nvidia V100 GPU形成威脅的產品。

四、目前還處于早期階段，2023年市值有望超越互聯(lián)網

在摩爾定律的第一個10年里，晶體管的數(shù)量每年翻一翻。報告指出，鑒于目前人工智能訓練和推理的成本在以1/10到1/100的速率下降，人工智能還處于非常早期的階段，也許在未來幾十年里，人工智能會以緩慢的速度保持增長。

迄今為止，人工智能為全球股票市值增加了約1萬億美元。ARK預計，到2023年，人工智能的股票市值有望達到30萬億美元，人工智能或將成為第一項超越互聯(lián)網股票市值的技術。

▲2023年，人工智能的股票市值有望達到30萬億美元

結語：與OpenAI研究結果一致

ARK Invest分析了人工智能計算復雜度、訓練成本、推理成本、軟件和硬件的變化趨勢，并與摩爾定律的發(fā)展進行對比。數(shù)據(jù)顯示，目前人工智能還處于早期發(fā)展階段。

這項發(fā)現(xiàn)與OpenAI的一份報告中得出的結論一致。OpenAI報告顯示，自2012年以來，在ImageNet基準測試中，將圖像分類AI模型訓練到同等性能所需計算量每16個月縮短一半。

要指出的是，雖然訓練模型的總體花費在下降，但是在云上開發(fā)AI工具還比較昂貴。例如，在最近的一項研究中，華盛頓大學研究團隊訓練了一個用于檢測假新聞的AI模型，在兩周的訓練時間里，該模型的訓練費用達到了25000美元。

文章來源：ARK Invest