一直被噴不實用的超算 在深度學(xué)習(xí)時代會改變嗎？

　　在中學(xué)課本里，我們都學(xué)到過“超級計算機(jī)”這個概念，在印象里它通常和神州五號、航空母艦等等高科技設(shè)備出現(xiàn)在同一個章節(jié)，屬于國家科研能力的體現(xiàn)，更是在國際科技戰(zhàn)備的賽點。

　　現(xiàn)在這么多年過去了，一回神中國超級計算機(jī)的代表作已經(jīng)從天河進(jìn)化成了神威·太湖之光，并且通過對地震、海浪等等自然現(xiàn)象的精確模擬兩次獲得了戈登貝爾獎。

　　據(jù)稱，戈登貝爾獎是超算領(lǐng)域的最高獎項，在獎項評選標(biāo)準(zhǔn)中更多會考慮到超算項目的實際應(yīng)用性。過去三十年中，這一獎項一直被美國和日本壟斷，直到最近兩年才被中國蟬聯(lián)。

　　說實在的，大多數(shù)人的印象中，中國超算經(jīng)過這么多年的發(fā)展，還實現(xiàn)了“零的突破”，可在IT領(lǐng)域中，我們似乎更多的受益于互聯(lián)網(wǎng)、移動終端的發(fā)展。

　　地震?海浪?超算到底能干嘛

　　擁有這種疑問的人不是少數(shù)，超級計算機(jī)這幾年開始頻繁的受到一種質(zhì)疑：強(qiáng)大的算力究竟有什么用?耗費這么多科研經(jīng)費和資源，是不是只是為了刷排名而沒有實用價值?

　　其實人們會產(chǎn)生這種疑問是很正常的，超級計算機(jī)從研發(fā)到生產(chǎn)以至于后期的運(yùn)維，成本都非常之高。研發(fā)時凝聚的高精尖科研力量自不必提，產(chǎn)品上光是CPU/GPU就有幾千個，占地面積要達(dá)到上千平方米。使用起來更是電老虎，以天河二號為例，滿負(fù)荷運(yùn)行的情況下，一天的電費就需要30萬。而大量的計算還會讓超級計算機(jī)發(fā)熱，如何降溫還成了個大問題。

　　所以，這么昂貴的超級計算機(jī)都用來做什么了呢?

　　以去年神威·太湖入圍戈登貝爾的幾個項目為例，他們分別是“千萬核可擴(kuò)展全球大氣動力學(xué)全隱式模擬”、“高分辨率海浪數(shù)值模擬”和“鈦合金微結(jié)構(gòu)演化相場模擬”。

　　em……沒錯，除去軍事應(yīng)用外，超級計算機(jī)通常會被應(yīng)用于天文、氣象、基礎(chǔ)物理、化學(xué)等等方面的研究。乍一聽起來，的確離人們的現(xiàn)實生活太遠(yuǎn)了。畢竟現(xiàn)在整個世界都還沒用出現(xiàn)什么突破以往物理定律的新發(fā)現(xiàn)，雖然能發(fā)射火箭，可普通人還不能進(jìn)行一次太空旅行，至于天氣預(yù)報倒是比以前準(zhǔn)確了不少，可也沒出現(xiàn)過超算成功預(yù)測并避開自然災(zāi)害的情況。

　　用超級計算機(jī)玩網(wǎng)游，是一種怎樣的體驗?

　　計算這件事，在大數(shù)據(jù)遍地的今天并不少見，既然超級計算機(jī)的計算能力那么強(qiáng)，為什么不把交通大數(shù)據(jù)、金融大數(shù)據(jù)這些東西都放到上面去算呢?

　　首先，我們要對超算能力這件事有一個正確的認(rèn)識。由于超級計算機(jī)集成了大量CPU，它所擅長的也是CPU最擅長的工作——浮點運(yùn)算。由于計算機(jī)使用的是二進(jìn)制，所以在處理1.01這種帶小數(shù)點的小數(shù)時，只能用科學(xué)計數(shù)法來表示。這樣就避免了小數(shù)運(yùn)算時的有窮性，可以對無窮大和無窮小的數(shù)值進(jìn)行運(yùn)算。

　　超級計算機(jī)最擅長的就是依靠并聯(lián)的CPU們對浮點數(shù)計算進(jìn)行并行運(yùn)算?？梢猿惺芷渌嬎銠C(jī)無法承受的計算峰值。一個CPU算一道題需要5個小時，用五個CPU把這道題拆解開來分別計算，就只需要一個小時。一些在普通計算機(jī)上要跑一個禮拜的項目，拿到超級計算機(jī)上可能兩分鐘就完成了。

　　所以現(xiàn)在我們知道了，超算的最大作用，是為某一種特定形式的計算節(jié)約時間。而在日常生活中，也許我們面對的問題并不是浮點數(shù)計算，比如區(qū)塊鏈應(yīng)用的就是單一hash的運(yùn)算;又或者像電商、游戲大廠，它們面臨的不是高計算量，而是快速頻繁的數(shù)據(jù)并發(fā)吞吐。

　　而把計算任務(wù)部署到超算上，又面臨著不少的成本，除去使用費用不說，由于超算只提供編譯平臺，使用者還要自己去熟悉系統(tǒng)。而且目前的超級計算機(jī)雖然大多為學(xué)術(shù)機(jī)構(gòu)所有，但是一想到要把自己用戶的數(shù)據(jù)拿到別人的機(jī)子上計算，總覺得有點怪怪的……

　　所以，超算并不是不能用來處理我們?nèi)粘?、商業(yè)中遇到的計算問題，而是很多本來不是超算最擅長的，綜合使用成本而言，沒有必要使用超算。

　　用超算訓(xùn)練AI，會不會是超算民用的第一步?

　　不過一個好消息是，隨著深度學(xué)習(xí)的普及和發(fā)展，超算的計算能力或許可以被更多人應(yīng)用起來。

　　眾所周知，深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)層數(shù)更深，每個神經(jīng)元之間互相連接，形成了一個非常復(fù)雜的結(jié)構(gòu)。而每個神經(jīng)元中又都需要Sigmoid函數(shù)這類復(fù)雜的數(shù)學(xué)計算，加上圖像識別、語音識別這類工作本身數(shù)據(jù)訓(xùn)練集就很大，最后就集結(jié)成了一種非?？膳碌挠嬎懔?。

　　這幾年深度學(xué)習(xí)的發(fā)展，離不開計算能力的發(fā)展。英偉達(dá)之所以能靠賣GPU超過同行，最大的原因就是深度學(xué)習(xí)對計算能力的依賴。

　　那么，超級計算機(jī)能不能應(yīng)用在深度學(xué)習(xí)上呢?答案是肯定的。

　　在今年年初的德?lián)淙藱C(jī)大賽中，打贏了人類牌手的Libratus就是一個在超級計算機(jī)上訓(xùn)練的AI。Libratus甚至沒有搭建神經(jīng)網(wǎng)絡(luò)，光學(xué)習(xí)了游戲規(guī)則，利用強(qiáng)化學(xué)習(xí)自我博弈就超越了人類水平。

　　在國內(nèi)，百度旗下的深度學(xué)習(xí)開源平臺PaddlePaddle也支持超算應(yīng)用，甚至還入選了今年的ASC超算大賽總決賽。計算性能的超越讓一些以往不可能的事情成為可能，比如上面那個德?lián)涞陌咐?，不?yīng)用神經(jīng)網(wǎng)絡(luò)、單純靠強(qiáng)化學(xué)習(xí)的自我博弈在沒有超算的情況下可能要花費無法想象的時間，而有了超算后，這件事情就成為了可能。

　　同理，一些大量數(shù)據(jù)、長時間的深度學(xué)習(xí)/深度強(qiáng)化學(xué)習(xí)模型訓(xùn)練都可以在超計算機(jī)上完成。不過，這個領(lǐng)域中的超級計算機(jī)的競爭對手也不少。

　　首先就是芯片廠商們，英偉達(dá)、IBM、高通等等廠商都在爭先恐后的研發(fā)著適用于深度學(xué)習(xí)的芯片。早在3年前，IBM推出的TrueNorth就已經(jīng)集成了54億個硅晶體管，計算能力已經(jīng)接近當(dāng)年的超級計算機(jī)，功耗卻只有65毫瓦。英偉達(dá)也曾推出過集成8個GPU的“超算系統(tǒng)”，計算能力也可以滿足大部分人的需求。

　　其次就是云服務(wù)供應(yīng)商，也就是上述芯片廠商的客戶們。他們不光花重金搭建起來能力超群的分布式計算系統(tǒng)，還貼心的和TensorFlow、caffe等等深度學(xué)習(xí)框架合作，讓算法可以無縫部署在系統(tǒng)上。阿里云在今年推出的異構(gòu)計算產(chǎn)品最高可提供每秒75萬億次的算力，雖然比起超級計算機(jī)還差的遠(yuǎn)，但性價比卻不低。

　　最后，還有一大批以研究算法為主的技術(shù)供應(yīng)商。他們雖然不能提供算力，卻可以通過種種方式壓縮算法模型，讓算法模型在更低算力的硬件中也能運(yùn)行。比如西雅圖的一個創(chuàng)業(yè)團(tuán)隊，就在一直嘗試用二值化神經(jīng)網(wǎng)絡(luò)調(diào)整模型精度，試圖在能耗和成果中找到一個平衡。

　　加上在深度學(xué)習(xí)上，高成本、軟件環(huán)境復(fù)雜、數(shù)據(jù)隱私擔(dān)憂等等問題仍然有待解決。綜合看來超級計算機(jī)仍然不是最好的解決方案。

　　讓人哭笑不得的是，很多人認(rèn)為深度學(xué)習(xí)帶來的高強(qiáng)度計算要求會推進(jìn)超級計算機(jī)的商業(yè)化、民用應(yīng)用，結(jié)果反而是帶動了其他算力供應(yīng)商的發(fā)展，給超級計算機(jī)造就了更多的競爭對手。

　　即使我們暫時還不能在生活場景中享受到超算帶來的益處，但超算在天文、物理、軍工上帶來的貢獻(xiàn)仍然是巨大的，如果沒有超算，在研發(fā)火箭、衛(wèi)星時幾乎無法進(jìn)行模擬計算。而超算帶來的快速、高精度的模擬，為這些高精尖技術(shù)的研發(fā)節(jié)約了無法估計金錢和時間成本?；蛟S，等我們能在火星上觀光的那天，就會切實體會到超算帶來的福利吧。