AlphaZero登上《科學(xué)》封面:一個(gè)算法通吃三大棋類

　　12月7日，谷歌旗下的人工智能實(shí)驗(yàn)室DeepMind研究團(tuán)隊(duì)在《科學(xué)》雜志上發(fā)表封面論文，公布了通用算法AlphaZero和測(cè)試數(shù)據(jù)?！犊茖W(xué)》雜志評(píng)價(jià)稱，通過單一算法就能夠解決多個(gè)復(fù)雜問題，是創(chuàng)建通用的機(jī)器學(xué)習(xí)系統(tǒng)、解決實(shí)際問題的重要一步。該論文的作者包括AlphaGo的核心研發(fā)人員戴維·席爾瓦(David Silver)和DeepMind創(chuàng)始人戴密斯·哈薩比斯(Demis Hassabis)等。

　　2018年12月7日的《科學(xué)》雜志封面

　　AlphaGo首次為人們所熟知是2016年與圍棋世界冠軍李世石進(jìn)行圍棋人機(jī)大戰(zhàn)，并最終以4比1的總比分獲勝。實(shí)際上早在2016年1月谷歌就在國際學(xué)術(shù)期刊《自然》雜志上發(fā)表封面文章，介紹AlphaGo在沒有任何讓子的情況下以5:0完勝歐洲冠軍、職業(yè)圍棋二段樊麾。

　　2016年1月28日《自然》雜志封面

　　2017年10月18日，DeepMind團(tuán)隊(duì)公布了最強(qiáng)版阿爾法圍棋，代號(hào)AlphaGo Zero。彼時(shí)DeepMind表示，棋類AI的算法主要基于復(fù)雜的枚舉，同時(shí)需要人工進(jìn)行評(píng)估，人們?cè)谶^去幾十年內(nèi)已經(jīng)將這種方法做到極致了。而AlphaGo Zero在圍棋中的超人表現(xiàn)，則是通過與自己下棋練習(xí)出來的。

　　現(xiàn)在DeepMind研究團(tuán)隊(duì)將這種方法推廣到AlphaZero的算法中，AlphaZero最長花了13天“自學(xué)成才”，隨后與世界冠軍級(jí)的棋類AI對(duì)決：

　　在國際象棋中，AlphaZero在4個(gè)小時(shí)后首次擊敗了第九季TCEC世界冠軍Stockfish。

　　在日本將棋中，AlphaZero在2小時(shí)后擊敗了將棋聯(lián)盟賽世界冠軍Elmo。

　　在圍棋上，AlphaZero經(jīng)過30個(gè)小時(shí)的鏖戰(zhàn)，擊敗了李世石版AlphaGo。

　　AlphaZero：一個(gè)算法通吃三大棋類

　　AlphaGo的前幾代版本，一開始都是與人類棋手的棋譜進(jìn)行上千盤的訓(xùn)練，學(xué)習(xí)如何下圍棋。到了AlphaGo Zero則跳過了這個(gè)步驟，通過自我對(duì)弈學(xué)習(xí)下棋，從零學(xué)起。系統(tǒng)從一個(gè)對(duì)圍棋一無所知的神經(jīng)網(wǎng)絡(luò)開始，將該神經(jīng)網(wǎng)絡(luò)和一個(gè)強(qiáng)力搜索算法結(jié)合，自我對(duì)弈。在對(duì)弈過程中，神經(jīng)網(wǎng)絡(luò)不斷調(diào)整、升級(jí)，預(yù)測(cè)每一步落子和最終的勝利者。

　　與AlphaGo Zero一樣，從隨機(jī)小游戲開始，AlphaZero依靠深度神經(jīng)網(wǎng)絡(luò)、通用強(qiáng)化學(xué)習(xí)算法和蒙特卡洛樹搜索，在除了游戲規(guī)則外沒有任何知識(shí)背景的情況下，通過自我對(duì)弈進(jìn)行強(qiáng)化學(xué)習(xí)。強(qiáng)化學(xué)習(xí)的方式是一種通過“試錯(cuò)”的機(jī)器學(xué)習(xí)方式。

　　DeepMind在其博客中介紹，一開始AlphaZero完全是在瞎玩，但隨著時(shí)間的推移，系統(tǒng)從勝、負(fù)和平局中學(xué)習(xí)，調(diào)整神經(jīng)網(wǎng)絡(luò)的參數(shù)，如此往復(fù)循環(huán)，每過一輪，系統(tǒng)的表現(xiàn)就提高了一點(diǎn)點(diǎn)，自我對(duì)弈的質(zhì)量也提高了一點(diǎn)點(diǎn)，神經(jīng)網(wǎng)絡(luò)也就越來越準(zhǔn)確。神經(jīng)網(wǎng)絡(luò)所需的訓(xùn)練量取決于游戲的風(fēng)格和復(fù)雜程度。經(jīng)過試驗(yàn)，AlphaZero花了9個(gè)小時(shí)掌握國際象棋，花了12個(gè)小時(shí)掌握日本將棋，花了13天掌握圍棋。

　　AlphaZero的訓(xùn)練步驟

　　AlphaZero繼承了AlphaGo Zero的算法設(shè)置和網(wǎng)絡(luò)架構(gòu)等，但兩者也有諸多不同之處。比如圍棋中很少會(huì)出現(xiàn)平局的情況，因此AlphaGo Zero是在假設(shè)結(jié)果為“非贏即輸”的情況下，對(duì)獲勝概率進(jìn)行估計(jì)和優(yōu)化。而AlphaZero會(huì)將平局或其他潛在結(jié)果也納入考慮，對(duì)結(jié)果進(jìn)行估計(jì)和優(yōu)化。

　　其次圍棋棋盤發(fā)生旋轉(zhuǎn)和反轉(zhuǎn)，結(jié)果都不會(huì)發(fā)生變化，因此AlphaGo Zero會(huì)通過生成8個(gè)對(duì)稱圖像來增強(qiáng)訓(xùn)練數(shù)據(jù)。但國際象棋和日本將棋中，棋盤是不對(duì)稱的。因此，AlphaZero不會(huì)增強(qiáng)訓(xùn)練數(shù)據(jù)，也不會(huì)在蒙特卡洛樹搜索期間轉(zhuǎn)換棋盤位置。

　　在AlphaGo Zero中，自我對(duì)弈是由以前所有迭代中最好的玩家生成的，而自我對(duì)弈也是與這個(gè)產(chǎn)生的新玩家對(duì)于。而AlphaZero只繼承了AlphaGo Zero的單一神經(jīng)網(wǎng)絡(luò)，這個(gè)神經(jīng)網(wǎng)絡(luò)不斷更新，而不是等待迭代完成。自我對(duì)弈是通過使用這個(gè)神經(jīng)網(wǎng)絡(luò)的最新參數(shù)生成的，因此省略了評(píng)估步驟和選擇最佳玩家的過程。

　　此外，AlphaGo Zero使用的是通過貝葉斯優(yōu)化調(diào)整搜索的超參數(shù);AlphaZero中，所有對(duì)弈都重復(fù)使用相同的超參數(shù)，因此無需進(jìn)行針對(duì)特定某種游戲的調(diào)整。唯一的例外是為保證探索噪聲和學(xué)習(xí)率。

　　研究團(tuán)隊(duì)展示了在AlphaZero執(zhí)白、Stockfish執(zhí)黑的一局國際象棋里，經(jīng)過1000次、10000次……直到100萬次模擬之后，AlphaZero蒙特卡洛樹的內(nèi)部搜索狀態(tài)。每個(gè)樹狀圖解都展示了10個(gè)最常搜索的狀態(tài)。

　　通過自我學(xué)習(xí)掌握國際象棋、日本將棋和圍棋的強(qiáng)化學(xué)習(xí)算法 《科學(xué)》雜志 圖

　　DeepMind研究團(tuán)隊(duì)介紹，每個(gè)AI的硬件都是定制的。例如，在TCES世界錦標(biāo)賽上，Stockfish和Elmo使用的是44核CPU。而AlphaZero和AlphaGo Zero則使用了一臺(tái)配備了4個(gè)第一代TPU和44核CPU的機(jī)器。雖然架構(gòu)沒有可比性，但第一代TPU的處理速度與英偉達(dá)公司的Titan V型商用GPU相當(dāng)。研究團(tuán)隊(duì)在訓(xùn)練環(huán)節(jié)里，投入了5000個(gè)一代TPU來生成自我對(duì)弈游戲，16個(gè)二代TPU來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

　　卡斯帕羅夫：聰明地工作比拼命地工作更重要

　　國際象棋是計(jì)算機(jī)科學(xué)家很早就開始研究的領(lǐng)域。1997年，深藍(lán)(Deep Blue)擊敗了人類國際象棋冠軍卡斯帕羅夫，這一事件成為了人工智能發(fā)展的里程碑。但彼時(shí)卡斯帕羅夫?qū)ι钏{(lán)的印象并不深刻，認(rèn)為深藍(lán)的智能水平和一個(gè)鬧鐘差不多。如今，他對(duì)棋類AI的看法也發(fā)生了轉(zhuǎn)變。他認(rèn)為AlphaZero“像自己一樣”，下棋風(fēng)格多變而開放。

　　在同一期《科學(xué)》雜志上，卡斯帕羅夫撰文稱，“傳統(tǒng)的機(jī)器是通過不斷枚舉來下棋，最終把棋局拖入無聊的平局。但在我的觀察中，AlphaZero會(huì)優(yōu)先考慮棋子的活動(dòng)而非盤面上的點(diǎn)數(shù)優(yōu)勢(shì)，并且喜歡在相對(duì)風(fēng)險(xiǎn)更大的地方落子?！?/p>

　　盡管與傳統(tǒng)的冠軍級(jí)程序相比，研究人員用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)指導(dǎo)蒙特卡羅樹搜索，來選擇最有可能獲得勝利的一步，因此AlphaZero每秒計(jì)算的位置要少得多。據(jù)DeepMind介紹，在國際象棋中，AlphaZero每秒僅計(jì)算6萬個(gè)位置，相比之下，Stockfish則會(huì)計(jì)算6千萬個(gè)位置。但從比賽的結(jié)果來看，AlphaZero的思考顯然更有效率。

　　在國際象棋比賽中，AlphaZero擊敗了2016年TCEC(第九季)世界冠軍Stockfish，在1000場(chǎng)比賽中，贏得155場(chǎng)比賽，輸了6場(chǎng)(其余為平局)。為了驗(yàn)證AlphaZero的穩(wěn)健性，研究團(tuán)隊(duì)還進(jìn)行了一系列比賽，這些比賽都是從“人類開局方式”開始的，而AlphaZero都擊敗了Stockfish。

　　在將棋比賽中，AlphaZero擊敗了2017年CSA世界冠軍版Elmo，贏得了91.2%的比賽。

　　在圍棋比賽中，AlphaZero擊敗了AlphaGo Zero，贏得了61%的比賽。

　　對(duì)于AlphaZero取得的戰(zhàn)績，卡斯帕羅夫認(rèn)為這正是印證了一句老話——聰明地工作比拼命地工作更重要。

　　在AlphaZero對(duì)陣各領(lǐng)域最強(qiáng)AI的戰(zhàn)績，綠色代表AlphaZero獲勝，灰色代表平局，粉色代表輸棋。 《科學(xué)》雜志圖

　　此外，卡斯帕羅夫表示，一個(gè)程序的特點(diǎn)通常反映了程序員思考的優(yōu)先級(jí)和思維上的偏見，但由于AlphaZero是通過跟自己下棋來完善自己的思路的，所以它的風(fēng)格反映的就是它自己。

　　在進(jìn)行馬拉松式比賽的過程中，DeepMind研究團(tuán)隊(duì)發(fā)現(xiàn)，AlphaZero自己發(fā)現(xiàn)并掌握了一些人類下棋時(shí)摸索出來的套路，比如在國際象棋中，AlphaZero掌握了幾種常見的開局模式、保王(King Safety)的思維以及各種兵陣的布局。但另一方面AlphaZero是自學(xué)成才的，不受到傳統(tǒng)觀念的影響，因此它還能為傳統(tǒng)策略的發(fā)展注入新鮮的血液。這一點(diǎn)得到了日本將棋史上第一個(gè)達(dá)成七冠王的羽生善治的贊同。

　　“AlphaZero會(huì)將王移到棋盤中央，從人類的角度來看，這是有違將棋理論的，它的一些路數(shù)走得也很危險(xiǎn)。但令人難以置信的是，它始終控制著局面。AlphaZero獨(dú)特的風(fēng)格打開了日本將棋新世界的大門?！? 羽生善治表示。