越來越卷的AI，未來路在何方

以下文章來源于數(shù)據(jù)STUDIO ，作者路

在今年的三月10日，Robust.AI 創(chuàng)始人、紐約大學(xué)名譽(yù)教授 Gary Marcus 表示端到端的深度學(xué)習(xí)可能將要撞到南墻了。在他的一些文章中，他認(rèn)為目前的端到端深度學(xué)習(xí)會(huì)在我們需要粗略結(jié)果時(shí)表現(xiàn)得很好，但在讓真正人工智能具備理解能力這件事上早已遇到瓶頸。而他認(rèn)為人工智能的正確發(fā)展方向可能是符號(hào)系統(tǒng)+神經(jīng)網(wǎng)絡(luò)的混合系統(tǒng)。

Marcus推特，圖片來源@Twitter

為什么他會(huì)提出這樣的觀點(diǎn)，目前人工智能的發(fā)展方向到底出了什么問題？而符號(hào)系統(tǒng)又是什么體系，AI的未來是否真正和它有關(guān)系？本文就針對(duì)此問題進(jìn)行討論。

要討論智能，首先需要強(qiáng)調(diào)人類的兩類認(rèn)知系統(tǒng)。認(rèn)知科學(xué)中將人類的認(rèn)知分為系統(tǒng)1和系統(tǒng)2，其中系統(tǒng)1表示直覺的、快速的、無意識(shí)的、非語言的、習(xí)慣的認(rèn)知系統(tǒng)，系統(tǒng)2則表示慢的、有邏輯的、有序的、有意識(shí)的、可用語言表達(dá)以及可推理的系統(tǒng)。想要形象地理解這兩者可以看下圖。

穆勒-萊爾視覺，圖片來源@知乎

該圖是經(jīng)典的穆勒-萊爾幻覺，實(shí)際上三個(gè)線段長(zhǎng)度相同，但在第一眼看上去會(huì)認(rèn)為它們長(zhǎng)度不同。這里認(rèn)為它們長(zhǎng)度不同的第一直覺就運(yùn)用了系統(tǒng)1，經(jīng)過推理后得出它們長(zhǎng)度相同的結(jié)論就運(yùn)用了系統(tǒng)2。目前的深度學(xué)習(xí)，具備快速、端到端、非語言、不可解釋的特點(diǎn)，就類似于人類智能中的系統(tǒng)1。但我們知道，人的智能絕不僅僅限制于直覺，而是具有推理能力和可解釋性的系統(tǒng)2。因此未來想要發(fā)展出真正人性化的人工智能，需要的不是繼續(xù)在系統(tǒng)1人工智能的領(lǐng)域深耕，而是轉(zhuǎn)向系統(tǒng)2人工智能進(jìn)行研究。提起人工智能不得不首先提及圖靈。早在1950年，圖靈就提出了著名的圖靈測(cè)試，用于測(cè)試機(jī)器能否表現(xiàn)出與人等價(jià)或無法區(qū)分的智能。在1956年的達(dá)特茅斯會(huì)議上，“人工智能”的概念被首次提出。這是人類歷史上第一次人工智能研討，標(biāo)志著人工智能學(xué)科的誕生。之后在人工智能的發(fā)展過程中，不同時(shí)代、學(xué)科背景的人對(duì)于智慧的理解及其實(shí)現(xiàn)方法有著不同的思想主張，并由此衍生了不同的學(xué)派，影響較大的學(xué)派及其代表方法如下：

人工智能學(xué)派，圖片來源@知乎

其中聯(lián)結(jié)主義和符號(hào)主義是最主要的兩大派系。近年來由于強(qiáng)化學(xué)習(xí)取得了顯著成就（AlphaZero稱霸圍棋領(lǐng)域），行為主義學(xué)派也越來越受重視。在人工智能的發(fā)展過程中，不同的學(xué)派提出了不同的研究方法，其中最主要的一個(gè)分支就是機(jī)器學(xué)習(xí)。目前常見的機(jī)器學(xué)習(xí)算法如下圖所示，該圖按照有監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)的類別進(jìn)行分類，需要強(qiáng)調(diào)有一些算法游離于這個(gè)體系之外（如PCA降維），有一些算法不僅僅局限于標(biāo)記出的這一個(gè)類別（如神經(jīng)網(wǎng)絡(luò)）。

機(jī)器學(xué)習(xí)分類，圖片來源@自制

需要強(qiáng)調(diào)的是，人工智能包括機(jī)器學(xué)習(xí)，機(jī)器學(xué)習(xí)包括深度學(xué)習(xí)，相互之間是包含和被包含的關(guān)系。目前而言，在各種問題領(lǐng)域效果最好的無疑是深度學(xué)習(xí)。

深度學(xué)習(xí)（即神經(jīng)網(wǎng)絡(luò)）最近幾年的興起始于2012年，Hinton和他的學(xué)生Alex Krizhevsky設(shè)計(jì)的AlexNet神經(jīng)網(wǎng)絡(luò)模型在ImageNet競(jìng)賽大獲全勝，這是史上第一次有模型在 ImageNet 數(shù)據(jù)集上有如此出色的表現(xiàn)，并因此引爆了神經(jīng)網(wǎng)絡(luò)的研究熱情。但和很多人想象中不同，神經(jīng)網(wǎng)絡(luò)在很早之前就已經(jīng)產(chǎn)生。1957年，F(xiàn)rank Rosenblatt就已經(jīng)在當(dāng)時(shí)的計(jì)算機(jī)上模擬實(shí)現(xiàn)了感知機(jī)（Perceptron），可以被視為一種最簡(jiǎn)單形式的前饋式人工神經(jīng)網(wǎng)絡(luò)。1974年，哈佛大學(xué)Paul Werbos在其博士論文里首次提出了通過誤差的反向傳播(BP)來訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)，但局限于算力在該時(shí)期未引起重視。1982年，John Hopfield發(fā)明了霍普菲爾德網(wǎng)絡(luò)，這是最早的RNN的雛形。1986年，Hinton等人先后提出了多層感知器(MLP)與反向傳播（BP）訓(xùn)練相結(jié)合的理念，開啟了神經(jīng)網(wǎng)絡(luò)新一輪的高潮，但同樣由于算力不足未能取得較大突破。1989年，LeCun 結(jié)合反向傳播算法與權(quán)值共享的卷積神經(jīng)層發(fā)明了卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN），并首次將卷積神經(jīng)網(wǎng)絡(luò)成功應(yīng)用到美國(guó)郵局的手寫字符識(shí)別系統(tǒng)中（類似于現(xiàn)在的MNIST數(shù)據(jù)集）。1997年，Sepp Hochreiter 和 Jürgen Schmidhuber提出了長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)(LSTM)。2006年，Hinton以及他的學(xué)生正式提出了深度學(xué)習(xí)的概念（Deeping Learning），這一年也被稱為深度學(xué)習(xí)元年，而Hinton被稱為深度學(xué)習(xí)之父。之后自從2012年AlexNet網(wǎng)絡(luò)的爆火直到現(xiàn)在，深度學(xué)習(xí)一直是人工智能研究的最前沿，陸陸續(xù)續(xù)解決了許多不同領(lǐng)域的各種問題。

神經(jīng)網(wǎng)絡(luò)，圖片來源@知乎

但同時(shí)，深度學(xué)習(xí)也有許多不可忽視的缺點(diǎn)：只能根據(jù)既有的數(shù)據(jù)來學(xué)習(xí)而不會(huì)判斷數(shù)據(jù)正確性，且無法解釋做出的決策。而從系統(tǒng)設(shè)計(jì)的角度上來說，深度學(xué)習(xí)正因?yàn)闋奚宋⒂^和主動(dòng)意義上的可解釋性（如設(shè)定某個(gè)節(jié)點(diǎn)或者某個(gè)參數(shù)的含義），轉(zhuǎn)向架構(gòu)和機(jī)制上的設(shè)計(jì)，從而獲得了系統(tǒng)描述能力上的靈活性。即深度學(xué)習(xí)取得如此優(yōu)秀成績(jī)的原因，恰恰是因?yàn)槠溆羞@些缺點(diǎn)。到目前為止，深度學(xué)習(xí)的唯一真正的成功是使用連續(xù)幾何變換將空間 X 映射到空間 Y 的能力，但還要給出大量的人為注釋的數(shù)據(jù)。神經(jīng)網(wǎng)絡(luò)做到的這一切基本上能改變每一個(gè)行業(yè)的游戲規(guī)則，但是距離第二類人工智能還有很長(zhǎng)一段路要走。為了讓 AI 解決這些限制，并開始與人類大腦競(jìng)爭(zhēng)，我們需要跳出簡(jiǎn)單的輸入到輸出映射，關(guān)注推理和抽象。這也是Gary Marcus認(rèn)為需要引入符號(hào)系統(tǒng)的原因之一。那么除了深度學(xué)習(xí)之外，機(jī)器學(xué)習(xí)的其他類型能否成為AI未來所走的道路呢？

如本文第一部分所述，深度學(xué)習(xí)被包含在機(jī)器學(xué)習(xí)里面。而機(jī)器學(xué)習(xí)又可分為主要三種類型：有監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。在監(jiān)督學(xué)習(xí)中，計(jì)算機(jī)從過去的數(shù)據(jù)中學(xué)習(xí)，并將學(xué)習(xí)的結(jié)果應(yīng)用到當(dāng)前的數(shù)據(jù)中，以預(yù)測(cè)未來的事件。在無監(jiān)督學(xué)習(xí)中，計(jì)算機(jī)使用既未分類也未標(biāo)記的數(shù)據(jù)自行學(xué)習(xí)。在強(qiáng)化學(xué)習(xí)中，計(jì)算機(jī)通過與環(huán)境進(jìn)行交互獲得的獎(jiǎng)賞指導(dǎo)行為。

有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)的區(qū)別，圖片來源@知乎

目前而言，無監(jiān)督學(xué)習(xí)很難取得突破性進(jìn)步。在機(jī)器學(xué)習(xí)領(lǐng)域，輸入數(shù)據(jù)一般是現(xiàn)實(shí)生活中的數(shù)據(jù)。這些數(shù)據(jù)存在著動(dòng)力學(xué)特征、邏輯聯(lián)系等等，對(duì)于人類來說，這很容易找到其中的關(guān)系、但是對(duì)只有邏輯計(jì)算能力和數(shù)學(xué)計(jì)算能力的計(jì)算機(jī)來說，這很難去理解。事實(shí)上很有可能需要等計(jì)算機(jī)擁有自主邏輯思考和推理能力后，無監(jiān)督學(xué)習(xí)才能取得較大突破，即無監(jiān)督學(xué)習(xí)不是系統(tǒng)2人工智能的產(chǎn)生方式，而是系統(tǒng)2人工智能的產(chǎn)生結(jié)果。而有監(jiān)督學(xué)習(xí)，包括深度學(xué)習(xí)，無論方法如何繁復(fù)，其本質(zhì)都是一樣的，就是在大量輸入輸出數(shù)據(jù)中找出一個(gè)能夠較好擬合輸入對(duì)應(yīng)輸出的函式。這使得在訓(xùn)練集能較好地代表整個(gè)數(shù)據(jù)集的分布時(shí)，有監(jiān)督學(xué)習(xí)能取得較好的結(jié)果。而訓(xùn)練集無法代表整個(gè)數(shù)據(jù)集時(shí)，會(huì)大大降低有監(jiān)督學(xué)習(xí)的效果。這也是有監(jiān)督學(xué)習(xí)中數(shù)據(jù)處理往往占據(jù)最重要地位的原因。要想在有監(jiān)督學(xué)習(xí)中取得更精確的效果，就必須獲取更多的數(shù)據(jù)進(jìn)行訓(xùn)練，這些數(shù)據(jù)往往都需要人工進(jìn)行標(biāo)注。有監(jiān)督學(xué)習(xí)的學(xué)習(xí)結(jié)果類似于我們?nèi)祟愡M(jìn)行大量訓(xùn)練后在相似情景下第一直覺做出的反應(yīng)，并沒有超出系統(tǒng)1人工智能的范疇。此外，有監(jiān)督學(xué)習(xí)還有一個(gè)巨大的隱患就是當(dāng)其遇到與訓(xùn)練集差別巨大的數(shù)據(jù)時(shí)，其輸出結(jié)果極為不可控（例如特斯拉事故）。那么，強(qiáng)化學(xué)習(xí)能否產(chǎn)生更人性化的智能呢？

從理論上看，強(qiáng)化學(xué)習(xí)中計(jì)算機(jī)通過與環(huán)境進(jìn)行交互獲得的獎(jiǎng)賞指導(dǎo)行為，更類似于我們?nèi)祟惖膶W(xué)習(xí)方式，而且AlphaZero及其他強(qiáng)化學(xué)習(xí)模型的成功應(yīng)用似乎也證實(shí)了這一點(diǎn)。強(qiáng)化學(xué)習(xí)的學(xué)習(xí)過程為設(shè)計(jì)獎(jiǎng)勵(lì)函數(shù)、模型進(jìn)行訓(xùn)練、按照獎(jiǎng)勵(lì)結(jié)果進(jìn)行自我調(diào)整，比起深度學(xué)習(xí)模型來說，確實(shí)更有主動(dòng)學(xué)習(xí)的味道。目前圍繞深度強(qiáng)化學(xué)習(xí)的一些實(shí)驗(yàn)已經(jīng)取得了一定的成功，可以教會(huì)深度強(qiáng)化學(xué)習(xí)智能體玩一些電子游戲和棋類游戲。但是將深度強(qiáng)化學(xué)習(xí)的任何成果轉(zhuǎn)移到現(xiàn)實(shí)世界的生產(chǎn)系統(tǒng)中，卻無一例外都失敗了。這是為什么呢？

強(qiáng)化學(xué)習(xí)，圖片來源@知乎

舉一個(gè)現(xiàn)實(shí)點(diǎn)的例子。假設(shè)你需要教會(huì)機(jī)械臂幫你疊衣服，你該如何寫一個(gè)獎(jiǎng)勵(lì)函數(shù)來獎(jiǎng)勵(lì)或懲罰它呢？當(dāng)你向另一個(gè)人描述這一點(diǎn)很容易，你可以說“把這堆衣服疊整齊”。但是，計(jì)算機(jī)并不理解“整齊”是什么意思。對(duì)于每個(gè)步驟，都必須用一種計(jì)算機(jī)能夠自己衡量進(jìn)展的方式來設(shè)計(jì)獎(jiǎng)勵(lì)函數(shù)，而不需要知道它實(shí)際在做什么。因此，可能會(huì)從機(jī)械臂觸摸褲子開始獎(jiǎng)勵(lì)，然后機(jī)械臂抓住褲子或者移動(dòng)褲子就獎(jiǎng)勵(lì)更多的分?jǐn)?shù)。接下來實(shí)際的折疊動(dòng)作這塊，該如何獎(jiǎng)勵(lì)呢？疊三折可以得到獎(jiǎng)勵(lì)嗎？不起皺的話，獎(jiǎng)勵(lì)怎么算？看到問題的關(guān)鍵出在哪里了嗎？獎(jiǎng)勵(lì)函數(shù)的設(shè)計(jì)。針對(duì)游戲、棋類這種人類定義好規(guī)則的行為，我們當(dāng)然可以輕易地設(shè)定好獎(jiǎng)勵(lì)函數(shù)來訓(xùn)練模型。但是針對(duì)現(xiàn)實(shí)中的、非人類預(yù)定好的各種情況，想要設(shè)計(jì)獎(jiǎng)勵(lì)函數(shù)需要從環(huán)境中抽象出規(guī)則，抽象的這個(gè)過程需要人類智能的參與。比如疊衣服中的“整齊”，人類有智能可以輕松理解整齊的含義，但計(jì)算機(jī)不理解，就需要人類通過自己的智能將“整齊”的各種規(guī)則抽象成獎(jiǎng)勵(lì)函數(shù)。要想解決這個(gè)問題需要計(jì)算機(jī)能自己從環(huán)境中進(jìn)行規(guī)則抽象，例如讓計(jì)算機(jī)理解“整齊”的含義，而這又跟無監(jiān)督學(xué)習(xí)一樣，強(qiáng)化學(xué)習(xí)成了系統(tǒng)2人工智能的產(chǎn)生結(jié)果，而非系統(tǒng)2人工智能的產(chǎn)生方式。因此強(qiáng)化學(xué)習(xí)也很難真正成為AI未來的發(fā)展道路，只能在有明確獎(jiǎng)勵(lì)機(jī)制的問題中發(fā)光發(fā)熱。

以數(shù)據(jù)的對(duì)象、存儲(chǔ)以及應(yīng)用來說，無論是神經(jīng)系統(tǒng)還是符號(hào)系統(tǒng)，數(shù)據(jù)建模的目的都是求解給定輸入問題的答案。而符號(hào)系統(tǒng)主要支持結(jié)構(gòu)化的查詢、推理引擎等，能夠?qū)崿F(xiàn)復(fù)雜問題的求解，用來處理離散的、結(jié)構(gòu)性的表示、操作以及知識(shí)（包括圖結(jié)構(gòu)、變量、遞歸和指代等），具有清晰、精確、高執(zhí)行效率、可解釋的優(yōu)點(diǎn)。可以認(rèn)為結(jié)構(gòu)化數(shù)據(jù)庫是目前符號(hào)系統(tǒng)的最典型應(yīng)用。ACM圖靈獎(jiǎng)獲得者Leslie Valiant曾精辟地指出：神經(jīng)系統(tǒng)側(cè)重對(duì)數(shù)據(jù)特征的學(xué)習(xí)過程，而符號(hào)系統(tǒng)包含的一定是一個(gè)搜索過程，后續(xù)大量面向符號(hào)系統(tǒng)的研究本質(zhì)上致力于各種高效的搜索算法。

符號(hào)系統(tǒng)，圖片來源@百度學(xué)術(shù)

總的來說，符號(hào)系統(tǒng)具有完備的推理過程和良好的可解釋性，而“神經(jīng)+符號(hào)”系統(tǒng)無疑是人工智能的理想模型。一個(gè)完美的“神經(jīng)+符號(hào)”系統(tǒng)應(yīng)該具有以下特點(diǎn)和優(yōu)勢(shì)：可以輕松處理目前主流機(jī)器學(xué)習(xí)擅長(zhǎng)的問題；對(duì)于數(shù)據(jù)噪音有較強(qiáng)的魯棒性；系統(tǒng)的求解過程和結(jié)果容易被人理解、解釋和評(píng)價(jià)；可以很好地對(duì)各類符號(hào)進(jìn)行操作；可以無縫地利用各種背景知識(shí)。然而，實(shí)現(xiàn)“神經(jīng)+符號(hào)”的有機(jī)結(jié)合并不容易。目前而言，“神經(jīng)+符號(hào)”的結(jié)合工作主要可以分為神經(jīng)助力符號(hào)和符號(hào)助力神經(jīng)兩類，仍停留在僅以一方為主，并到另一方問題的適用或遷移，實(shí)現(xiàn)“神經(jīng)+符號(hào)”真正有機(jī)結(jié)合的系統(tǒng)還任重道遠(yuǎn)。現(xiàn)如今，AI的研究領(lǐng)域仍以深度學(xué)習(xí)為代表的有監(jiān)督學(xué)習(xí)為主，實(shí)現(xiàn)各種交叉領(lǐng)域的系統(tǒng)1人工智能。但隨著對(duì)人工智能研究的愈加深入，有越來越多的人意識(shí)到了深度學(xué)習(xí)模型的一些問題和局限性。筆者并不能確定神經(jīng)網(wǎng)絡(luò)+符號(hào)系統(tǒng)的研究方向一定是對(duì)的，但就目前而言，結(jié)合神經(jīng)與符號(hào)的方向值得我們?nèi)ラ_拓和探索。哪怕最后不能取得滿意的效果，相信也會(huì)在讓AI具有推理能力的問題上取得進(jìn)展。參考鏈接：https://www.51cto.com/article/627025.html
https://www.afenxi.com/116462.html
https://www.jiqizhixin.com/articles/101402
https://www.infoq.cn/article/RHWNI4h2x3Ao7I0exHMl
https://zhuanlan.zhihu.com/p/235270477
https://zhuanlan.zhihu.com/p/87153966
https://zhuanlan.zhihu.com/p/375549477
https://zhuanlan.zhihu.com/p/158896481
https://blog.keras.io/the-limitations-of-deep-learning.html