我們真的永遠也理解不了人工智能嗎？

　　這似乎支持了尤辛斯基的論斷：這些面部神經(jīng)元尋找的確實是面部圖像。但還有一個問題：在生成這些圖像的過程中，該流程依賴了一種名為“自然圖像優(yōu)先”的統(tǒng)計學約束，因此其生成的圖像均會模仿真實物體照片的結(jié)構(gòu)。而當他去除這些規(guī)則后，該工具包仍會選取被其標記為“信度最大”的圖片，但這些圖片看上去就像電視機失去信號時的“雪花”一樣。事實上，尤辛斯基指出，AlexNet傾向于選擇的大部分圖片在人眼看來都是一片亂糟糟的“雪花”。他承認道：“很容易弄清如何讓神經(jīng)網(wǎng)絡生成極端結(jié)果?！?/p>本文引用地址：http://2s4d.com/article/201807/389720.htm

　　圖為深度神經(jīng)網(wǎng)絡中的單個神經(jīng)元(由綠框標出)對尤辛斯基的面部圖像做出反應，就像人腦的某個腦區(qū)(標為黃色)也會對面部圖像做出反應一樣

　　為避免這些問題，弗吉尼亞理工大學電子與計算機工程助理教授杜魯夫·巴特拉采用了一種更高級的實驗方法對深度網(wǎng)絡進行解讀。他沒有去試圖尋找網(wǎng)絡內(nèi)部結(jié)構(gòu)的規(guī)律，而是用一種眼動追蹤技術(shù)分析神經(jīng)網(wǎng)絡的行為。在研究生阿比謝克·達斯和哈什·阿格拉瓦爾的帶領(lǐng)下，巴特拉的團隊向一個深度網(wǎng)絡就某張圖片提問，如房間窗戶上是否有窗簾等等。不同于AlexNet或類似系統(tǒng)，達斯的網(wǎng)絡每次只關(guān)注圖片的一小部分，然后“掃視”圖片各處，直到該網(wǎng)絡認為已經(jīng)得到了足夠的信息、可以回答問題為止。經(jīng)過充分訓練后，這一深度神經(jīng)網(wǎng)絡的表現(xiàn)已經(jīng)非常出色，精確度足以與人類的最高水平媲美。

　　接下來，達斯、巴特拉和同事們還想了解該網(wǎng)絡是如何做出決策的。于是他們分析了該網(wǎng)絡在圖片上選取的觀察點。而結(jié)果令他們大吃一驚：在回答“圖中是否有窗簾”的問題時，該網(wǎng)絡根本沒去尋找窗戶，而是先對圖片底部進行觀察，如果發(fā)現(xiàn)了床鋪，就停下來不找了?？磥碓谟脕碛柧氃摼W(wǎng)絡的數(shù)據(jù)集中，裝有窗簾的窗戶可能常出現(xiàn)在臥室里。

　　該方法雖然揭露了深度網(wǎng)絡的一些內(nèi)部運行機制，但也凸顯了可解釋性帶來的挑戰(zhàn)。巴特拉指出：“機器捕捉到的并不是關(guān)于這個世界的真相，而是關(guān)于數(shù)據(jù)集的真相?！边@些機器嚴格按照訓練數(shù)據(jù)進行了調(diào)整，因此很難總結(jié)出它們運作機制的普遍規(guī)則。更重要的是，你要是不懂它如何運作，就無法預知它會如何失靈。而從巴特拉的經(jīng)驗來看，當它們失靈的時候，“就會輸?shù)靡粩⊥康??！?/p>

　　圖為“深度視覺化”工具包生成的“理想貓臉”。該程序先從類似電視機沒信號時的“雪花”圖像開始，對像素進行逐個調(diào)整，直到AlexNet神經(jīng)網(wǎng)絡的面部神經(jīng)元產(chǎn)生最大響應為止

　　尤辛斯基和巴特拉等研究人員面臨的一些障礙對人腦科學家來說也并不陌生。例如，對神經(jīng)成像的解讀就常常遭到質(zhì)疑。2014年，認知神經(jīng)科學家瑪莎·法拉在一篇領(lǐng)域評述中寫道：“令人擔憂的是……(功能性腦部)圖像更像是研究人員的創(chuàng)造發(fā)明、而非觀察結(jié)果。”這一問題在各種智能系統(tǒng)中也屢屢出現(xiàn)，說明無論對人腦、還是對智能的研究而言，該問題都會成為一大障礙。

　　追求可解釋性是否為一項愚蠢之舉呢?2015年，加州大學圣地亞哥分校的扎克利·立頓發(fā)表了一篇名為《模型可解釋性的迷思》的博文，批判性地探討了解讀神經(jīng)網(wǎng)絡背后的動機、以及為大型數(shù)據(jù)集打造可解讀的機器學習模型的價值。在2016年國際機器學習大會(ICML)上，他還向馬里奧托夫與兩名同事組織的“人類可解釋性”專題研討會提交了一篇與該話題相關(guān)的、頗具爭議性的論文。

　　立頓指出，許多學者并不贊同“可解釋性”這一概念。因此他認為，要么是人們對可解釋性的理解還不夠，要么是它有太多可能的含義。無論是哪種情況，追求可解釋性也許都無法滿足我們對“簡單易懂的神經(jīng)網(wǎng)絡輸出”的渴求。立頓在博文中指出，當數(shù)據(jù)集過大時，研究人員完全可以抑制去解讀的沖動，要相信“憑借經(jīng)驗也能成功”。他表示，該領(lǐng)域的目的之一，便是要“打造學習能力遠超人類的模型”，如果太過注重可解釋性，就難以使這類模型充分發(fā)揮潛力。

　　但這種能力既是特點也是缺陷：如果我們不明白網(wǎng)絡輸出是如何生成的，就無從知曉該網(wǎng)絡需要何種輸入。1996年，英國蘇塞克斯大學的艾德里安·湯普森采用與如今訓練深度網(wǎng)絡相似的技術(shù)、用軟件設計了一款電路。這一電路要執(zhí)行的任務很簡單：區(qū)分兩個音頻的音調(diào)。經(jīng)過成千上萬次調(diào)整和重排后，該軟件終于找到了一種能近乎完美地完成任務的配置。

　　但湯普森驚訝地發(fā)現(xiàn)，該電路所用元件數(shù)量比任何人類工程師的設計都要少，甚至有幾個元件根本沒有和其它元件相連。而要讓電路順利運作，這些元件應當不可或缺才對。

　　于是他對電路進行了剖析。做了幾次實驗后，他發(fā)現(xiàn)該電路的相鄰元件間存在微弱的電磁干擾。未與電路相連的元件通過干擾鄰近電場、對整個電路造成了影響。人類工程師通常會杜絕這類干擾，因為干擾的結(jié)果難以預料。果不其然，若用另一組元件復制該電路布局，甚至只是改變環(huán)境溫度，同樣的電路便會徹底失靈。

　　該電路揭露了機器訓練的一大重要特征：它們總是盡可能緊湊簡潔，與所在環(huán)境完美相容，但往往難以適應其它環(huán)境。它們能抓住工程師發(fā)現(xiàn)不了的規(guī)律，但不知道別處是否也有這一規(guī)律。機器學習研究人員想盡力避免這種名為“過擬合”的現(xiàn)象。但隨著應用這些算法的情況愈發(fā)復雜多變，這一缺陷難免會暴露出來。

　　普林斯頓大學計算機科學教授桑吉夫·阿羅拉認為，這一問題是人類追求可解釋模型的主要動機，希望有了可解釋模型后、能對網(wǎng)絡進行干預和調(diào)整。距阿羅拉表示，有兩大問題可體現(xiàn)缺乏可解釋性對機器性能造成的硬性限制。一是“組合性”：當一項任務同時涉及多項決策時(如圍棋或自動駕駛汽車)，神經(jīng)網(wǎng)絡便無法高效判定是哪個決策導致了任務失敗?！叭祟愒谠O計某樣東西時，會先弄清不同元件的作用，再將其組合在一起，因此能夠?qū)Σ贿m合當前環(huán)境的元件進行調(diào)整?！?/p>

　　二是阿羅拉所稱的“域適應性”即將在某種情境中學到的知識靈活運用于其它情境的能力。人類非常擅長這項任務，但機器則會出現(xiàn)各種離奇錯誤。據(jù)阿羅拉描述，即使只對環(huán)境做了微調(diào)、人類調(diào)整起來不費吹灰之力，計算機程序也會遭遇慘敗。例如，某個網(wǎng)絡經(jīng)過訓練后、能對維基百科等正式文本的語法進行分析，但如果換成推特這樣的口語化表達，就會變得毫無招架之力。

　　按這樣來看，可解釋性似乎不可或缺。但我們真的理解它的意思嗎?著名計算機科學家馬文·閔斯基用“手提箱詞匯”來形容這類詞匯，包括“意識”、“情緒”等用來描述人類智能的單詞。閔斯基指出，這些詞其實反映了多種多樣的內(nèi)在機制，但都被鎖在“手提箱”中。一旦我們用這些詞代替了更根本性的概念、僅對這些詞匯進行研究，我們的思維就會被語言所局限。那么在研究智能時，“可解釋性”會不會也是這樣一個“手提箱詞匯”呢?

　　雖然很多研究人員都持樂觀態(tài)度，認為理論學家遲早能打開這個“手提箱”、發(fā)現(xiàn)某套主宰機器學習(或許也包括人類學習)的統(tǒng)一法則或原理，就像牛頓的力學原理一樣。但也有人警告稱，這種可能性微乎其微。紐約城市大學哲學教授馬西莫·皮戈里奇指出，神經(jīng)科學、乃至人工智能領(lǐng)域所謂的“理解”也許是一種“集群概念”，即可能有多個不同定義。如果該領(lǐng)域真的有“理解”之說，也許相對于物理學、會更接近進化生物學的情況。也就是說，我們將發(fā)現(xiàn)的也許不是“基本力學原理”，而是“物種起源學說”。

　　當然，這并不意味著深度網(wǎng)絡將預示著某種新型自主生命的出現(xiàn)。但深度網(wǎng)絡就像生命本身一樣費解。該領(lǐng)域采用的漸進式實驗手段和事后解讀方式也許并不是在黑暗中苦苦等待理論之光時的絕望情緒，而是我們能夠盼來的唯一光芒?？山忉屝砸苍S會以碎片化的形式呈現(xiàn)出來，就像不同類別的“物種”一樣，采用的分類法則根據(jù)具體情境而定。

　　在國際機器學習大會的專題研討會結(jié)束時，部分發(fā)言人參加了一場討論會，試圖給“可解釋性”下一個定義。結(jié)果每個人都各執(zhí)一詞。進行了一系列討論后，大家似乎達成了一點共識：一個模型要能被解釋，就要具備“簡單性”。但在簡單性的定義問題上，大家又產(chǎn)生了分歧。“最簡單”的模型究竟是指依賴最少特征的模型?還是程序規(guī)模最小的模型?還是有其它解釋?一直到研討會結(jié)束，大家都沒有達成共識。

　　正如馬里奧托夫說的那樣：“簡單性并不簡單。”