Facebook AI新研究：可解釋神經(jīng)元或許會(huì)阻礙DNN的學(xué)習(xí)

Facebook AI 近期更新博客介紹了一篇新論文，即研究人員通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)「易于解釋的神經(jīng)元可能會(huì)阻礙深層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)」。為了解決這些問(wèn)題，他們提出了一種策略，通過(guò)可偽造的可解釋性研究框架的形式來(lái)探討出現(xiàn)的問(wèn)題。

　　人工智能模型到底「理解」了什么內(nèi)容，又是如何「理解」的呢？

　　回答這個(gè)問(wèn)題對(duì)于改進(jìn)人工智能系統(tǒng)來(lái)說(shuō)至關(guān)重要。而不幸的是，計(jì)算機(jī)科學(xué)家解釋深層神經(jīng)網(wǎng)絡(luò)(DNN)的能力遠(yuǎn)遠(yuǎn)落后于我們用它們實(shí)現(xiàn)有用結(jié)果的能力。

　　一種常見(jiàn)的理解DNN的方法集中在單個(gè)神經(jīng)元的屬性上，例如，尋找出一個(gè)單獨(dú)的神經(jīng)元，這個(gè)神經(jīng)元可以激活貓的圖像，但不能激活其他類(lèi)型的圖像。

　　　　Facebook研究人員將這種對(duì)特定圖像類(lèi)型的偏好稱(chēng)為「類(lèi)選擇性」（class selectivity）。

　　「類(lèi)選擇性」之所以被廣泛使用，一部分原因是因?yàn)樗侵庇^的、易于理解的人類(lèi)術(shù)語(yǔ)(也就是說(shuō)，這些神經(jīng)元是網(wǎng)絡(luò)的「貓」部分)。

　　事實(shí)上，這些可解釋的神經(jīng)元，會(huì)自然而然地出現(xiàn)在經(jīng)過(guò)各種不同訓(xùn)練的神經(jīng)網(wǎng)絡(luò)中。

　　例如，經(jīng)過(guò)訓(xùn)練可以對(duì)許多不同類(lèi)型的圖像進(jìn)行分類(lèi)的DNN含有的某些神經(jīng)元，這些神經(jīng)元對(duì)拉布拉多尋回犬的激勵(lì)最為強(qiáng)烈，也就是說(shuō)，神經(jīng)元是有選擇性的。

　　研究人員發(fā)現(xiàn)強(qiáng)有力的證據(jù)表明「即使神經(jīng)元在很大程度上不具有類(lèi)選擇性，DNN 也能很好地發(fā)揮作用」。事實(shí)上，易于解釋的神經(jīng)元會(huì)損害 DNN 功能，甚至使網(wǎng)絡(luò)更容易受到隨機(jī)畸變輸入的影響。

　　Facebook 發(fā)現(xiàn)可以通過(guò)開(kāi)發(fā)一種新技術(shù)，直接控制 DNN 的神經(jīng)元的類(lèi)選擇性。如果這些方法沒(méi)有經(jīng)過(guò)嚴(yán)格的測(cè)試和驗(yàn)證，那么過(guò)分依賴(lài)于基于直覺(jué)的方法來(lái)理解DNN可能會(huì)產(chǎn)生誤導(dǎo)性。為了完全理解人工智能系統(tǒng)，我們必須努力尋找不僅是直觀的而且是經(jīng)驗(yàn)性的方法。

　　「類(lèi)選擇性」：深度神經(jīng)網(wǎng)絡(luò)可解釋性的工具

　　研究人員最近開(kāi)始研究是否易于解釋的神經(jīng)元對(duì) DNN 功能實(shí)際上是重要的，但不同的研究報(bào)告的結(jié)果有時(shí)是相互矛盾的。

　　為了解決這個(gè)問(wèn)題，我們采用了一種新的方法來(lái)操縱類(lèi)的選擇性: 當(dāng)訓(xùn)練一個(gè)網(wǎng)絡(luò)來(lái)分類(lèi)圖像時(shí)，我們不僅指示該網(wǎng)絡(luò)提高其分類(lèi)圖像的能力，我們還增加了一個(gè)動(dòng)機(jī)來(lái)減少(或增加)其神經(jīng)元的類(lèi)選擇性。

　　上圖展示了操縱 DNN 中神經(jīng)元的類(lèi)選擇性會(huì)如何影響 DNN 正確分類(lèi)圖像的能力(在 Tiny ImageNet 上訓(xùn)練的 ResNet18)。

　　每個(gè)點(diǎn)代表一個(gè) DNN。點(diǎn)的顏色代表了 DNN 神經(jīng)元中「類(lèi)選擇性」被使用或禁止的程度。X 軸顯示 DNN 神經(jīng)元之間的平均類(lèi)選擇性，Y 軸顯示 DNN 對(duì)圖像分類(lèi)的準(zhǔn)確程度。

　　灰點(diǎn)是中性的，既不使用也不禁止類(lèi)選擇性，代表了這種類(lèi)型 DNN 中自然出現(xiàn)的類(lèi)別選擇性水平，用它作為比較分類(lèi)準(zhǔn)確性的基準(zhǔn)。

　　通過(guò)阻止類(lèi)別選擇(藍(lán)點(diǎn)) ，可以提高測(cè)試的準(zhǔn)確性超過(guò)2% 。相比之下，鼓勵(lì)類(lèi)選擇性(紅點(diǎn))對(duì) DNN 的圖像分類(lèi)能力造成迅速的負(fù)面影響。通過(guò)放大數(shù)據(jù)的一個(gè)子集，以更好地說(shuō)明減少和增加類(lèi)選擇性的影響。

　　通過(guò)在損失函數(shù)中添加一個(gè)類(lèi)選擇性來(lái)做到這一點(diǎn)。研究人員用一個(gè)參數(shù)來(lái)控制類(lèi)選擇性對(duì)網(wǎng)絡(luò)的重要性。改變這個(gè)參數(shù)會(huì)改變我們是使用還是阻止易于解釋的神經(jīng)元，以及改變到什么程度。

　　通過(guò)調(diào)節(jié)參數(shù)，可以實(shí)現(xiàn)「類(lèi)選擇性」跨越所有網(wǎng)絡(luò)層。實(shí)驗(yàn)結(jié)果如下:

　　1.當(dāng)降低DNN的類(lèi)選擇性時(shí)，我們發(fā)現(xiàn)它對(duì)性能幾乎沒(méi)有影響，在某些情況下甚至提高了性能。這些結(jié)果表明，盡管 DNN 在任務(wù)和模型中普遍存在，但類(lèi)選擇性并不是 DNN 功能的一部分，有時(shí)甚至?xí)?duì) DNN 功能產(chǎn)生負(fù)面影響。

　　2.當(dāng)提高DNN的類(lèi)選擇性時(shí)，我們發(fā)現(xiàn)對(duì)網(wǎng)絡(luò)性能有顯著的負(fù)面影響。第二個(gè)結(jié)果表明，類(lèi)選擇性的存在并不能保證 DNN 正常工作。

　　走出實(shí)驗(yàn)室，生產(chǎn)環(huán)境中數(shù)據(jù)更復(fù)雜

　　與研究環(huán)境相比，部署在工業(yè)環(huán)境中的DNN通常需要處理更為嘈雜和更為扭曲的數(shù)據(jù)。

　　例如，一個(gè)研究用DNN可以從維基百科上看到非常清晰的貓的圖像，而在工業(yè)中，DNN 需要處理一個(gè)黑暗的、模糊的貓?zhí)优艿膱D像。

　　研究人員實(shí)驗(yàn)發(fā)現(xiàn)，類(lèi)選擇性的降低使DNN對(duì)模糊和噪聲等自然失真更具有魯棒性。而有趣的是，類(lèi)別選擇性的降低也使 DNN 更容易受到有針對(duì)性的攻擊，在這種攻擊中，圖像被有意操縱以欺騙 DNN。

　　這個(gè)結(jié)果出人意料有兩個(gè)原因: 第一，因?yàn)轭?lèi)選擇性已經(jīng)被廣泛用于理解 DNN 函數(shù); 第二，因?yàn)轭?lèi)選擇性在大多數(shù) DNN 中自然存在。

　　研究結(jié)果還表明，在缺乏類(lèi)選擇性的情況下，DNN自然地學(xué)習(xí)盡可能多的類(lèi)選擇性，而不會(huì)對(duì)性能產(chǎn)生負(fù)面影響。

　　所有這些工作都是 Facebook 進(jìn)一步解釋人工智能的一部分，包括為機(jī)器學(xué)習(xí)開(kāi)發(fā)人員提供開(kāi)源解釋工具，以及與平臺(tái)建立伙伴關(guān)系。

　　最終，這項(xiàng)工作將幫助研究人員更好地理解復(fù)雜的人工智能系統(tǒng)是如何工作的，并研發(fā)出更健壯、可靠和有用的模型。