AI研究：如何讓機器學(xué)習(xí)算法解釋自己的決策？

　　神經(jīng)網(wǎng)絡(luò)的預(yù)測能力推動了最近的人工智能熱潮，但很難解釋他們是如何做出決定的。一項旨在揭示語言處理網(wǎng)絡(luò)內(nèi)部工作原理的新技術(shù)，只是為揭示這些“黑匣子”而做出的最新努力。

　　我們發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)如此神秘，這可能并不奇怪，因為它們基本上是基于人類大腦而建立的，我們也在努力破譯這些神經(jīng)網(wǎng)絡(luò)。他們學(xué)習(xí)的模型并不像傳統(tǒng)的計算機程序那樣整齊地存儲在數(shù)據(jù)庫中，而是由成千上萬的虛擬神經(jīng)元之間的連接組成。

　　這些連接不是由人類程序員設(shè)定的，相反，神經(jīng)網(wǎng)絡(luò)本質(zhì)上是通過在大量數(shù)據(jù)中尋找模式來進行編程。因此，雖然你可以測試一個神經(jīng)網(wǎng)絡(luò)在照片中檢測到貓的效果，但要判斷出它們的存在與否，你很難辨明它們的視覺模式。

　　“當(dāng)涉及到照片中貓的檢測時，這并不是什么大問題，但這項技術(shù)正在悄然進入一些領(lǐng)域，在這些領(lǐng)域，能夠解釋這些決定可能很重要。”

　　說到檢測到貓的存在，這并不是什么大問題，但這項技術(shù)正在悄然進入一些領(lǐng)域，在這些領(lǐng)域中，能夠解釋這些決策可能很重要，比如金融交易和疾病診斷。這導(dǎo)致了越來越多的研究試圖讓這些算法的決策能解釋得更清楚。

　　本月上旬，麻省理工學(xué)院的工程師們公布了一項技術(shù)，該技術(shù)有望提供關(guān)于任何自然語言處理網(wǎng)絡(luò)的洞察和分析，而不管其背后的軟件是什么。這是因為它的工作原理是簡單地把輸入轉(zhuǎn)換成算法，并測量對輸出的影響。

　　該研究小組利用他們自己的神經(jīng)網(wǎng)絡(luò)，對自然句子進行壓縮和解壓，得出與之相關(guān)的句子，然后將這些句子輸入到被訪問的神經(jīng)網(wǎng)絡(luò)中。通過分析輸入的細微變化如何改變輸出，研究人員能夠發(fā)現(xiàn)網(wǎng)絡(luò)對特定詞匯和短語的反應(yīng)。

　　他們進行的一項測試是在微軟Azure云服務(wù)的一項翻譯服務(wù)上進行的。法語有不同的名詞形式，這些名詞形式取決于主語的性別。例如，男舞者是“danseur”，而女性舞者則是“danseuse”。

　　研究人員發(fā)現(xiàn)，在包含諸如博士、教授等職業(yè)的句子中，這種模型容易表現(xiàn)出男性化的傾向，比如聰明的或有天賦的，而在模型表現(xiàn)成女性化的形式時，則傾向于迷人的或者富有同情心的主體，比如舞者或護士。

　　這種性別傾向很難通過簡單地搜索翻譯服務(wù)的神經(jīng)網(wǎng)絡(luò)架構(gòu)來發(fā)現(xiàn)，但其影響可能是潛在的。能夠發(fā)現(xiàn)這種傾向是促使神經(jīng)網(wǎng)絡(luò)更容易解釋的關(guān)鍵因素，但它也可以幫助研究人員排除那些導(dǎo)致錯誤的假設(shè)，從而提高他們的表現(xiàn)。

　　麻省理工學(xué)院的這一研究也遵循了華盛頓大學(xué)的類似研究，該研究也使用了輸入的變量來觀察模型的預(yù)測行為。它解決了分類算法更簡單的問題，但它也可以通過突出顯示圖像的某些部分來進行預(yù)測，從而在圖像處理算法方面發(fā)揮作用。

　　英偉達提出了一種更簡單的方法，可以在處理自動駕駛汽車的PilotNet系統(tǒng)所使用的視頻時實現(xiàn)同樣的效果。通過把網(wǎng)絡(luò)的更高層次的輸出疊加到下層上，他們就能創(chuàng)建一個“可視化的面具”，突出顯示網(wǎng)絡(luò)認為重要的實時視頻消息流的功能。

　　更進一步的話，一些研究人員試圖創(chuàng)造出人工智能來解釋它的決定，而不僅僅是專家來進行解釋。來自美國和德國的研究人員最近公布了一種算法，該算法不僅可以分析圖片，回答“哪種運動正在播放”等問題，還可以用“棒球員手握球棒”這樣的短語來回答“棒球”這樣的問題。

　　MarkRiedl是位于亞特蘭大的喬治亞理工學(xué)院娛樂情報實驗室的主任，他讓一些人玩了電腦游戲“青蛙”，并在他們玩的過程中解釋他們的策略。他將這些數(shù)據(jù)與描述游戲狀態(tài)的代碼一起記錄下來，然后在這兩種情況下訓(xùn)練了一個神經(jīng)網(wǎng)絡(luò)。當(dāng)他把這個網(wǎng)絡(luò)連接到另一個設(shè)計游戲的網(wǎng)絡(luò)時，他創(chuàng)造了一個人工智能，使其可以在玩游戲的過程中合理化自己的行為。

　　雖然對可解釋的人工智能研究還處于初級階段，但歐盟最近的一項指令可能會給該領(lǐng)域的研究增添一種緊迫感。定于明年生效的通用數(shù)據(jù)保護條例(GDPR)將有效地創(chuàng)造一種“解釋權(quán)”，使公民能夠要求做出關(guān)于算法決策背后的邏輯。

　　正如埃森哲的分析師在一篇博客文章中指出的那樣，關(guān)于這種新權(quán)利的程度存在爭議，但他們?nèi)匀唤ㄗh企業(yè)接受可解釋的人工智能，以便在未來證明自己的企業(yè)不受監(jiān)管機構(gòu)的影響。

　　這一領(lǐng)域也可能會有大筆資金投入。金融巨頭CapitalOne正在研究如何讓機器學(xué)習(xí)算法來解釋他們的決策，美國國防高級研究計劃局(DARPA)正在資助13個致力于解決這個問題的研究小組。這其中包括來自俄勒岡州立大學(xué)的一個小組，他們計劃用第二個神經(jīng)網(wǎng)絡(luò)來分析神經(jīng)網(wǎng)絡(luò)，以確定神經(jīng)活動對特定決策的影響。

　　但谷歌的研究主管PeterNorvig最近質(zhì)疑這些方法最終會有多大用處。他說，即使有了人類，認知心理學(xué)家也發(fā)現(xiàn)，當(dāng)你讓別人解釋他們的決定時，他們通常會以可能與實際決策過程無關(guān)的方式來理解他們的行為。他在悉尼的一次活動上說：“因此，我們可能會在機器學(xué)習(xí)領(lǐng)域處于同一個位置，在這個階段我們訓(xùn)練一個系統(tǒng)來獲得答案，考慮到第一個系統(tǒng)的輸入，然后我們才會訓(xùn)練另一個系統(tǒng)，現(xiàn)在你的工作就是做出解釋。”

　　相反，他說，隨著時間的推移，研究這些算法的輸出可能會更有用，以識別偏差和錯誤。那么，問題是這是誰的責(zé)任：是過度擴張的公共機構(gòu)、還是學(xué)術(shù)機構(gòu)或企業(yè)，在保護其人工智能能力的聲譽方面擁有既得利益。

　　在現(xiàn)實中，這可能需要兩者的結(jié)合。人工智能開發(fā)者需要找到方法來解釋他們的創(chuàng)意所做出的決定，但我們不能只接受他們的說法。還需要對這些決定如何影響人們的生活進行密切的觀察。

　　神經(jīng)網(wǎng)絡(luò)的預(yù)測能力推動了最近的人工智能熱潮，但很難解釋他們是如何做出決定的。一項旨在揭示語言處理網(wǎng)絡(luò)內(nèi)部工作原理的新技術(shù)，只是為揭示這些“黑匣子”而做出的最新努力。

　　我們發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)如此神秘，這可能并不奇怪，因為它們基本上是基于人類大腦而建立的，我們也在努力破譯這些神經(jīng)網(wǎng)絡(luò)。他們學(xué)習(xí)的模型并不像傳統(tǒng)的計算機程序那樣整齊地存儲在數(shù)據(jù)庫中，而是由成千上萬的虛擬神經(jīng)元之間的連接組成。

　　這些連接不是由人類程序員設(shè)定的，相反，神經(jīng)網(wǎng)絡(luò)本質(zhì)上是通過在大量數(shù)據(jù)中尋找模式來進行編程。因此，雖然你可以測試一個神經(jīng)網(wǎng)絡(luò)在照片中檢測到貓的效果，但要判斷出它們的存在與否，你很難辨明它們的視覺模式。

　　“當(dāng)涉及到照片中貓的檢測時，這并不是什么大問題，但這項技術(shù)正在悄然進入一些領(lǐng)域，在這些領(lǐng)域，能夠解釋這些決定可能很重要。”

　　說到檢測到貓的存在，這并不是什么大問題，但這項技術(shù)正在悄然進入一些領(lǐng)域，在這些領(lǐng)域中，能夠解釋這些決策可能很重要，比如金融交易和疾病診斷。這導(dǎo)致了越來越多的研究試圖讓這些算法的決策能解釋得更清楚。

　　本月上旬，麻省理工學(xué)院的工程師們公布了一項技術(shù)，該技術(shù)有望提供關(guān)于任何自然語言處理網(wǎng)絡(luò)的洞察和分析，而不管其背后的軟件是什么。這是因為它的工作原理是簡單地把輸入轉(zhuǎn)換成算法，并測量對輸出的影響。

　　該研究小組利用他們自己的神經(jīng)網(wǎng)絡(luò)，對自然句子進行壓縮和解壓，得出與之相關(guān)的句子，然后將這些句子輸入到被訪問的神經(jīng)網(wǎng)絡(luò)中。通過分析輸入的細微變化如何改變輸出，研究人員能夠發(fā)現(xiàn)網(wǎng)絡(luò)對特定詞匯和短語的反應(yīng)。

　　他們進行的一項測試是在微軟Azure云服務(wù)的一項翻譯服務(wù)上進行的。法語有不同的名詞形式，這些名詞形式取決于主語的性別。例如，男舞者是“danseur”，而女性舞者則是“danseuse”。

　　研究人員發(fā)現(xiàn)，在包含諸如博士、教授等職業(yè)的句子中，這種模型容易表現(xiàn)出男性化的傾向，比如聰明的或有天賦的，而在模型表現(xiàn)成女性化的形式時，則傾向于迷人的或者富有同情心的主體，比如舞者或護士。

　　這種性別傾向很難通過簡單地搜索翻譯服務(wù)的神經(jīng)網(wǎng)絡(luò)架構(gòu)來發(fā)現(xiàn)，但其影響可能是潛在的。能夠發(fā)現(xiàn)這種傾向是促使神經(jīng)網(wǎng)絡(luò)更容易解釋的關(guān)鍵因素，但它也可以幫助研究人員排除那些導(dǎo)致錯誤的假設(shè)，從而提高他們的表現(xiàn)。

　　麻省理工學(xué)院的這一研究也遵循了華盛頓大學(xué)的類似研究，該研究也使用了輸入的變量來觀察模型的預(yù)測行為。它解決了分類算法更簡單的問題，但它也可以通過突出顯示圖像的某些部分來進行預(yù)測，從而在圖像處理算法方面發(fā)揮作用。

　　英偉達提出了一種更簡單的方法，可以在處理自動駕駛汽車的PilotNet系統(tǒng)所使用的視頻時實現(xiàn)同樣的效果。通過把網(wǎng)絡(luò)的更高層次的輸出疊加到下層上，他們就能創(chuàng)建一個“可視化的面具”，突出顯示網(wǎng)絡(luò)認為重要的實時視頻消息流的功能。

　　更進一步的話，一些研究人員試圖創(chuàng)造出人工智能來解釋它的決定，而不僅僅是專家來進行解釋。來自美國和德國的研究人員最近公布了一種算法，該算法不僅可以分析圖片，回答“哪種運動正在播放”等問題，還可以用“棒球員手握球棒”這樣的短語來回答“棒球”這樣的問題。

　　MarkRiedl是位于亞特蘭大的喬治亞理工學(xué)院娛樂情報實驗室的主任，他讓一些人玩了電腦游戲“青蛙”，并在他們玩的過程中解釋他們的策略。他將這些數(shù)據(jù)與描述游戲狀態(tài)的代碼一起記錄下來，然后在這兩種情況下訓(xùn)練了一個神經(jīng)網(wǎng)絡(luò)。當(dāng)他把這個網(wǎng)絡(luò)連接到另一個設(shè)計游戲的網(wǎng)絡(luò)時，他創(chuàng)造了一個人工智能，使其可以在玩游戲的過程中合理化自己的行為。

　　雖然對可解釋的人工智能研究還處于初級階段，但歐盟最近的一項指令可能會給該領(lǐng)域的研究增添一種緊迫感。定于明年生效的通用數(shù)據(jù)保護條例(GDPR)將有效地創(chuàng)造一種“解釋權(quán)”，使公民能夠要求做出關(guān)于算法決策背后的邏輯。

　　正如埃森哲的分析師在一篇博客文章中指出的那樣，關(guān)于這種新權(quán)利的程度存在爭議，但他們?nèi)匀唤ㄗh企業(yè)接受可解釋的人工智能，以便在未來證明自己的企業(yè)不受監(jiān)管機構(gòu)的影響。

　　這一領(lǐng)域也可能會有大筆資金投入。金融巨頭CapitalOne正在研究如何讓機器學(xué)習(xí)算法來解釋他們的決策，美國國防高級研究計劃局(DARPA)正在資助13個致力于解決這個問題的研究小組。這其中包括來自俄勒岡州立大學(xué)的一個小組，他們計劃用第二個神經(jīng)網(wǎng)絡(luò)來分析神經(jīng)網(wǎng)絡(luò)，以確定神經(jīng)活動對特定決策的影響。

　　但谷歌的研究主管PeterNorvig最近質(zhì)疑這些方法最終會有多大用處。他說，即使有了人類，認知心理學(xué)家也發(fā)現(xiàn)，當(dāng)你讓別人解釋他們的決定時，他們通常會以可能與實際決策過程無關(guān)的方式來理解他們的行為。他在悉尼的一次活動上說：“因此，我們可能會在機器學(xué)習(xí)領(lǐng)域處于同一個位置，在這個階段我們訓(xùn)練一個系統(tǒng)來獲得答案，考慮到第一個系統(tǒng)的輸入，然后我們才會訓(xùn)練另一個系統(tǒng)，現(xiàn)在你的工作就是做出解釋。”

　　相反，他說，隨著時間的推移，研究這些算法的輸出可能會更有用，以識別偏差和錯誤。那么，問題是這是誰的責(zé)任：是過度擴張的公共機構(gòu)、還是學(xué)術(shù)機構(gòu)或企業(yè)，在保護其人工智能能力的聲譽方面擁有既得利益。

　　在現(xiàn)實中，這可能需要兩者的結(jié)合。人工智能開發(fā)者需要找到方法來解釋他們的創(chuàng)意所做出的決定，但我們不能只接受他們的說法。還需要對這些決定如何影響人們的生活進行密切的觀察。

　　神經(jīng)網(wǎng)絡(luò)的預(yù)測能力推動了最近的人工智能熱潮，但很難解釋他們是如何做出決定的。一項旨在揭示語言處理網(wǎng)絡(luò)內(nèi)部工作原理的新技術(shù)，只是為揭示這些“黑匣子”而做出的最新努力。

　　我們發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)如此神秘，這可能并不奇怪，因為它們基本上是基于人類大腦而建立的，我們也在努力破譯這些神經(jīng)網(wǎng)絡(luò)。他們學(xué)習(xí)的模型并不像傳統(tǒng)的計算機程序那樣整齊地存儲在數(shù)據(jù)庫中，而是由成千上萬的虛擬神經(jīng)元之間的連接組成。

　　這些連接不是由人類程序員設(shè)定的，相反，神經(jīng)網(wǎng)絡(luò)本質(zhì)上是通過在大量數(shù)據(jù)中尋找模式來進行編程。因此，雖然你可以測試一個神經(jīng)網(wǎng)絡(luò)在照片中檢測到貓的效果，但要判斷出它們的存在與否，你很難辨明它們的視覺模式。

　　“當(dāng)涉及到照片中貓的檢測時，這并不是什么大問題，但這項技術(shù)正在悄然進入一些領(lǐng)域，在這些領(lǐng)域，能夠解釋這些決定可能很重要。”

　　說到檢測到貓的存在，這并不是什么大問題，但這項技術(shù)正在悄然進入一些領(lǐng)域，在這些領(lǐng)域中，能夠解釋這些決策可能很重要，比如金融交易和疾病診斷。這導(dǎo)致了越來越多的研究試圖讓這些算法的決策能解釋得更清楚。

　　本月上旬，麻省理工學(xué)院的工程師們公布了一項技術(shù)，該技術(shù)有望提供關(guān)于任何自然語言處理網(wǎng)絡(luò)的洞察和分析，而不管其背后的軟件是什么。這是因為它的工作原理是簡單地把輸入轉(zhuǎn)換成算法，并測量對輸出的影響。

　　該研究小組利用他們自己的神經(jīng)網(wǎng)絡(luò)，對自然句子進行壓縮和解壓，得出與之相關(guān)的句子，然后將這些句子輸入到被訪問的神經(jīng)網(wǎng)絡(luò)中。通過分析輸入的細微變化如何改變輸出，研究人員能夠發(fā)現(xiàn)網(wǎng)絡(luò)對特定詞匯和短語的反應(yīng)。

　　他們進行的一項測試是在微軟Azure云服務(wù)的一項翻譯服務(wù)上進行的。法語有不同的名詞形式，這些名詞形式取決于主語的性別。例如，男舞者是“danseur”，而女性舞者則是“danseuse”。

　　研究人員發(fā)現(xiàn)，在包含諸如博士、教授等職業(yè)的句子中，這種模型容易表現(xiàn)出男性化的傾向，比如聰明的或有天賦的，而在模型表現(xiàn)成女性化的形式時，則傾向于迷人的或者富有同情心的主體，比如舞者或護士。

　　這種性別傾向很難通過簡單地搜索翻譯服務(wù)的神經(jīng)網(wǎng)絡(luò)架構(gòu)來發(fā)現(xiàn)，但其影響可能是潛在的。能夠發(fā)現(xiàn)這種傾向是促使神經(jīng)網(wǎng)絡(luò)更容易解釋的關(guān)鍵因素，但它也可以幫助研究人員排除那些導(dǎo)致錯誤的假設(shè)，從而提高他們的表現(xiàn)。

　　麻省理工學(xué)院的這一研究也遵循了華盛頓大學(xué)的類似研究，該研究也使用了輸入的變量來觀察模型的預(yù)測行為。它解決了分類算法更簡單的問題，但它也可以通過突出顯示圖像的某些部分來進行預(yù)測，從而在圖像處理算法方面發(fā)揮作用。

　　英偉達提出了一種更簡單的方法，可以在處理自動駕駛汽車的PilotNet系統(tǒng)所使用的視頻時實現(xiàn)同樣的效果。通過把網(wǎng)絡(luò)的更高層次的輸出疊加到下層上，他們就能創(chuàng)建一個“可視化的面具”，突出顯示網(wǎng)絡(luò)認為重要的實時視頻消息流的功能。

　　更進一步的話，一些研究人員試圖創(chuàng)造出人工智能來解釋它的決定，而不僅僅是專家來進行解釋。來自美國和德國的研究人員最近公布了一種算法，該算法不僅可以分析圖片，回答“哪種運動正在播放”等問題，還可以用“棒球員手握球棒”這樣的短語來回答“棒球”這樣的問題。

　　MarkRiedl是位于亞特蘭大的喬治亞理工學(xué)院娛樂情報實驗室的主任，他讓一些人玩了電腦游戲“青蛙”，并在他們玩的過程中解釋他們的策略。他將這些數(shù)據(jù)與描述游戲狀態(tài)的代碼一起記錄下來，然后在這兩種情況下訓(xùn)練了一個神經(jīng)網(wǎng)絡(luò)。當(dāng)他把這個網(wǎng)絡(luò)連接到另一個設(shè)計游戲的網(wǎng)絡(luò)時，他創(chuàng)造了一個人工智能，使其可以在玩游戲的過程中合理化自己的行為。

　　雖然對可解釋的人工智能研究還處于初級階段，但歐盟最近的一項指令可能會給該領(lǐng)域的研究增添一種緊迫感。定于明年生效的通用數(shù)據(jù)保護條例(GDPR)將有效地創(chuàng)造一種“解釋權(quán)”，使公民能夠要求做出關(guān)于算法決策背后的邏輯。

　　正如埃森哲的分析師在一篇博客文章中指出的那樣，關(guān)于這種新權(quán)利的程度存在爭議，但他們?nèi)匀唤ㄗh企業(yè)接受可解釋的人工智能，以便在未來證明自己的企業(yè)不受監(jiān)管機構(gòu)的影響。

　　這一領(lǐng)域也可能會有大筆資金投入。金融巨頭CapitalOne正在研究如何讓機器學(xué)習(xí)算法來解釋他們的決策，美國國防高級研究計劃局(DARPA)正在資助13個致力于解決這個問題的研究小組。這其中包括來自俄勒岡州立大學(xué)的一個小組，他們計劃用第二個神經(jīng)網(wǎng)絡(luò)來分析神經(jīng)網(wǎng)絡(luò)，以確定神經(jīng)活動對特定決策的影響。

　　但谷歌的研究主管PeterNorvig最近質(zhì)疑這些方法最終會有多大用處。他說，即使有了人類，認知心理學(xué)家也發(fā)現(xiàn)，當(dāng)你讓別人解釋他們的決定時，他們通常會以可能與實際決策過程無關(guān)的方式來理解他們的行為。他在悉尼的一次活動上說：“因此，我們可能會在機器學(xué)習(xí)領(lǐng)域處于同一個位置，在這個階段我們訓(xùn)練一個系統(tǒng)來獲得答案，考慮到第一個系統(tǒng)的輸入，然后我們才會訓(xùn)練另一個系統(tǒng)，現(xiàn)在你的工作就是做出解釋。”

　　相反，他說，隨著時間的推移，研究這些算法的輸出可能會更有用，以識別偏差和錯誤。那么，問題是這是誰的責(zé)任：是過度擴張的公共機構(gòu)、還是學(xué)術(shù)機構(gòu)或企業(yè)，在保護其人工智能能力的聲譽方面擁有既得利益。

　　在現(xiàn)實中，這可能需要兩者的結(jié)合。人工智能開發(fā)者需要找到方法來解釋他們的創(chuàng)意所做出的決定，但我們不能只接受他們的說法。還需要對這些決定如何影響人們的生活進行密切的觀察。