Hinton、Yann LeCun、李飛飛談深度學(xué)習(xí)十年:AI沒有走入死胡同,“革命”仍如火如荼
大數(shù)據(jù)文摘授權(quán)轉(zhuǎn)載自AI前線
作者:Sharon Goldman
譯者:核子可樂
策劃:冬梅
2022 年,當(dāng)我們回望這生機(jī)勃勃、萬物競發(fā)的 AI 黃金十年,新的問題涌上心頭:我們可以從這十年來的深度學(xué)習(xí)發(fā)展之路中總結(jié)出什么?這一顛覆世界的革命性技術(shù),未來又將何去何從?
人工智能(AI)先驅(qū) Geoffrey Hinton 是十年前深度學(xué)習(xí)初創(chuàng)“革命”的開拓者之一。在他看來,未來 AI 技術(shù)的發(fā)展勢頭仍將一路加速。
2012 年,為 AI 帶來首個重大突破的關(guān)鍵神經(jīng)網(wǎng)絡(luò)研究橫空出世。而值此十周年紀(jì)念日之際,Hinton 和其他幾位 AI 杰出人士再度發(fā)聲,回?fù)袅瞬糠峙u者提出的深度學(xué)習(xí)已經(jīng)“走進(jìn)死胡同”的觀點(diǎn)。
Hinton 表示,“我們將看到機(jī)器人技術(shù)的巨大進(jìn)步 —— 更靈巧、更敏捷、更順從的機(jī)器人即將誕生。它們可以像人類一樣高效、溫和地處理工作?!?/span>
其他 AI 先驅(qū)者,包括 Meta 公司首席科學(xué)家兼 AI 負(fù)責(zé)人 Yann LeCun,以及斯坦福大學(xué)教授李飛飛,也對 Hinton 的觀點(diǎn)表示贊同。幾位大佬都認(rèn)定,2012 年在 ImageNet 數(shù)據(jù)庫上的開創(chuàng)性研究結(jié)果(基于以往的工作成果,成功解鎖計(jì)算機(jī)視覺乃至整體深度學(xué)習(xí)的全面進(jìn)步)確實(shí)將深度學(xué)習(xí)推向了主流,并引發(fā)了一股難以阻擋的歷史洪流。
LeCun 在接受外媒 VentureBeat 采訪時提到,擋在 AI 前進(jìn)道路上的種種阻礙,正以驚人的速度被加快掃除。連他自己都感嘆,“過去四五年的技術(shù)發(fā)展速度令人驚訝?!?/span>
而 2006 年建立起 ImageNet(首個用于計(jì)算機(jī)視覺算法的大規(guī)模人工標(biāo)注照片數(shù)據(jù)集)的李飛飛,也在接受采訪時提到,2012 年以來,這場浩浩蕩蕩的深度學(xué)習(xí)發(fā)展大潮是“一場我做夢也無法想象的驚人革命”。
然而,木秀于林風(fēng)必摧之。
耀眼的光環(huán)之下,也有尖銳的批評者認(rèn)為深度學(xué)習(xí)存在很大局限,并認(rèn)為這項(xiàng)技術(shù)的應(yīng)用范圍極其狹窄。反對者還強(qiáng)調(diào),神經(jīng)網(wǎng)絡(luò)的本質(zhì)上其實(shí)是又一場技術(shù)炒作,并不像某些支持者說的那樣有能力帶來根本性的突破。換言之,他們完全不認(rèn)可“它是最終幫助我們達(dá)成期望中的「人工通用智能」(AGI)的基礎(chǔ),即具備與人類相當(dāng)?shù)耐评砟芰Φ?AI”這一論斷。
萬物競發(fā)的 AI 黃金十年
紐約大學(xué)名譽(yù)教授、Robust.AI 創(chuàng)始人兼 CEO Gary Marcus 曾在去年 3 月寫下一篇關(guān)于“深度學(xué)習(xí)走進(jìn)‘死胡同’”的文章。在他看來,這項(xiàng)技術(shù)雖然取得了不錯的進(jìn)展,但“卡在了關(guān)于物理世界的常識知識與推理這一環(huán),再難寸進(jìn)”。
華盛頓大學(xué)計(jì)算語言學(xué)教授、時常批評這場“深度學(xué)習(xí)泡沫”的 Emily Bender 則表示,她認(rèn)為目前的自然語言處理(NLP)和計(jì)算機(jī)視覺模型,并不能算是“邁向人工智能和人工通用智能的實(shí)質(zhì)性腳步”。
無論如何,批評者也必須承認(rèn),計(jì)算機(jī)視覺和語言等關(guān)鍵應(yīng)用確實(shí)取得了巨大進(jìn)步。這也引得成千上萬家企業(yè)爭相利用深度學(xué)習(xí)的力量,進(jìn)而在推薦引擎、翻譯軟件、聊天機(jī)器人等領(lǐng)域帶來令人印象深刻的現(xiàn)實(shí)成果。
然而,其中也有不少必須直面的嚴(yán)肅爭論。例如,AI 領(lǐng)域還有不少倫理和偏見等基本問題需要解決,治理者也需要監(jiān)管 AI,以保護(hù)公眾在就業(yè)、醫(yī)療保健和監(jiān)控等領(lǐng)域免受歧視。
2022 年,當(dāng)我們回望這生機(jī)勃勃、萬物競發(fā)的 AI 黃金十年,新的問題涌上心頭:我們可以從這十年來的深度學(xué)習(xí)發(fā)展中總結(jié)出什么?這一顛覆世界的革命性技術(shù),未來又將引何去何從?
Geoffrey Hinton
AI 先驅(qū)們早已預(yù)見到這場革命的到來
Hinton 稱,他一直都知道深度學(xué)習(xí)“革命”即將到來。
Hinton 在 1986 年發(fā)表的論文中普及了用于訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)的反向傳播算法。他表示,“有很多研究者都相信,這就是人工智能的未來。我們則一直在努力證明自己的這一論斷、證明自己所相信的東西?!?/span>
1989 年率先使用反向傳播和卷積神經(jīng)網(wǎng)絡(luò)的 LeCun 也對此表示贊同。他談到,“我絲毫也不懷疑未來的 AI,采用的仍然是我們八十和九十年代開發(fā)出的相關(guān)技術(shù)。”
與當(dāng)時的主流觀念相反,Hinton 和 LeCun 等人堅(jiān)持認(rèn)為,多層神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)架構(gòu)可以應(yīng)用于計(jì)算機(jī)視覺、語音識別、NLP 和機(jī)器翻譯等領(lǐng)域,進(jìn)而產(chǎn)生近似甚至超越人類專家的表現(xiàn)。他們駁斥了那些抵觸他們研究成果的批評者,強(qiáng)調(diào)反向傳播與卷積神經(jīng)網(wǎng)絡(luò)等算法技術(shù)將成為推動 AI 進(jìn)步的關(guān)鍵。不過當(dāng)時學(xué)術(shù)界的普遍消極情緒也可以理解,畢竟在經(jīng)歷了八十和九十年代的一系列挫折之后,AI 技術(shù)已經(jīng)長期停滯不前。
與此同時,擔(dān)任斯坦福大學(xué)以人為本 AI 研究院聯(lián)合主任、前谷歌 AI 與機(jī)器學(xué)習(xí)首席科學(xué)家的李飛飛,也同樣對自己的假設(shè)充滿信心。她認(rèn)為只要配合正確的算法,ImageNet 數(shù)據(jù)庫完全能夠推動計(jì)算機(jī)視覺與深度學(xué)習(xí)的跨越式發(fā)展。
她解釋道,“這是一種典型的開箱即用式機(jī)器學(xué)習(xí)思維方式,也對應(yīng)著很高的風(fēng)險。但我們在科學(xué)意義上相信自己的假設(shè)?!?/span>
但這一切仍然有待時間的檢驗(yàn)。這些經(jīng)過數(shù)十年 AI 研究發(fā)展起來的理論,直到 2012 年秋才完全證明了自己。一場重大突破,最終引發(fā)了得到公認(rèn)的深度學(xué)習(xí)革命。
2012 年 10 月,Hinton 的兩位博士生 Alex Krizhevsky 和 Ilya Sutskever 參加了由李飛飛組織的 ImageNet 競賽,嘗試為大規(guī)模對象檢測與圖像分類設(shè)計(jì)出可行的算法。師生三人憑借一篇題為《使用深度卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn) ImageNet 數(shù)據(jù)庫分類》的論文最終勝出。該論文使用 ImageNet 數(shù)據(jù)庫創(chuàng)建了一個名為 AlexNet 的開創(chuàng)性神經(jīng)網(wǎng)絡(luò)。而且事實(shí)證明,該模型在各種圖像的分類方面都要比以往任何方法準(zhǔn)確得多。
這篇令 AI 研究界贊嘆不已的論文仍然站在早期突破的肩膀之上,再配合上 ImageNet 數(shù)據(jù)集和更強(qiáng)大的 GPU 硬件,直接開宗立派,為日后 Google Photos、Google Translate、Uber、Alexa、DALL-E 乃至 AlphaFold 翻開了歷史進(jìn)程的嶄新一頁。
此后,對 AI 技術(shù)的投資呈現(xiàn)出指數(shù)級增長:全球 AI 初創(chuàng)資金從 2011 年的 6.7 億美元增長至 2020 年的 360 億美元,并于 2021 年再次翻番達(dá)到 770 億美元。
那一年,神經(jīng)網(wǎng)絡(luò)成為主流
經(jīng)歷了 2012 年震驚全球的 ImageNet 競賽,媒體開始全力跟進(jìn)深度學(xué)習(xí)的發(fā)展趨勢。
ImageNet 競賽次月《紐約時報》發(fā)表的文章《科學(xué)家們在深度學(xué)習(xí)項(xiàng)目中看到了希望》提到,“科技企業(yè)報告稱,通過一種受人腦模式識別理論的啟發(fā),新型 AI 技術(shù)已經(jīng)在諸多領(lǐng)域取得驚人進(jìn)展,包括計(jì)算機(jī)視覺、語音識別乃至發(fā)現(xiàn)有前途的****物新分子等?!蔽恼逻€補(bǔ)充稱,“這種被稱為人工神經(jīng)網(wǎng)絡(luò),或簡稱為神經(jīng)網(wǎng)絡(luò)的新技術(shù),采用與人腦相似的神經(jīng)連接結(jié)構(gòu),成功推動深度學(xué)習(xí)程序在速度與準(zhǔn)確性方面達(dá)到一個又一個新高度?!?/span>
這一年,AlexNet 并不是深度學(xué)習(xí)領(lǐng)域唯一的超級明星。2012 年 6 月,谷歌 X 實(shí)驗(yàn)室的研究人員也構(gòu)建了一個由 16000 個處理節(jié)點(diǎn)組成的神經(jīng)網(wǎng)絡(luò),包含 10 億個連接。隨著時間推移,它開始總結(jié)出“貓”的特征,進(jìn)而準(zhǔn)確識別出 YouTube 視頻中出現(xiàn)的小貓形象。
與此同時,Jeffrey Dean 和吳恩達(dá)也在 Google Brain 的大規(guī)模圖像識別方面取得了突破。在 2012 年的 IEEE 計(jì)算機(jī)視覺與模式識別會議上,研究人員 Dan Ciregan 等人再次顯著提高了卷積神經(jīng)網(wǎng)絡(luò)在多個圖像數(shù)據(jù)庫上的最佳性能。
Hiton 總結(jié)道,到 2013 年,“幾乎所有計(jì)算機(jī)視覺研究都轉(zhuǎn)向了神經(jīng)網(wǎng)絡(luò)?!睆哪菚r起,他也開始奔走于多倫多大學(xué)和谷歌研究院。這是 AI 研究自 2007 年以來的一場重大變革,“在此之前,每次技術(shù)會議最多只會接收一篇關(guān)于深度學(xué)習(xí)的論文?!?/span>
李飛飛
深度學(xué)習(xí)的十年發(fā)展歷程
作為深度學(xué)習(xí)歷史性突破的親歷者,李飛飛在 2012 年那場 ImageNet 競賽上親自公布了獲勝選手。接下來十年深度學(xué)習(xí)的****,也在意大利佛羅倫薩的會議現(xiàn)場被正式定義。
李飛飛提到,“ImageNet 的構(gòu)想始于 2006 年,但當(dāng)時幾乎沒人支持。
然而,最終它還是以光芒萬丈的方式獲得了認(rèn)可和回報。”
自 2012 年開始,深度學(xué)習(xí)的發(fā)展速度驚人,學(xué)習(xí)模型的“深度”也開始不斷打破紀(jì)錄。
LeCun 表示“不少擋在 AI 發(fā)展道路上的阻礙被快速掃除”,于是自然語言理解、文本生成翻譯和圖像合成等應(yīng)用領(lǐng)域全面起飛。
其中部分領(lǐng)域的發(fā)展速度甚至比預(yù)期更快。對 Hinton 來說,基于神經(jīng)網(wǎng)絡(luò)的機(jī)器翻譯特別令人印象深刻,而這方面嘗試其實(shí)始于 2014 年?!拔以疽詾椴粫敲纯?。”另一方面,李飛飛也對 DALL-E 贊賞有加,表示“進(jìn)展比我想象中更快。”
敬告深度學(xué)習(xí)批評者
然而,并不是所有人都愿意為深度學(xué)習(xí)的進(jìn)展而鼓掌喝彩。
2012 年 11 月,紐約大學(xué)名譽(yù)教授、Robust.AI 創(chuàng)始人兼 CEO Gary Marcus 就為《紐約客》撰寫了一篇文章,表示“套用一句古老的寓言——Hinton 造了一把好梯子,但無論多好的梯子都沒法讓人登上月球?!?/span>
Marcus 甚至斷言,時至今日,深度學(xué)習(xí)完全沒能讓 AI 比十年前更接近“月球”——也就是萬眾期待的人工通用智能,或者說能力與人類相當(dāng)?shù)?AI。
“技術(shù)方面的進(jìn)步當(dāng)然客觀存在,但要想成功登月,必須解決因果理解和自然語言理解 / 推理的問題。深度學(xué)習(xí)在這些方向上并沒有太大進(jìn)展?!?/span>
Marcus 還提到,他認(rèn)為將神經(jīng)網(wǎng)絡(luò)與符號人工智能(在深度學(xué)習(xí)興起之前,在領(lǐng)域中占主導(dǎo)地位的 AI 分支)相結(jié)合的混合模型,才是突破神經(jīng)網(wǎng)絡(luò)極限的正確方向。
但 Hinton 和 LeCun 各自駁斥了 Marcus 的批評意見。
Hinton 表示“深度學(xué)習(xí)并沒有走進(jìn)死胡同——只要看看最近發(fā)生的一切,就能感受到它的蓬勃力量?!钡渤姓J(rèn),深度學(xué)習(xí)所能解決的問題確實(shí)還比較有限。
LeCun 則補(bǔ)充稱,“我覺得壓根不存在什么死胡同,只是前進(jìn)道路上還有需要掃除的障礙。我們目前不太清楚要怎么掃除,但深度學(xué)習(xí)的進(jìn)展沒有放緩……如果非要說的話,反而是在一路加速?!?/span>
但反對派的 Bender 對此并不買賬。她在郵件采訪中強(qiáng)調(diào),“在某種程度上,他們討論的還是根據(jù) ImageNet 等基準(zhǔn)數(shù)據(jù)集提供的標(biāo)簽,對圖像進(jìn)行分類的所謂進(jìn)展。2012 年確實(shí)是個歷史性的突破點(diǎn),但除此以外的其他宏大目標(biāo)還完全沒有被攻克,屬于典型的雷聲大雨點(diǎn)小?!?/span>
AI 偏見與倫理問題已迫在眉睫
Bender 還認(rèn)為,AI 和深度學(xué)習(xí)技術(shù)已經(jīng)在不知不覺中走得太遠(yuǎn)。“我相信超大規(guī)模數(shù)據(jù)集確實(shí)能為 AI 模型帶來強(qiáng)大的能力,通過算力加高效算法的方式生成合成文本和圖像。但這方面的成功形成了強(qiáng)大的發(fā)展慣性,于是研究者們似乎陷入了一種循環(huán)——人們「發(fā)現(xiàn)」模型存在偏見,于是嘗試去消除這些偏見。但大家都知道,時至今日也不存在真正無偏見的數(shù)據(jù)集或者 AI 模型?!?/span>
此外,她“希望看到 AI 領(lǐng)域能貫徹真正的問責(zé)標(biāo)準(zhǔn),包括測試評判、經(jīng)驗(yàn)主張乃至產(chǎn)品安全。為此,我們需要幫助民眾理解 AI 技術(shù)、看穿炒作宣傳,我們需要行之有效的監(jiān)管手段?!?/span>
但 LeCun 不這么看,他認(rèn)為“這些訴求的實(shí)質(zhì),都是人們想要對復(fù)雜的重要問題進(jìn)行粗暴簡化”,而且很多人會做“有罪推定”。他堅(jiān)持強(qiáng)調(diào),大多數(shù)企業(yè)“其實(shí)都是想做正確的事”。
再有,他還抱怨了那些不愿參與 AI 技術(shù)研究、卻每天大放厥詞的批評者。
“那些身在場外指指點(diǎn)點(diǎn)的家伙甚至形成了自己的完整生態(tài)系統(tǒng)。但除了擾亂關(guān)注之外,他們起不到任何積極的作用?!?/span>
關(guān)于深度學(xué)習(xí)的爭論還將繼續(xù)
爭論氣氛看似緊張,但李飛飛強(qiáng)調(diào)這都是科學(xué)研究領(lǐng)域內(nèi)的正常討論。她解釋稱,“科學(xué)并不是真理,科學(xué)是尋求真理的過程。過程中必然有發(fā)現(xiàn)也有改進(jìn),所以爭論、批評和喝彩都是必不可少的環(huán)節(jié)?!?/span>
但也有一些爭論和批評意見讓她感覺“有點(diǎn)做作”,包括現(xiàn)在的 AI 路線有錯、以及 AGI 即將實(shí)現(xiàn)之類?!拔艺J(rèn)為這本應(yīng)是一場更深層、更微妙、更細(xì)致、更多維的科學(xué)爭論,但現(xiàn)在的情況有點(diǎn)淺表化了?!?/span>
當(dāng)然,李飛飛也承認(rèn)這十年來 AI 的發(fā)展表現(xiàn)令人失望,而且往往跟技術(shù)本身無關(guān)?!拔矣X得最令人失望的狀況發(fā)生在 2014 年,當(dāng)時我和以前的學(xué)生們共同創(chuàng)立了 AI4ALL,希望將年輕女性、有色族裔和服務(wù)欠缺社群的學(xué)生們帶入 AI 世界。我們的目標(biāo),就是給 AI 世界帶來更加多樣化的未來?!?/span>
如今八年過去,她認(rèn)為積極的變化來得太慢?!拔蚁M吹礁?、更深層次的變化,但各方付出的努力還遠(yuǎn)遠(yuǎn)不夠,特別是在初中和高中這個階段。我們不知不覺中失去了很多才華橫溢的年輕參與者?!?/span>
AI 與深度學(xué)習(xí)的未來
LeCun 承認(rèn),很多 AI 挑戰(zhàn)在吸納了大量資源投入之后仍未得到解決,其中最典型的一例就是自動駕駛。
“必須得說,人們可能低估了自動駕駛的復(fù)雜性。”LeCun 承認(rèn)自己也沒有深入研究過這個領(lǐng)域,“但我知道這事很難,而且需要很長時間。我不同意某些人的觀點(diǎn),他們說原理問題已經(jīng)基本解決……接下來只要把模型做得更大就行?!?/span>
事實(shí)上,LeCun 最近發(fā)布了一份建立“自主機(jī)器智能”的藍(lán)圖,這也表明他認(rèn)為現(xiàn)有 AI 方法并不足以打造出與人類相當(dāng)?shù)?AI 成果。
但他同時看到了深度學(xué)習(xí)未來的巨大潛力。他說最令自己感到興奮、并愿意為之奮斗的,就是讓機(jī)器獲得類似于動物、甚至人類的高效學(xué)習(xí)能力。
“對我來說,最大的問題就是動物到底遵循怎樣的學(xué)習(xí)原則。正因?yàn)槿绱?,我才一直倡?dǎo)自監(jiān)督學(xué)習(xí)等技術(shù)方向。這方面的進(jìn)展將使我們得以構(gòu)建出目前遙不可及的成果,比如能夠在日常生活中幫助用戶的智能系統(tǒng)。它們就像是人類的助手,這才是大家所真正需要的。未來,我們一定會進(jìn)入全民佩戴增強(qiáng)現(xiàn)實(shí)眼鏡的時代,我們將隨時隨地與 AI 互動?!?/span>
Hinton 也認(rèn)為深度學(xué)習(xí)有著良好的進(jìn)展。除了機(jī)器人技術(shù)的進(jìn)步,他認(rèn)為神經(jīng)網(wǎng)絡(luò)的底層計(jì)算基礎(chǔ)設(shè)施也將迎來新突破?!澳壳暗幕A(chǔ)設(shè)施是在用擅長矩陣乘法器的加速器執(zhí)行數(shù)字計(jì)算?!倍鴮τ诜聪騻鞑ィ€需要把模擬信號轉(zhuǎn)換為數(shù)字信號。
“目前的反向傳播只能在模擬硬件中實(shí)現(xiàn),未來我們一定會找到替代方案。
我也完全相信,從長遠(yuǎn)來看,人類幾乎所有計(jì)算都將以模擬的方式完成?!?/span>
李飛飛則把深度學(xué)習(xí)的未來寄予在交流和教育上?!霸谒固垢R匀藶楸?AI 研究院,我們把大量精力投入到與商業(yè)領(lǐng)袖、政府官員、政策制定者、媒體、記者乃至整個社會的溝通中來,并建立了各種專題討論、會議、研討、政策簡報和行業(yè)簡報?!?/span>
她補(bǔ)充道,對于這樣一種出現(xiàn)不久的技術(shù),“我個人擔(dān)心各方由于缺乏必要的背景知識,而無法傳達(dá)對 AI 時代的細(xì)致描述與深入思考?!?/span>
黃金十年:一段將永被銘記的深度學(xué)習(xí)歲月
對 Hinton 來說,過去十年來深度學(xué)習(xí)的發(fā)展“超越了我最瘋狂的想象”。
但他也強(qiáng)調(diào),雖然深度學(xué)習(xí)取得了巨大進(jìn)步,但這一切歸根結(jié)底還是源自計(jì)算機(jī)硬件的升級?!斑@一切都應(yīng)該歸功于愈發(fā)強(qiáng)大的計(jì)算機(jī)硬件?!?/span>
而像 Marcus 這樣的批評者認(rèn)為,深度學(xué)習(xí)目前取得的進(jìn)展“在后世看來,也許反而是一種不幸。我認(rèn)為 2050 年的人們會回顧 2022 年的 AI 系統(tǒng),并感嘆當(dāng)時的人們有勇氣、有干勁,但卻沒有走對方向?!?/span>
李飛飛則希望人們將這十年銘記為“偉大數(shù)字革命的開端,它使所有人——不是少數(shù)人或者部分人,而是所有人——都能更好地工作和生活?!?/span>
作為一名科學(xué)家,她表示“我當(dāng)然不覺得如今的深度學(xué)習(xí)會是人類對于 AI 探索的終點(diǎn)?!痹谏鐣矫?,她希望能讓 AI 成為“一種令人印象深刻的技術(shù)工具,而且始終以人為中心進(jìn)行開發(fā)和使用。我們必須認(rèn)識到這種工具帶來的深遠(yuǎn)影響,并接受以人為本的思維框架、AI 設(shè)計(jì)和部署原則?!?/span>
畢竟,“后世對我們的評價,取決于我們當(dāng)下所做的一切?!?/span>
原文鏈接:
https://venturebeat.com/ai/10-years-on-ai-pioneers-hinton-lecun-li-say-deep-learning-revolution-will-continue/*博客內(nèi)容為網(wǎng)友個人發(fā)布,僅代表博主個人觀點(diǎn),如有侵權(quán)請聯(lián)系工作人員刪除。
熱保護(hù)器相關(guān)文章:熱保護(hù)器原理