博客專欄

EEPW首頁(yè) > 博客 > 專訪探索AGI的孤勇者,傳奇工程師John Carmack:驚訝看不到如我這樣的人

專訪探索AGI的孤勇者,傳奇工程師John Carmack:驚訝看不到如我這樣的人

發(fā)布人:大數(shù)據(jù)文摘 時(shí)間:2023-02-18 來(lái)源:工程師 發(fā)布文章

大數(shù)據(jù)文摘轉(zhuǎn)載自學(xué)術(shù)頭條

作者:智源社區(qū)

要點(diǎn)摘錄


  • 我堅(jiān)信,實(shí)現(xiàn)AGI程序的源代碼,一個(gè)人就能編寫,規(guī)模是幾萬(wàn)行。而不是Chrome三千萬(wàn)或者Twitter兩千萬(wàn)那種量級(jí)。推理是:人的DNA信息量不到1GB,而大腦只有40MB,其中還有冗余和不精密的部分。十年內(nèi)我們也能擁有匹配的硬件完成這項(xiàng)工作。
  • 職業(yè)生涯早期,當(dāng)我有個(gè)聰明的想法卻沒(méi)成功時(shí),會(huì)非常沮喪。但現(xiàn)在,我已經(jīng)很擅長(zhǎng)把自己的新奇念頭打倒——想辦法摧毀它們,而不是當(dāng)成寶貝來(lái)呵護(hù)。
  • 我是個(gè)重細(xì)節(jié)的人,即使是談火箭,目標(biāo)也不會(huì)說(shuō)成“殖民火星”,而會(huì)講講怎么用螺栓把零件固定在一起。
  • 所以,創(chuàng)造更多“人力”,應(yīng)用在日常事務(wù)中,例如告訴AI,你想制作一部電影或漫畫書,就能直接在云上運(yùn)行——這就是我對(duì)AGI的愿景。
  • 現(xiàn)在世界有80億人,比5千萬(wàn)人口生活在山洞時(shí)好得多。隨著AI進(jìn)入社會(huì),將大大提升社會(huì)價(jià)值與進(jìn)步總和。AI會(huì)極大地影響經(jīng)濟(jì)。我覺(jué)得AGI實(shí)現(xiàn)的可能性到2030年會(huì)提升到60%。往后說(shuō),2050年會(huì)有95%。
  • Sam Altman、Greg Brockman、Ilya Sutskever曾經(jīng)精心策劃過(guò)一次研討活動(dòng),目的是想勸我加入OpenAI。Ilya給了我一份大約40篇研究論文的清單,說(shuō)“如果你把這些都學(xué)會(huì)了,就會(huì)明白90%的重要工作了。”我照做了,一切都開始在我的腦海中變得清晰。
  • 令人驚訝的是,“主力選手們”都在進(jìn)行“集體思考”:去年OpenAI發(fā)布了一個(gè)圖像生成器,然后Google、Facebook跟著紛紛發(fā)布——不同公司的精英們?cè)谧鐾瑯拥氖?,在有限的空間“交叉授粉”。
  • 機(jī)器學(xué)習(xí)有個(gè)策略:你需要一定隨機(jī)性,我把自己視為為隨機(jī)點(diǎn)。我的背景和大家不同,之前并不做學(xué)術(shù)研究,而是一名系統(tǒng)工程師,但有足夠的能力掌握必要知識(shí)。其他人朝著他們認(rèn)為美好的未來(lái)前進(jìn),保持像我這樣的隨機(jī)性也重要。所以我選擇單干。
  • 同樣令人驚訝的是,每個(gè)人都把DeepMind和OpenAI視為領(lǐng)先的AGI實(shí)驗(yàn)室,卻看不到像我這樣做事的人。
  • 我很幸運(yùn),曾經(jīng)獲得過(guò)成功,財(cái)務(wù)穩(wěn)定,所以我****得起,能花十年冒這個(gè)險(xiǎn),不用擔(dān)心自己破產(chǎn)。如果我有百分之幾的成功概率,而****注的那一邊價(jià)值數(shù)萬(wàn)億,從這個(gè)角度看,****局并不糟糕。
  • 在AGI問(wèn)題上,我和其他人成功的幾率差不多,雖然有些人籌集了數(shù)十億美元,并且在某些問(wèn)題上卓有成效,但還說(shuō)不清它們是否是AGI的必經(jīng)之路。
  • 我曾經(jīng)的合作伙伴,建議我如何如何做,保證能成市場(chǎng)獨(dú)角獸。但我認(rèn)為這是一項(xiàng)長(zhǎng)達(dá)10年的任務(wù),為此籌集的2000萬(wàn)美元,我不想在接下來(lái)的兩年內(nèi)燒完,然后再融資——這不是我做事的方式。
  • 商業(yè)成功很誘人,但這分散了每個(gè)人的注意力,無(wú)法放眼未來(lái)。關(guān)于我的工作,可以直率地說(shuō)——近期商業(yè)機(jī)會(huì)為零。
  • 雖然有人投資了2000萬(wàn),但我沒(méi)承諾取得AGI突破。相反我說(shuō)的是:我這里有個(gè)不可忽視的機(jī)會(huì),為了抓住它,我會(huì)親自弄清楚。
  • 我覺(jué)得自己有一定概率,比OpenAI、DeepMind以及所有的中國(guó)實(shí)驗(yàn)室更早想出可行的辦法,但不會(huì)自大地說(shuō)會(huì)第一個(gè)成功。
(以上文字做了不改變?cè)獾木庉嫞?/span>

圖片
人物簡(jiǎn)介:John Carmack,游戲開發(fā)公司id Software的創(chuàng)始人,他以極強(qiáng)的編程和工程能力而知名,代表作《毀滅戰(zhàn)士》(Doom)和《雷神之錘》(Quake)等。他還創(chuàng)立了美國(guó)犰狳航空航天公司(Armadillo Aerospace),并曾擔(dān)任虛擬現(xiàn)實(shí)公司Oculus的首席技術(shù)官,后又加入Meta。2022年12月,卡馬克辭去了Meta虛擬現(xiàn)實(shí)部門的領(lǐng)導(dǎo)職務(wù),全身心投入AGI研發(fā)。
在近期《Dallas Innovates》的專訪中,他深入介紹了自己在達(dá)拉斯隱居的方式工作的方式和原因。智源社區(qū)對(duì)訪談內(nèi)容進(jìn)行了編譯。
另起爐灶,追尋AGI的圣杯
AGI是人工智能的圣杯,這位達(dá)拉斯最著名的科技奇才對(duì)AGI的追求就好比是百年難遇的登月行動(dòng)。在這場(chǎng)針對(duì)AGI的角逐當(dāng)中,參與方還有來(lái)自科學(xué)家、學(xué)者和大型科技公司的“群體思維”(groupthink)的獨(dú)立競(jìng)爭(zhēng),他們也在積極尋求解決方案。
今年8月,Carmack宣布,他的 AGI 初創(chuàng)公司Keen Technologies在新一輪融資中從多個(gè)知名投資者手中籌集了2000萬(wàn)美元。這一輪的參與者包括前 GitHub CEO Nat Friedman、Cue 聯(lián)合創(chuàng)始人Daniel Gross、Shopify 創(chuàng)始人Tobias Lutke、Stripe 聯(lián)合創(chuàng)始人Patrick Collison、紅杉資本以及總部位于奧斯汀的 Capital Factory。
Carmack強(qiáng)調(diào),盡管他本可以自己開一張2000萬(wàn)美元的支****,但從投資者手中拿到融資,將迫使他在尋求 AGI 的答案時(shí)更加自律和堅(jiān)定。在貝弗利的房子里,Carmack主要忙于Keen Technologies相關(guān)的工作,他稱之為職業(yè)生涯的“第四個(gè)主要階段”。在此前一個(gè)階段,主要是參與id Software 公司在電腦和先鋒視頻游戲方面的工作,有過(guò)短暫的經(jīng)歷,如發(fā)布于1991年的《雷神之錘》(Quake)和《毀滅戰(zhàn)士》(Doom) 系列游戲,在美國(guó)犰狳航空航天公司火箭研發(fā)的工作(2000-2013),以及在Oculus公司研發(fā)虛擬現(xiàn)實(shí),后者在2014年被Facebook(現(xiàn)更名為Meta)以20億美元收購(gòu)。2019年底,卡馬克從 Oculus 的首席技術(shù)官職位上退下來(lái),成為 VR venture的顧問(wèn)首席技術(shù)官,并宣布他將專注于 AGI研究。但去年12月,他從Meta辭職,專心致志于在Keen的工作。

圖片2005年在洛杉磯舉行的《毀滅戰(zhàn)士》(Doom) 發(fā)布會(huì)上,Carmack與當(dāng)時(shí)的id Software首席執(zhí)行官Todd Hollenshead、 以及id 的Kevin Cloud和Tim wilits在一起。


加速器和風(fēng)投公司Capital Factory 總裁兼聯(lián)合創(chuàng)始人Bryan Chambers表示,自2019年Carmack宣布對(duì) AGI 感興趣以來(lái),這家公司一直在積極跟蹤他的消息。Chambers說(shuō): “當(dāng)一個(gè)標(biāo)志性的技術(shù)專家?guī)?lái)這樣的機(jī)會(huì)時(shí),射門才是最重要的ーー你需要射門得分,因?yàn)檫@樣的機(jī)會(huì)百年不遇。“Chambers表示,對(duì)Carmack這樣的創(chuàng)始人進(jìn)行“登月”式的投資押注,是資本工廠的一項(xiàng)重要戰(zhàn)略。Chambers稱Carmack是“我們這個(gè)時(shí)代最偉大、最重要的思想家之一”。正是這些與眾不同的奇才往往能夠在創(chuàng)新過(guò)程的任何階段創(chuàng)造出非凡的價(jià)值
此外,Chambers表示: “在實(shí)現(xiàn)AGI的過(guò)程中,任何進(jìn)展都將改變一切?!薄ⅰ八鼘⑼苿?dòng)其他人的嘗試,推動(dòng)整個(gè)人工智能社區(qū)。如果AGI真的實(shí)現(xiàn)了,那么我們將享受參與人類歷史上最重要的價(jià)值創(chuàng)造公司之一。這也是風(fēng)險(xiǎn)所在?!边@家創(chuàng)業(yè)公司之所以名叫Keen,也是來(lái)源于Carmack的第一個(gè)視頻游戲——指揮官基恩系列 (Commander Keen)。同時(shí)Carmack還聘請(qǐng)了達(dá)拉斯地區(qū)的工程師Gloria Kennickell和他的哥哥Peter Carmack,后者是堪薩斯城的首席財(cái)務(wù)官(今年可能會(huì)再招聘一到兩名員工)。
和馬斯克舊相識(shí)
在家中樓上的一間辦公室里,Carmack 把工作重心放在了 Keen這家公司上,辦公桌上放著一個(gè)黃色的筆記本,上面寫滿了筆記,旁邊是一臺(tái)傳統(tǒng)的臺(tái)式電腦,主要用于“調(diào)試”開發(fā)工作?!爱?dāng)我測(cè)試模型時(shí),需要在一個(gè)更大的系統(tǒng)上,或者在云資源上運(yùn)行它,”Carmack 說(shuō)。
圖片圖片Carmack的工作環(huán)境
“隨著我們開始進(jìn)行更大規(guī)模的工作,我將派人管理另一家遠(yuǎn)程供應(yīng)商設(shè)置的一個(gè)中等規(guī)模的集群?!甭皆谶@個(gè)大房子的其他地方,Carmack隨手指著一頂掛在墻上的牛仔草帽,草帽來(lái)自南德克薩斯州Elon Musk的星際基地,是Musk的一個(gè)“手下”送給他的禮物。
圖片來(lái)自馬斯克手下的禮物——牛仔草帽
Carmack表示,在Musk創(chuàng)辦SpaceX以來(lái),他們就已經(jīng)相識(shí)了。那時(shí)Carmack的美國(guó)犰狳航空航天公司(Armadillo Aerospace)也剛剛起步。Carmack說(shuō): “有一次,Musk和他的首席推進(jìn)器工程師來(lái)到我在加蘭德的小店,我們多年來(lái)一直保持著聯(lián)系?!??!爱?dāng)他離開加州的時(shí)候,我還匆忙找了一些人去游說(shuō)他,‘嘿,你真應(yīng)該搬到達(dá)拉斯去,’我們確實(shí)努力勸了他一陣子?!?/span>
Carmack在堪薩斯城長(zhǎng)大,上世紀(jì)90年代初搬到了德克薩斯州北部,他長(zhǎng)期以來(lái)一直十分支持這個(gè)“孤星之州”,尤其是達(dá)拉斯?!耙坏┪覀冞M(jìn)入德克薩斯州,我真的很喜歡這里,”他說(shuō)?!拔覍?duì)很多以商業(yè)為重心的事情感到放心?!彼a(bǔ)充稱,Musk教會(huì)了他一個(gè)寶貴的經(jīng)驗(yàn),全身心投入自己的事業(yè)非常重要。此前,由于犰狳航空航天公司未能發(fā)展成功,卡馬克不得已關(guān)閉了這家公司。
他表示:“當(dāng)時(shí)我一邊還在從事軟件開發(fā),一邊在跟蹤航空公司那邊的事情,導(dǎo)致精力不是很集中?!薄拔覐腗usk身上學(xué)到的一點(diǎn)是,他總是對(duì)自己做的事情全力以赴。其實(shí)我為我們?cè)卺灬娇展就瓿傻脑S多工作感到自豪ーー比如 SpaceX 最終完成的垂直著陸ーー但問(wèn)題是我那時(shí)候不夠?qū)W?,很明顯現(xiàn)在對(duì)于Keen公司我是全力以赴的。”
為了激發(fā)創(chuàng)新思維,他說(shuō),他每天要步行至少四英里(聽著有聲讀物),大量閱讀 Kindle 上的材料,經(jīng)常把書籍和雜志從天花板高的圖書架上拿下來(lái)。他說(shuō),自從青少年時(shí)期以來(lái),他讀過(guò)的大部分書都還在,因?yàn)椤拔覠o(wú)法忍受丟棄印刷材料?!狈孔永镌S多書架上的書的主題范圍很廣,從《發(fā)電廠工程師指南》、《 Java 安全》、《千腦智能》、《象棋贏家》和《太空先鋒》到《凱文的幻虎世界》和《遠(yuǎn)端畫廊》。
“從這個(gè)角度來(lái)看,創(chuàng)造力通常是把這一點(diǎn)和那一點(diǎn)聯(lián)系起來(lái)。我家里的所有這些書都是來(lái)給我提供信息的,而這些信息往往就隱藏在我大腦記憶的影子和暗示之中。”Carmack說(shuō),“大多數(shù)真正好的想法都來(lái)自于這樣一句話: 好吧,我現(xiàn)在正在解決這個(gè)問(wèn)題,這讓我聯(lián)想到了其他一些事情。然后一連串的回憶將所有這一切都勾勒了出來(lái),直到出現(xiàn)這樣的情況,‘哦,這真是個(gè)好主意,這個(gè)靈光乍現(xiàn)可能真的很棒?!缓笪已杆僮粉欉@些線索,并問(wèn)自己一個(gè)問(wèn)題,如何才能迅速測(cè)試它呢?”
The Q&A
以下為這位科技奇才專訪實(shí)錄(為了簡(jiǎn)潔明了,筆者對(duì)問(wèn)答進(jìn)行了編輯)。
Q:你現(xiàn)在正在用什么樣的工作方式來(lái)“解決”通用人工智能(AGI),為什么要采用你的特定方式?
A:我一直坐在我的電腦前,思考概念,記錄想法,制定理論,然后進(jìn)行測(cè)試。這就是我現(xiàn)在的工作,因?yàn)闆](méi)有人真正知道抵達(dá)最終目標(biāo)的完整路徑。但我認(rèn)為,我和其他人能成功解決AGI的幾率差不多。有些人籌集了數(shù)十億美元追求AGI。有跡象表明非常強(qiáng)大的東西現(xiàn)在在狹義的機(jī)器學(xué)習(xí)中是可能實(shí)現(xiàn)的,目前尚不清楚這些是否是實(shí)現(xiàn)人工通用的必要步驟。對(duì)于樂(lè)于這樣做的公司來(lái)說(shuō),這是一個(gè)不錯(cuò)的選擇,有很多不同的出口,即使你沒(méi)有一路走下去抵達(dá)終點(diǎn),過(guò)程里也有很多有價(jià)值的東西,會(huì)改變世界,比如狹義人工智能(narrow AI)。
但令人擔(dān)心的是,如果你只是走出第一個(gè)出口就說(shuō),‘嘿,這里有一個(gè)價(jià)值數(shù)十億美元的出口’——我們知道,只需利用我們所已知的一切就可以徹底改變各個(gè)行業(yè)。這是一件非常誘人的事情,但它分散了每個(gè)人的注意力,使他們無(wú)法放眼未來(lái),無(wú)法專注于遠(yuǎn)距離的事情。所以,我可以直截了當(dāng)?shù)卣f(shuō),目前我在做的事情:短期商業(yè)機(jī)會(huì)為零。


Q:是什么促使您對(duì)AGI這個(gè)話題產(chǎn)生興趣?
A:我們現(xiàn)在正處于一場(chǎng)科學(xué)革命之中,因?yàn)?10 年前,人工智能還不太有效。我們經(jīng)歷過(guò)這些人工智能“寒冬”——事實(shí)上,在過(guò)去的幾十年里就有好幾次。這很有趣,因?yàn)樘摂M現(xiàn)實(shí)也經(jīng)歷過(guò)這個(gè)階段:虛擬現(xiàn)實(shí)幾乎成為了一個(gè)壞詞,因?yàn)樗?1990 年代變得如此糟糕,人們甚至不想談?wù)撍?/span>
圖片
人工智能有幾個(gè)這樣的惡性循環(huán):炒作升溫,資金流入,表現(xiàn)不佳,然后崩潰,沒(méi)有人愿意談?wù)撍5亲罱瓴煌?,原?lái)沒(méi)注意到的人都開始紛紛注目,因?yàn)樵谶^(guò)去十年中機(jī)器學(xué)習(xí)出現(xiàn)了多項(xiàng)讓人震驚的突破,意義深遠(yuǎn)。這才是真正促使我說(shuō),“可能真的是時(shí)候認(rèn)真看看這個(gè)了?!边@對(duì)我來(lái)說(shuō)很有趣,因?yàn)槲覍?duì)于機(jī)器學(xué)習(xí)和 AI 的理解尚處于一個(gè)技術(shù)旁觀者的階段,從十幾歲開始讀過(guò)一些開創(chuàng)性的領(lǐng)域書籍,了解到符號(hào)AI一類的概念。
所以,我的大腦對(duì)這些事情有所了解,但我并沒(méi)有真正關(guān)注AI領(lǐng)域,因?yàn)槲艺τ谟螒蜷_發(fā)、航空航天和虛擬現(xiàn)實(shí)等方面的工作。如今我才意識(shí)到,“好吧,我想這里可能有一些事情我需要弄清楚——什么是炒作,什么是現(xiàn)實(shí)?”所以我做了我通常在做的事:我所有的真正能力都是來(lái)源于從本質(zhì)上理解事物,只有從最底層,最深層次上了解事情是如何發(fā)生的,你才能獲得洞察力。
所以,大約四年前,我進(jìn)行了一次為期一周的靜修,在那里我只帶了一臺(tái)電腦和一堆參考資料,我花了一周的時(shí)間重現(xiàn)這個(gè)行業(yè)的基本原理,達(dá)到了我自認(rèn)為已經(jīng)非常了解AI的程度,以至于可以與研究人員就此進(jìn)行認(rèn)真的對(duì)話。當(dāng)時(shí)我對(duì)達(dá)到那種理解水平感到非常興奮。
在那之后,OpenAI 的 Sam Altman 邀請(qǐng)我參加一個(gè)會(huì)議——Y Combinator YC 120——雖然以前我從來(lái)沒(méi)有參加過(guò)這類會(huì)議(因?yàn)槲矣挟?dāng)隱士的傾向),但這次我決定參加。事實(shí)證明,這真的是 Sam 精心策劃的一次活動(dòng),因?yàn)樗襾?lái) OpenAI 的 Greg Brockman 和 Ilya Sutskever 來(lái)勸說(shuō)我去 OpenAI工作。
我對(duì)此感到非常榮幸,因?yàn)槲覠o(wú)論如何都稱不上是機(jī)器學(xué)習(xí)專家。可以說(shuō),我是很多知名系統(tǒng)的工程師,但對(duì)于AI,我只有最基本的基礎(chǔ)知識(shí)。所以,他們才是該領(lǐng)域的領(lǐng)導(dǎo)者,他們對(duì)我的肯定種下了種子,讓我思考AI領(lǐng)域正在發(fā)生的一切的重要性以及我在其中可以扮演什么樣的角色。
所以我向OpenAI首席科學(xué)家Ilya Sutskever要了一份閱讀清單。這就是我做事的方式:我需要了解這個(gè)領(lǐng)域的所有東西,才能真正從事相關(guān)工作。他給了我一份大約 40 篇研究論文的清單,并說(shuō),“如果你把這些都學(xué)會(huì)了,你就會(huì)明白現(xiàn)在 90% 的重要工作了?!蔽掖_實(shí)仔細(xì)研究了一番,這一切都開始在我的腦海中變得清晰。
圖片


Q:你當(dāng)時(shí)還在 Meta 從事虛擬現(xiàn)實(shí)吧?
A:是的,我在 Meta 遇到了一些關(guān)于大規(guī)模戰(zhàn)略方向的實(shí)際問(wèn)題。我相信你已經(jīng)看到了一些關(guān)于他們花了多少錢的頭條新聞,而且我認(rèn)為大部分錢花得很不值。從收購(gòu) Oculus 開始,我在那里的工作遭遇到了一些挑戰(zhàn),同時(shí)我的五年合同也即將到期。
于是我決定要更加認(rèn)真地對(duì)待AGI這項(xiàng)工作。我以前在游戲、火箭、虛擬現(xiàn)實(shí)中做過(guò)的所有事情,我的目標(biāo)都是從無(wú)到有,實(shí)現(xiàn)一些原先沒(méi)有的事情,但我總是有一個(gè)清晰的規(guī)劃。但是,對(duì)于 AGI 來(lái)說(shuō)就不同了,因?yàn)闆](méi)有人知道如何去做。這不是一個(gè)簡(jiǎn)單的工程問(wèn)題。
過(guò)去十年中發(fā)生的事情,存在各種各樣誘人的線索,事實(shí)上都是一些相對(duì)簡(jiǎn)單的想法和技術(shù),并不是多么艱深的黑魔法巫術(shù)。距離實(shí)現(xiàn)和我們?nèi)祟愊喾路鸬纳镏悄荏w,可能只需要六七個(gè)量級(jí)的洞察線索了。我在三四年前曾做出估計(jì),我們有50%的幾率在 2030 年在通用人工智能身上看到明顯的生命跡象。
這并不一定意味著會(huì)產(chǎn)生巨大的經(jīng)濟(jì)影響,只是證明,我們有一種在計(jì)算機(jī)上運(yùn)行的存在,大多數(shù)人認(rèn)為它是智能和有意識(shí)的,并且與我們?nèi)祟愓谧龅氖虑樘幱谕凰健=?jīng)過(guò)三年的核心研究,我并沒(méi)有改變我的這一預(yù)測(cè)。
事實(shí)上這種AGI實(shí)現(xiàn)的可能性到2030年甚至?xí)嵘?0%。甚至往后說(shuō),2050年,會(huì)有95%的可能性。許多人甚至覺(jué)得AGI出現(xiàn)會(huì)帶來(lái)經(jīng)天緯地的巨變,而我盡量不使用過(guò)于夸張宏大的說(shuō)辭,因?yàn)槲沂且粋€(gè)注重細(xì)節(jié)的人。即使是造火箭,我的目標(biāo)也不是要殖民火星,而是在談?wù)撐矣媚男┞菟▽|西固定在一起。所以,我不想做一個(gè) TED 演講,不停地談?wù)撍型ㄟ^(guò)看似具有成本效益的AGI能實(shí)現(xiàn)的所有事情。
新冠疫情表明,通過(guò)計(jì)算機(jī)交互流可以嚴(yán)格地完成比人們想象的更多的事情,在那里你可以通過(guò) Zoom、電子郵件、Discord 等計(jì)算機(jī)模式進(jìn)行交流。當(dāng)今世界價(jià)值的很大一部分都可以以此為基礎(chǔ)。如果有一個(gè)行為像人類的AI智能體——即使在我們今天這個(gè)由deepfake、聊天機(jī)器人和語(yǔ)音合成的狹義AI世界當(dāng)中——很明顯,我們可以通過(guò)它來(lái)模擬人類的各種形態(tài)。
我們還沒(méi)有擁有具有可學(xué)習(xí)意識(shí)流的AI同事,但我們確實(shí)擁有能實(shí)現(xiàn)它的高深而龐大的知識(shí)量。你會(huì)發(fā)現(xiàn)有人會(huì)狂熱地談?wù)搫∽儼l(fā)生的奇點(diǎn)以及 AGI 將如何改變一切。
如果 10 年后,我們有“通用遠(yuǎn)程員工”,它們是將是會(huì)在云端運(yùn)行的AGI。人們只需撥通電話說(shuō),“我今天想要 5 個(gè) Franks 和 10 個(gè)Amys,我們會(huì)將它們部署到現(xiàn)實(shí)的工作當(dāng)中,‘你可以像云訪問(wèn)計(jì)算資源一樣啟動(dòng)這些AI,云訪問(wèn)這種AI人力資源也許是能想到的最平淡無(wú)奇的一個(gè)AGI的使用方式。
如果我們所做的只是創(chuàng)造更多的人力資本并將其應(yīng)用于我們今天已經(jīng)在做的事情,可以說(shuō),‘我想制作一部電影或漫畫書,給我一個(gè)能實(shí)現(xiàn)的團(tuán)隊(duì),’然后直接在云上運(yùn)行它——這就是我的愿景。


Q:為什么實(shí)現(xiàn)一個(gè)能夠執(zhí)行人類可以完成的任務(wù)的系統(tǒng)如此重要?用人類來(lái)執(zhí)行任務(wù)有什么問(wèn)題?
A:嗯,你可以把它與很多問(wèn)題聯(lián)系起來(lái),比如,“人口是一件好事嗎?”“移民是一件好事嗎? 我們似乎已經(jīng)能夠利用愿意從事經(jīng)濟(jì)活動(dòng)并受市場(chǎng)引導(dǎo)的新的人類來(lái)源,現(xiàn)在世界上有 80 億人口,比以前有 5000 萬(wàn)人生活在山洞之類的地方要好得多。因此,我相信,隨著人工智能進(jìn)入我們的人類社區(qū)參與工作,將大大提升人類的價(jià)值與進(jìn)步的總和。我認(rèn)為所有這些都會(huì)創(chuàng)造巨大的價(jià)值。


Q:您如何看待實(shí)現(xiàn) AGI 的具體路徑?
A:有一條路徑是從今天的虛擬助手出發(fā)——Siris、Alexas 和谷歌助手——到變得越來(lái)越有幫助、能夠接管越來(lái)越多的任務(wù)。但這些呈現(xiàn)出的功能都是脆弱的、專門的——各種知識(shí)表示、語(yǔ)音合成、語(yǔ)音理解——但這可能不是通向可靈活用于多種任務(wù)的通用智能的途徑。
從字面上看,各家公司里面有成千上萬(wàn)的程序員,現(xiàn)在正致力于給這些助手增加功能,這在短期內(nèi)是有價(jià)值的。將這些東西拼接在一起的編程工作屬于一次性編程(throw-away programming)。但是這條路并不能幫助人們實(shí)現(xiàn)可以學(xué)習(xí)人類任務(wù)的通用智能體。感知相關(guān)的事情——包括理解某人的聲音,甚至自然地合成聲音——這些是 10 或 15 年前計(jì)算機(jī)根本做不好的。
一個(gè)上世紀(jì) 90 年代的笑話是,你有一臺(tái)可以輕松擊敗國(guó)際象棋世界冠軍的電腦,但一臺(tái)電腦做不到 2 歲孩子能做的事情:因?yàn)樗植磺遑埞?。那時(shí)世界上還沒(méi)有一款計(jì)算機(jī)產(chǎn)品可以做到這些簡(jiǎn)單而瑣碎的感知事情。事實(shí)證明,這就是我們的大腦實(shí)際上在做的:它更多地與感知和模式匹配有關(guān)。當(dāng)時(shí)人們一度認(rèn)為背后是哲學(xué)符號(hào)的操縱,這有點(diǎn)強(qiáng)詞奪理。幾十年來(lái),這一理論(哲學(xué)符號(hào))導(dǎo)致AI誤入歧途。所有這些死胡同前途渺茫,沒(méi)有太大的商業(yè)價(jià)值,證明了不是AI運(yùn)作的正確方式。但最近十年發(fā)生了革命:通過(guò)深度學(xué)習(xí)和深度聯(lián)結(jié)主義方法,我們實(shí)際上可以做到 2 歲兒童在感知方面可以做的所有事情。在許多方面,AI已經(jīng)達(dá)到了超人的水平。目前還沒(méi)有實(shí)現(xiàn)的部分是意識(shí)、聯(lián)想記憶,那些有關(guān)生活、目標(biāo)和計(jì)劃的東西。
也有些脆弱的人工智能系統(tǒng)可以實(shí)現(xiàn)其中一個(gè),但這仍然不是人腦甚至動(dòng)物大腦的工作方式。甚至別說(shuō)人腦了,我們甚至沒(méi)有可以像老鼠或貓一樣行動(dòng)的東西。但感覺(jué)上我們距離這些目標(biāo)仿佛咫尺之遙。我認(rèn)為,幾乎可以肯定的是,在過(guò)去十年中開發(fā)出的深度學(xué)習(xí)工具——能夠用于通用人工智能的實(shí)現(xiàn)。如強(qiáng)化學(xué)習(xí)、監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)等的其他領(lǐng)域也還有很多結(jié)構(gòu)性知識(shí)有待理解。所有這些都以人類思考事物的方式匯集在一起,我們還沒(méi)有對(duì)所有這些理論進(jìn)行最終綜合。


Q:是否有實(shí)現(xiàn)AGI的關(guān)鍵因素或中心思想?
A:AGI的源代碼,即通用人工智能所必需的計(jì)算機(jī)編程,將有幾萬(wàn)行代碼。現(xiàn)在,一個(gè)大程序有數(shù)百萬(wàn)行代碼——Chrome 瀏覽器大約有 2000 到 3000 萬(wàn)行代碼。Elon 最近提到 Twitter 在大約 2000 萬(wàn)行 Scala 代碼文件上運(yùn)行。這些都是大程序,一個(gè)人不可能去重寫一遍??赡芡笥嗌脕?lái)寫那些代碼都不足夠。
但我堅(jiān)信,真正支持 AGI 的代碼將是一個(gè)人可以編寫的東西?,F(xiàn)在有經(jīng)驗(yàn)的投資者認(rèn)為,AGI的代碼需要由一組研究人員完成,是由所有人撰寫的代碼拼湊而成的。但我對(duì)此的推理是:如果你拿走你整個(gè)人的DNA,其實(shí)信息量不到 1 GB。因此,即使是你的整個(gè)人體也沒(méi)有那么多的指令,而且大腦就是它的一小部分——大約 40 兆字節(jié),而且它并非嚴(yán)格編碼的。
于是我們有了人類存在的證據(jù):造就我們的大腦、造就我們的智慧的,并不是那么多代碼?,F(xiàn)在,它演變成一個(gè)非常復(fù)雜的物體,人腦有大約 860 億個(gè)神經(jīng)元,它們之間可能有多達(dá) 100 萬(wàn)億個(gè)連接。這對(duì)于即使是計(jì)算機(jī)來(lái)講,也是一個(gè)很大的數(shù)字。當(dāng)我們談?wù)揋PT-3一類的大模型時(shí),會(huì)說(shuō),“哦,它有 1600 億個(gè)參數(shù)”——這些參數(shù)有點(diǎn)類似于大腦中的連接。你可能會(huì)說(shuō),在我們的計(jì)算機(jī)擁有與大腦一樣強(qiáng)大的能力之前,我們還有很長(zhǎng)的路要走。但我認(rèn)為,我們也有充分的理由相信,這個(gè)想法極其悲觀,我們要走的路并沒(méi)有那么長(zhǎng)。這是因?yàn)槲覀兊拇竽X其實(shí)做了很多并不是那么重要的事情。它們真的很馬虎,它們真的很慢,所以它們可能不需要那么多參數(shù)。
但我想要再說(shuō)一下,大腦是一個(gè)被大規(guī)模利用的簡(jiǎn)單程序,這也正是當(dāng)下人工智能身上正在發(fā)生的事情。拿人們談?wù)摰臇|西來(lái)說(shuō),比如GPT-3、Imagen、AlphaFold,它們框架中的源代碼并不大。只有幾千行代碼,甚至都沒(méi)到幾萬(wàn)行。它們建立在一個(gè)支持生態(tài)系統(tǒng)的大框架之上,但核心邏輯并不是一個(gè)大程序。
因此,我堅(jiān)信,我們?cè)谑曛畠?nèi)就能擁有足夠的硬件來(lái)完成這項(xiàng)工作,代碼的數(shù)量會(huì)不多也不少,也有足夠多的人來(lái)參與。每個(gè)人都將 DeepMind 和 OpenAI 視為領(lǐng)先的 AGI 研究實(shí)驗(yàn)室,但讓我感到驚訝的是,和我身處同樣高位的人里面并沒(méi)有太多人在做這件事。


Q:你為什么想要孤身奮戰(zhàn)?
A:我之所以堅(jiān)持單干,就是因?yàn)樗械闹饕獏⑴c者都在進(jìn)行這種非常令人驚訝的“集體思考”。去年發(fā)生的這些事情讓我覺(jué)得很奇怪:OpenAI 發(fā)布了一個(gè)圖像生成器,然后谷歌、Facebook也紛紛發(fā)布。也就是說(shuō),這些公司可以在幾個(gè)月內(nèi)復(fù)制其他人的工作,因?yàn)樗鼈兌紒?lái)自同一群研究人員。來(lái)自不同公司的智囊團(tuán)們都在做一件同樣的事情。
但是,我們其實(shí)還不知道未來(lái)的方向在哪。在機(jī)器學(xué)習(xí)領(lǐng)域里有一個(gè)策略:你需要一定程度的隨機(jī)性。也就是說(shuō),你從隨機(jī)權(quán)重和隨機(jī)位置開始,有時(shí)還有多個(gè)集成模型。正因如此,我把自己定位為這些隨機(jī)測(cè)試點(diǎn)之一。其他行業(yè)正在朝著美好的未來(lái)前進(jìn),他們?cè)谶@方面做得很好。但是,因?yàn)槲覀儾⒉恢滥莻€(gè)方向是否是正確的,所以保持像我這樣的隨機(jī)性也很重要。
而且,我的背景和大家不同。我之前沒(méi)有在做學(xué)術(shù)研究,而是一名系統(tǒng)工程師。我有一些與此相關(guān)的想法和系統(tǒng),而且我很聰明,能夠?qū)W習(xí)必要的東西。因此,雖然有人向我的公司投資了 2000 萬(wàn)美元,但我并沒(méi)有告訴他們我可能會(huì)在通用人工智能方面取得突破。相反,我說(shuō)的是我手握著一個(gè)不可忽視的機(jī)會(huì),而為了把握住它,我會(huì)親自弄清楚一些重要的事情。


Q:一旦弄清楚,你認(rèn)為后果會(huì)是什么?
A:通用人工智能的出現(xiàn)可能會(huì)影響經(jīng)濟(jì),這確實(shí)是一個(gè)“足以改變世界”的事情,因?yàn)樗鼛缀蹩梢灾厮苋祟愃茏龅囊磺小_@幾乎是人類所能想象的極限。所以,做一些****注是值得的,比如投資者為我的研究方向所花的 2000 萬(wàn)美元。這個(gè)方向或許可行,又或許不可行。我可以直截了當(dāng)?shù)剡@樣講。但是我認(rèn)為,更有可能的是我會(huì)比 OpenAI 、 DeepMind 以及所有的中國(guó)實(shí)驗(yàn)室里的研究人員更早想出一個(gè)可行的辦法。但我并不會(huì)說(shuō)“是的,我有信心我會(huì)第一個(gè)成功”,因?yàn)檫@樣過(guò)于狂妄自大。
但是,在研究這些問(wèn)題的人里,我應(yīng)該是最聰明的那個(gè)。我認(rèn)為,在這場(chǎng)比賽里我的實(shí)力綽綽有余。而我正在走一條與眾不同的路。我現(xiàn)在可以說(shuō),“是的,我將把我生命中的下一個(gè)十年投入到這個(gè)項(xiàng)目中,這可能會(huì)取得巨大的成功?!被蛘撸铱赡軙?huì)找到兩件超級(jí)聰明的事情,然后我和別人合伙一起做。這樣的話也許會(huì)涉及到收購(gòu)或其他。
但是我不想做的一件事是,在選擇做商業(yè)APP的時(shí)候,草率地說(shuō)“我熟悉游戲,也了解圖像生成,那我就去做游戲內(nèi)容創(chuàng)作吧”事實(shí)上,我在 Oculus 的前合伙人 Brendan Iribe 也跟我講過(guò),“來(lái)和我一起做吧。我們將籌集到一大筆錢,這會(huì)很棒的?!堑?,當(dāng)時(shí)Oculus勢(shì)必要成為獨(dú)角獸了。毫無(wú)疑問(wèn),我們可以創(chuàng)立一家價(jià)值 10 億美元的公司。但更大的目標(biāo),通用人工智能,則代表著數(shù)萬(wàn)億美元的生意,這兩件事根本不可能同日而語(yǔ)。
能夠來(lái)到現(xiàn)在這個(gè)位置,并取得成功,獲得成就,實(shí)現(xiàn)財(cái)務(wù)穩(wěn)定,我感覺(jué)自己很幸運(yùn)。所以我能夠****這一把,冒這個(gè)風(fēng)險(xiǎn),哪怕風(fēng)險(xiǎn)極大。正是因?yàn)槲也粨?dān)心破產(chǎn)的問(wèn)題,所以我可以說(shuō),“好吧,如果我認(rèn)為我有機(jī)會(huì)能做這件事,而且它價(jià)值數(shù)萬(wàn)億,那這個(gè)選擇還不錯(cuò)?!蔽业囊馑际牵瑢?duì)于大多數(shù)人來(lái)說(shuō),這是一種糟糕的思考方式,但在我看來(lái),這并不是一件壞事。


Q:您現(xiàn)在打算如何在 Keen 下這個(gè)“****注”?
A:通過(guò)研究和開發(fā)我那些非主流的想法。大部分的主流做法我都會(huì)關(guān)注,因?yàn)樗鼈兒馨?,很有用?,F(xiàn)在我正在跟進(jìn)去年的一些研究論文,我認(rèn)為,跟原作者相比,我能把它們用得更好。
其實(shí)之前就發(fā)生過(guò)一些有價(jià)值的事情,但人們不一定知道。我真心覺(jué)得70 年代、80 年代和 90 年代的一些作品可能很有趣,因?yàn)楫?dāng)時(shí)發(fā)生的很多事情之所以沒(méi)能成功,只是因?yàn)橐?guī)模不夠大。他們?cè)噲D在 1 兆赫茲的計(jì)算機(jī)而不是 GPU 集群上做這件事。
我提到的這種群體思維其實(shí)很明顯。如果你細(xì)看一下,你就會(huì)發(fā)現(xiàn)所有這些杰出的研究人員都有相似的背景,而且他們都朝著同一個(gè)方向努力。所以,我認(rèn)為這些舊東西里可能會(huì)有有用的信息?,F(xiàn)在,我正在做實(shí)驗(yàn),也正在測(cè)試,試圖將這些不同的領(lǐng)域結(jié)合在一起,因?yàn)槲艺J(rèn)為這些領(lǐng)域是 AGI 算法的一部分。但我所做的大部分工作是通過(guò)看大量電視和玩各種視頻游戲來(lái)進(jìn)行模擬?!斑@就是你感知和內(nèi)化世界的模型,這是你在其中一些情況下如何和代理一起行動(dòng),”但這兩者是如何結(jié)合在一起的,我依然不是很清楚。但我認(rèn)為總有解決的辦法。我想我已經(jīng)知道了有哪些問(wèn)題需要解決,以及如何解決它們。
我仍然認(rèn)為,我們還需要很多不同的想法,但我有一些看似合理的見(jiàn)解可能會(huì)被證明是相關(guān)的。幾十年前,我曾這樣訓(xùn)練過(guò)自己,就是把想法拿出來(lái),并以一種我對(duì)它們感到興奮的方式去追求它們,哪怕我知道大多數(shù)最終都不會(huì)成功。在我職業(yè)生涯早期,我曾經(jīng)有過(guò)一個(gè)非常聰明的想法,但它最終沒(méi)能實(shí)現(xiàn),我當(dāng)時(shí)就被壓垮了。但現(xiàn)在我能夠做到的是,我變得很擅長(zhǎng)挖掘自己的想法,然后實(shí)踐它們,這個(gè)過(guò)程幾乎變成了一個(gè)游戲,仿佛在看“我能多快打破自己的想法,而不是一味地敝帚自珍?”
我現(xiàn)在就有幾個(gè)這樣的想法了,我正在探索和實(shí)踐過(guò)程之中。但這些想法,或者是技術(shù)、辦法很抽象,和現(xiàn)在深度學(xué)習(xí)做事的邏輯差不多。
所以,擴(kuò)大規(guī)模這件事,我想要再緩一緩。因?yàn)楝F(xiàn)在有很多公司說(shuō),“我們需要籌集 1 億美元、2 億美元,因?yàn)槲覀冃枰幸粋€(gè)裝滿 GPU 的倉(cāng)庫(kù)。”這是一種獲得價(jià)值的辦法,而且還比較有動(dòng)力。但我想說(shuō)的是,“不,我想在浪費(fèi)某人 1 億美元之前弄清楚幾件重要的事情。”實(shí)際上我現(xiàn)在并沒(méi)有花很多錢。我籌集了 2000 萬(wàn)美元,但我認(rèn)為這是一項(xiàng)長(zhǎng)達(dá) 10 年的任務(wù),我不想在接下來(lái)的兩年內(nèi)燒掉 2000 萬(wàn)美元,然后再做另一個(gè)系列來(lái)獲得另外幾億美元,因?yàn)槲覍?shí)際上并不認(rèn)為這是個(gè)明智的方法。
我希望我可以花幾年時(shí)間來(lái)解決其中的一些問(wèn)題,做一些我覺(jué)得方向正確的小東西。然后,對(duì)其進(jìn)行一定程度的擴(kuò)展,將這些信息和體驗(yàn)拓展到整個(gè)生命周期,看看它是否會(huì)產(chǎn)生一些火花四射的東西。
我一直在說(shuō)的是,一旦你的研究長(zhǎng)成了蹣跚學(xué)步的孩子,也就是說(shuō),它是存在的,而且是有意識(shí)的,但它不是愛(ài)因斯坦,甚至也不會(huì)做乘法。如果你有了一個(gè)可以學(xué)習(xí)的生物,你可以與之互動(dòng)并在某種程度上教它一些東西。到那個(gè)時(shí)候,你就可以組建一支由工程師、發(fā)展心理學(xué)家和科學(xué)家組成的龐大隊(duì)伍來(lái)進(jìn)行后續(xù)的研究了。
因?yàn)槲覀儸F(xiàn)在的研究還沒(méi)有達(dá)到那樣的水平,所以我們沒(méi)有能力模擬像那樣的東西。人類的大腦所擁有的一些想法、技巧和策略是我們現(xiàn)有的模型都做不到的。但實(shí)現(xiàn)人工智能這一點(diǎn)對(duì)我來(lái)說(shuō)并非遙不可及。


Q:那您覺(jué)得我們應(yīng)該如何實(shí)現(xiàn)呢?
A:我知道目的地是什么。我也知道它就在那里,但是,要到達(dá)那個(gè)目的地的話,路上迷霧重重,陰云密布。也沒(méi)有人知道該如何抵達(dá)那里。但我看著那條路說(shuō)我不知道那里有什么,但我想至少我可以抵達(dá)這個(gè)目的地——或者至少我認(rèn)為有人會(huì)。我認(rèn)為這很可能會(huì)在 21世紀(jì)30 年代發(fā)生。
我確實(shí)認(rèn)為我們總能抵達(dá)的那個(gè)終點(diǎn)的(AGI)。我一直以來(lái),我一直擅長(zhǎng)的很多事情,都會(huì)帶來(lái)最終的成果,這在歷史長(zhǎng)河中是無(wú)可避免的。就好比我之前做過(guò)的 3D 視頻游戲,總是能成的,哪怕我沒(méi)有在這幾年做成,未來(lái)也總能做成它。


*博客內(nèi)容為網(wǎng)友個(gè)人發(fā)布,僅代表博主個(gè)人觀點(diǎn),如有侵權(quán)請(qǐng)聯(lián)系工作人員刪除。



關(guān)鍵詞: AI

相關(guān)推薦

技術(shù)專區(qū)

關(guān)閉