谷歌AI負責人Jeff Dean：一文回顧谷歌的2018技術進展

　　自然語言理解

　　2018年，Google的自然語言研究在基礎研究和以產品為中心的合作上都取得了非常棒的成果。我們在之前的機器學習模型基礎上開發(fā)了一個新的并行版本的模型 Universal Transformer，它在包括翻譯和語言推理在內的許多自然語言任務中都顯示出強大的技術能力。

　　我們還開發(fā)了BERT，這是第一個深度雙向，無監(jiān)督的自然語言處理模型，僅使用純文本語料庫進行預訓練，就能使用遷移學習對各種自然語言任務進行微調。

　　感知

　　我們的感知研究解決了允許計算機理解圖像，聲音以及為圖像獲取、壓縮、處理，創(chuàng)造性表達和增強現(xiàn)實提供更強大工具的難題。

　　Google AI使命的一個關鍵是讓其他人能夠從我們的技術中受益，今年我們在改進作為Google API一部分的功能和構建塊方面取得了很大進展。比如通過ML Kit 在Cloud ML API和面部相關設備構建塊中實現(xiàn)視覺和視頻的改進和新功能。

　　MobileNetV2是谷歌的下一代移動計算機視覺模型，我們的MobileNets廣泛應用于學術界和工業(yè)界。MorphNet提出了一種有效的方法來學習深層網(wǎng)絡的結構，從而在計算資源有限的同時，改進圖像和音頻模型上的性能。

　　計算攝影

　　手機拍照性能的提升不僅僅在于物理傳感器的改進，更大部分要歸咎于計算攝影技術的發(fā)展。

　　我們的計算攝影技術正在與Google的Android和消費者硬件團隊密切合作，將這項研究交付給最新的Pixel和Android手機及其他設備。2014年，我們推出了HDR +，可以在軟件中對齊幀，并將它們與計算軟件結合，使圖片具有比單次曝光更高的動態(tài)范圍。這是2018年我們能夠在Pixel 2中開發(fā)Motion Photos，以及Motion Stills中開發(fā)增強現(xiàn)實模式的基礎。

　　今年，我們在計算攝影研究方面的主要工作之一就是創(chuàng)造一種名為Night Sight的新功能，即便在沒有閃光燈的情況下，也能讓Pixel用戶在非?；璋档膱鼍爸信某銮逦恼掌?/p>

　　算法和理論

　　在過去的一年中，我們的研究涵蓋從理論基礎到應用算法，從圖形挖掘到隱私保護計算等廣泛領域。我們在優(yōu)化方面的工作涉及從研究機器學習的持續(xù)優(yōu)化到分布式組合優(yōu)化的領域。在前一領域，我們研究用于訓練神經(jīng)網(wǎng)絡的隨機優(yōu)化算法的收斂性(其贏得了ICLR 2018最佳論文獎)，展示了流行的基于梯度的優(yōu)化方法(例如ADAM的一些變體)的問題，為新的基于梯度的優(yōu)化方法提供了堅實的基礎。

　　軟件系統(tǒng)

　　我們對軟件系統(tǒng)的大部分研究仍然與構建機器學習模型，尤其是TensorFlow有關。我們的一些新研究引入了Mesh TensorFlow，這使得用模型并行性指定大規(guī)模分布式計算變得容易。另外，我們還使用TensorFlow發(fā)布了一個可擴展的深度神經(jīng)排序庫。

　　另一個重要的研究方向是將ML應用于軟件系統(tǒng)的堆棧層面。在安全漏洞問題方面，我們的編譯器研究團隊將他們用于測量機器指令延遲和端口壓力的工具集成到LLVM中，從而可以做出更好的編譯決策。