英特爾人工智能——專為實際應用打造的工具

　　如今人工智能 (AI) 的發(fā)展迎來了令人振奮的時刻。曾經只有具備深厚專業(yè)知識積累的公司才有可能使用人工智能，但短短幾年后，隨著軟件工具、生態(tài)系統(tǒng)和硬件開發(fā)的日趨成熟，越來越多的公司開始應用人工智能，英特爾的眾多客戶通過人工智能技術在各種行業(yè)案例中取得了變革性的成功。同時我們也發(fā)現(xiàn)，并不存在某個單一的“最佳”硬件能夠運行各種各樣的人工智能應用。因為人工智能的形式是多種多樣的，不同的應用也決定了從數(shù)據(jù)中心到邊緣再到設備所需的硬件能力都會有所差別，因此我們需要更加多樣化的硬件產品組合來滿足不同的需求。英特爾人工智能產品能夠滿足多種多樣的人工智能應用需求，在各種應用場景中都將為英特爾客戶帶來最高的回報。

　　從擅長對大量非結構化語音和文本數(shù)據(jù)進行訓練和推理的英特爾?至強?可擴展處理器，到為實時推理提供出色吞吐量和低延遲的英特爾? FPGA，再到為攝像頭提供超低功耗推理的英特爾? Movidius?視覺處理單元 (VPU)，以及即將推出的英特爾? Nervana?神經網絡處理器(英特爾? Nervana? NNP)，無論數(shù)據(jù)是存在于設備還是邊緣，是數(shù)據(jù)中心還是在云上，英特爾提供了一個深度硅芯片基礎，來實現(xiàn)數(shù)據(jù)中心的創(chuàng)新。除了硬件平臺，英特爾在軟件上也在進行大量投資，讓不同的產品組合之間可以轉換功能，從而不受限制地將人工智能帶到各種應用程序中去。例如nGraph?這樣的開源項目，降低了在不同硬件平臺對不同深度學習框架(TensorFlow*、MXNet*、PyTorch*等)進行優(yōu)化的難度，使得開發(fā)人員可以向其客戶提供最佳的體驗。

　　采用英特爾?至強?可擴展處理器進行高級深度學習訓練

　　挑戰(zhàn)：通過自動分析顯微鏡圖像中數(shù)千個不同的個體特性發(fā)現(xiàn)新的治療方法，這些圖像尺寸遠大于傳統(tǒng)深度學習數(shù)據(jù)集中的圖像尺寸

　　解決方案：利用基于英特爾至強可擴展處理器平臺的大內存容量和高性能計算能力

　　高內涵篩選是藥物研發(fā)的重要工具，這是一項極具挑戰(zhàn)且極耗時的工作，需要從圖像中提取數(shù)千個預定義特性。在英特爾以數(shù)據(jù)為中心創(chuàng)新峰會上，我們談到了諾華正在與英特爾合作，利用深度學習技術來加快細胞培養(yǎng)顯微鏡圖像的分析，以研究各種治療方法的效果。由于使用了完整的顯微鏡圖像，本評估中的圖像尺寸比普通深度學習基準中使用的圖像尺寸大得多，是ImageNet* 數(shù)據(jù)集中圖像尺寸的26倍以上。

　　由于訓練模型中的參數(shù)數(shù)量多，所用圖像的尺寸大、數(shù)量多，便對計算和內存能力提出了更高的要求。研究團隊使用了英特爾至強可擴展處理器、英特爾? Omni-Path架構和TensorFlow v1.7.0搭建的系統(tǒng)進行訓練，把訓練時間節(jié)省了20倍。英特爾?硬件可支持卓越的內存容量，支持每秒處理120多張3.9兆像素的圖像。

　　正如案例所示，CPU架構更能滿足很多現(xiàn)實情況中的深度學習應用需求，基于英特爾至強可擴展處理器的平臺性能通過持續(xù)地投資也在不斷增強。自平臺推出以來，其針對流行框架的訓練速度提升了1.4倍以上，而INT8推理速度則提升了近5.4倍。隨著新一代英特爾至強可擴展處理器的推出，推理速度更有望提升至11倍。未來對英特爾?傲騰? 數(shù)據(jù)中心持久內存的平臺支持，還將擴展CPU附近的內存容量，以支持對更大數(shù)據(jù)集的訓練。在創(chuàng)新峰會上，我們還宣布推出英特爾?DL Boost，這是一套旨在加快人工智能深度學習速度的處理器技術。Cascade Lake還將采用矢量神經網絡指令集(VNNI)，以前需要采用三條指令，而現(xiàn)在只需要一條指令即可實現(xiàn)。Cooper Lake是繼Cascade Lake之后的又一款英特爾至強可擴展處理器，將整合英特爾?DL Boost功能(Bfloat16)以提升人工智能/深度學習訓練性能。

　　正如英特爾? 精選解決方案，我們致力于簡化客戶對英特爾至強處理器的全棧部署。Apache Spark*上針對BigDL的全新英特爾? 精選解決方案配置是我們與阿里巴巴、亞馬遜、中國電信、微軟和Telefonica等行業(yè)領先企業(yè)合作的成果，這也是我們從數(shù)百次部署B(yǎng)igDL中獲得的重要經驗，旨在提供配置讓客戶能夠在現(xiàn)有數(shù)據(jù)湖快速部署人工智能功能。該解決方案涵蓋硬件和軟件組件，是我們第一個面向人工智能的英特爾? 精選解決方案。

　　采用英特爾? FPGA進行實時深度學習推理

　　挑戰(zhàn)：開發(fā)可靈活擴展的實時深度學習平臺，可跨多個微軟用例

　　解決方案：利用英特爾? Arria? FPGA的微軟Project Brainwave*硬件架構

　　微軟Project Brainwave是一個深度學習加速平臺，它是基于自適應、節(jié)能、高通量的英特爾FPGA構建的。由于其經濟性和極低延遲等特點，Project Brainwave能夠實現(xiàn)實時推理。在不斷發(fā)展的人工智能環(huán)境中，F(xiàn)PGA能夠重新編程以獲得最高性能，是搜索、語音識別、視頻分析等很多深度學習應用中的重要工具。

　　微軟最近推出由Project Brainwave提供支持的Azure機器學習加速硬件。這項服務讓開發(fā)人員和數(shù)據(jù)科學家能夠在Azure和邊緣計算中運行實時模型，應用領域涵蓋制造業(yè)、零售業(yè)和醫(yī)療保健等。

　　微軟還將Project Brainwave應用于新的必應*搜索功能，以縮短搜索時間并讓搜索結果更加智能化。必應通過機器學習和閱讀理解能快速提供智能化答案，幫助用戶更快地找到想要的答案，而不是提供鏈接列表讓用戶去手動檢查答案。英特爾FPGA能讓必應將模型的延遲縮短到10倍以上，同時將模型尺寸增加10 倍。

　　采用英特爾? Movidius? Myriad? 視覺處理單元，在邊緣端實現(xiàn)視覺智能

　　挑戰(zhàn)：自動捕捉和管理家人、朋友和寵物的動態(tài)照片，在邊緣設備完成視覺處理

　　解決方案：搭載英特爾? Movidius? Myriad? 2視覺處理單元 (VPU)的Google Clips*無線智能相機

　　借助英特爾Movidius低功耗、高性能的VPU，谷歌實現(xiàn)了對Google Clips相機的構想。使用英特爾Movidius Myriad 2 VPU，可以直接在相機上實時運行高級機器學習算法，這可以幫助谷歌完善相機功能，降低功耗，并支持離線使用。

　　英特爾Movidius VPU的目標應用包括嵌入式深度神經網絡、姿態(tài)估計、3D深度感測和手勢/眼睛跟蹤等。隨著“相機互聯(lián)網”的爆炸式增長，英特爾Movidius VPU為創(chuàng)新應用帶來了多種功能。此外在設備上直接進行人工智能處理也更符合隱私和安全保護的規(guī)范。上述設備以及未來的英特爾Movidius VPU將繼續(xù)為視頻分析、機器人和增強現(xiàn)實等應用領域帶來價值。

　　采用英特爾? Nervana? 神經網絡處理器進行新一代訓練和推理

　　挑戰(zhàn)：利用全新構建的架構打破當前的系統(tǒng)瓶頸，支持新一代突破性深度學習解決方案

　　解決方案：即將上市的英特爾Nervana神經網絡處理器

　　隨著人工智能的發(fā)展，模型的復雜度不斷增加，對內存的需求也越來越大。深度學習的進一步發(fā)展需要解決內存限制的問題，而當前的解決方案無法利用所有可用的計算，數(shù)據(jù)科學家和研究人員逐漸意識到我們需要專用的芯片來支持深度學習訓練和推理。英特爾Nervana神經網絡處理器提供了一種全新的解決方案，它專門為支持深度學習設計和構建，目的是為了解決內存的問題。

　　英特爾Nervana NNP首先考慮內存，它采用了大量高帶寬內存和SRAM，更靠近實際進行計算的位置，也就是說芯片上能夠存儲更多的模型參數(shù)，可以有效節(jié)省功耗并提升性能。英特爾Nervana NNP支持大多數(shù)深度學習基元，同時讓核心硬件組件盡可能高效的工作，確保其他應用(例如圖形)不會從深度學習應用中占用內存。此外，英特爾 Nervana NNP的高速片內和片外互連支持大規(guī)模雙向數(shù)據(jù)傳輸，能夠在多個機箱之間連接多個處理器，可以作為一個更大的高效芯片來容納更大的模型，從而獲得更加深入的洞察。

　　英特爾與Lake Crest軟件開發(fā)工具(SDV)方面的主要客戶合作進行NNP 開發(fā)、測試和反饋。在推出第一款商用Nervana NNP時，以上功能都能夠實現(xiàn)。隨著人工智能領域的進一步發(fā)展，我迫不及待地想從這些突破性芯片中看到英特爾客戶的創(chuàng)新和更多見解。

　　簡化異構部署和加速人工智能創(chuàng)新的軟件

　　框架和庫對于推動人工智能的發(fā)展至關重要，硬件需要同軟件結合來發(fā)揮最大的效用。英特爾致力于通過普遍適用的多架構解決方案，將所有人工智能都集成到一個軟件集合下。比如開源nGraph編譯器等項目是非常重要的，因為我們無需把時間浪費在重新發(fā)明工具上。

　　我們認為，英特爾有責任優(yōu)化軟件，提供工具，讓硬件發(fā)揮最佳性能，并簡化模型開發(fā)和現(xiàn)實部署之間的流程。利用英特爾開源性能庫，可以從深度學習的直接優(yōu)化中獲得更多洞察;深度學習編譯器nGraph已經開源，能夠跨多個框架和架構運行訓練和推理;使用OpenVINO?可以快速優(yōu)化預訓練模型，并將視頻神經網絡部署到各種硬件上;BigDL 是運行在Apache Spark和Hadoop*集群上的分布式深度學習庫，通過BigDL 可以處理大量數(shù)據(jù)。

　　針對數(shù)據(jù)時代提供優(yōu)化的客戶解決方案

　　英特爾正在幫助客戶更好地處理每天生成的大量數(shù)據(jù)并從中獲得價值。我們致力于提供全面的硬件和工具組合，實現(xiàn)人工智能愿景。在實際應用中，人工智能的復雜性要求我們將正確的硬件和軟件結合起來從而實現(xiàn)成功部署。英特爾擁有業(yè)內熟知的全棧實力技術生態(tài)系統(tǒng)，提供不同功能工具，推動人工智能的發(fā)展。