Facebook透露如何為AI和VR打造硬件
存儲:Just a buch of Flash
本文引用地址:http://2s4d.com/article/201604/289129.htm多年來,Facebook已經在用閃存來加速服務器引導驅動,提升緩存效率。隨著公司基礎設備進一步擴大規(guī)模,Facebook創(chuàng)造了一種新型「模塊」,在服務器運算中整合更多的閃存。Facebook已經改進了初代開放計算機——即Knox——的存儲驅動器,使用固態(tài)硬盤(SSDs)取代存儲硬盤存儲(HDDs),存儲單元從磁盤簇(JBOD)轉到了閃存簇(JBOF)。
Facebook和英特爾合作開發(fā)這種新型的閃存簇單元,稱之為Lighting,反應了使用NVMe帶來了速度提升,NVMe是為SSDs優(yōu)化的高速PCI總線接口。下面我們通過Parikh 在開放計算峰會上展示的幻燈片來看看具體的參數。
作為一個分散式(disaggregated)存儲設備,Lightning 支持各種不同的應用?!高@為我們正在開發(fā)的應用帶來了一個高性能存儲式的新型建造模塊?!筆arikh說。Parikh表示將來會有更多存儲方面的創(chuàng)新,尤其是創(chuàng)新地使用非易失性存儲器(NVM)。
「在存儲行業(yè),磁盤驅動器還在持續(xù)擴大,但是可靠性和反應時間并未變得更好,IOPS (每秒讀寫次數)也沒有提升。」Parikh 表示,「閃存小有進步,但是耐久性也沒有極大地提升。我們陷入這樣一個模式:規(guī)模在不斷擴大,但是從性能的角度看,我們并未獲得真正需要的。」
Facebook在新型的NVM應用方面,尤其是英特爾和鎂光共同開發(fā)的3D XPoint技術,看到了潛在答案。Parikh 呼吁開放計算社區(qū)將重點放在該技術上,或能解決存儲行業(yè)面臨的挑戰(zhàn)。
Parikh說,我們可以(基于這些選擇,指NVM,Flash等不同技術)開始思考我們的存儲問題,把存儲需求進行分級(按照性能,容量)布局,帶給我們更多的價格和性能杠桿,實現性能或者儲能的拓展,或者對成本進行優(yōu)化。他表示NVM 是介于DRAM 和NAND 之間一個值得關注的。
Facebook 正在MyRocks開源項目測試NVM 配置,該項目是基于MYSQL和RocksDB 數據庫技術之上。
前路漫漫:為到來的數據洪流進行擴展
Facebook不遺余力地推動更快、性能更強的基礎設施建設的原因在于用戶增長,目前,Facebook用戶數達到10.6億、WhatsApp 10億、Facebook Messenger 8億、Instagram 4億。扎克伯格在虛擬現實領域的野心也是推動因素之一,Facebook 20億美元收購虛擬現實先驅Oculus就是明證。
虛擬現實可提供沉浸式3D體驗,很多分析人士認為,虛擬現實技術的黃金期即將到來。扎克伯格相信Facebook可賦予其社交網絡虛擬現實體驗。
「很快,我們將生活在一個人人都可以身臨其境般分享和體驗全部場景的世界,」扎克伯格在近期的世界移動通信大會(MWC)上說?!赶胂笠幌?,你可以在任何時候你都可以坐在篝火前,與朋友待在一起;或者在任何時間都可以與朋友們在私人電影院看電影。想象下在全球任意一個角落開會或舉辦大會。所有這些都將成為現實,這也是為什么Facebook這么早在大力投資虛擬現實,我們真的很希望提供這些社交體驗?!?/p>
這對基礎設施建設提出了極高的要求,完整的虛擬現實視頻容量大小是現在的高清視頻的20倍之多。
「超大的文件或成為高質量、大規(guī)模地推廣360視頻或虛擬現實的障礙,」Facebook的Evgeny Kuzakov and David Pio 寫道,他們近期概述了虛擬現實文件的解碼和壓縮技術的進展。Facebook 在360視頻上正從等距柱狀投影布局(equirectangular layouts)遷入使用立方體版式(cube format ),文件大小減少了25%。
但是,Facebook意識到虛擬現實視頻實時推送需要更快的網絡,Facebook無法獨立實現。所以Facebook仿照開放計算的模式,提出了Telecom Infra Project 項目,與Equinix、英特爾、諾基亞、SK電訊、T-Mobile和德國電信共同開發(fā)5G網絡,加速全球網絡發(fā)展。
「為了迎接全球(視頻和虛擬現實)的數據挑戰(zhàn),傳統電信基礎設施的升級不及人們所需,」Parikh 表示,「對迎接這些新的技術挑戰(zhàn)、發(fā)現新的機遇來說,加快電信基礎設施的創(chuàng)新步伐,很有必要?!?/p>
評論