每個人都應(yīng)該知道的25個大數(shù)據(jù)術(shù)語

如果你初來乍到，大數(shù)據(jù)看起來很嚇人!根據(jù)你掌握的基本理論，讓我們專注于一些關(guān)鍵術(shù)語以此給你的約會對象、老板、家人或者任何一個人帶來深刻的印象。

讓我們開始吧：

1.算法。“算法”如何與大數(shù)據(jù)相關(guān)?即使算法是一個通用術(shù)語，但大數(shù)據(jù)分析使其在當(dāng)代更受青睞和流行。

2.分析。年末你可能會收到一份來自信用卡公司寄來的包含了全年所有交易記錄的年終報表。如果你有興趣進(jìn)一步分析自己在食物、衣服、娛樂等方面具體花費(fèi)占比呢?那你便是在做“分析”了。你正從一堆原始數(shù)據(jù)中來吸取經(jīng)驗(yàn)，以幫助自己為來年的消費(fèi)做出決策。如果你正在針對整個城市人群對Twitter或Facebook的帖子做同樣的練習(xí)呢?那我們便是在討論大數(shù)據(jù)分析了。大數(shù)據(jù)分析的實(shí)質(zhì)是利用大量數(shù)據(jù)來進(jìn)行推斷和講故事。大數(shù)據(jù)分析有3種不同到的類型，接下來便繼續(xù)本話題進(jìn)行依次討論。

3.描述性分析。剛剛?cè)绻愀嬖V我，去年你的信用卡消費(fèi)在食物上花費(fèi)了25%、在服裝上花費(fèi)了35%、娛樂活動上花費(fèi)了20%、剩下的就是雜七雜八的事項，這種便是描述性分析。當(dāng)然你還可以參考更多的細(xì)節(jié)。

4.預(yù)測分析。如果你根據(jù)過去5年的信用卡歷史記錄來進(jìn)行分析，并且劃分具有一定的連續(xù)性，則你可以高概率預(yù)測明年將與過去幾年相差無幾。此處需要注意的細(xì)節(jié)是，這并不是“預(yù)測未來”，而是未來可能會發(fā)生的“概率”。在大數(shù)據(jù)預(yù)測分析中，數(shù)據(jù)科學(xué)家可能會使用類似機(jī)器學(xué)習(xí)、高級的統(tǒng)計過程(后文將對這些術(shù)語進(jìn)行介紹)等先進(jìn)的技術(shù)去預(yù)測天氣、經(jīng)濟(jì)變化等。

5.規(guī)范分析。沿用信用卡交易的案例，你可能想要找出哪方面的支出(級食品、服裝、娛樂等)對自己的整體支出產(chǎn)生巨大的影響。規(guī)范分析建立在預(yù)測分析的基礎(chǔ)之上，包含了“行動”記錄(例如減少食品、服裝、娛樂支出)，并分析所得結(jié)果來“規(guī)定”最佳類別以減少總體支出。你可以嘗試將其發(fā)散到大數(shù)據(jù)，并設(shè)想高管們?nèi)绾瓮ㄟ^查看各種行動的影響來做出數(shù)據(jù)驅(qū)動的決策。

6.批處理。雖然批量數(shù)據(jù)處理在大型機(jī)時代就早已出現(xiàn)，但大數(shù)據(jù)交給它更多大數(shù)據(jù)集處理，因此賦予了批處理更多的意義。對于一段時間內(nèi)收集到的一組事務(wù)，批量數(shù)據(jù)處理為處理大量數(shù)據(jù)提供了一種有效的方法。后文將介紹的Hadoop便是專注于批量數(shù)據(jù)處理。超越批處理的世界：流計算 使用Spark SQL構(gòu)建批處理程序。

7. Cassandra是由Apache Software Foundation管理的一款流行的開源數(shù)據(jù)庫管理系統(tǒng)。很多大數(shù)據(jù)技術(shù)都?xì)w功于Apache，其中Cassandra的設(shè)計初衷便是處理跨分布式服務(wù)器的大量數(shù)據(jù)。

8. 云計算。顯而易見云計算已經(jīng)變得無所不在，所以本文可能無須贅述，但為了文章的完整性還是佐以介紹。云計算的本質(zhì)是在遠(yuǎn)程服務(wù)器上運(yùn)行的軟件和(/或)數(shù)據(jù)托管，并允許從互聯(lián)網(wǎng)上的任何地方進(jìn)行訪問。

9. 集群計算。它是一種利用多臺服務(wù)器的匯集資源的“集群”來進(jìn)行計算的奇特方式。在了解了更多技術(shù)之后，我們可能還會討論節(jié)點(diǎn)、集群管理層、負(fù)載平衡和并行處理等。

10. 黑暗數(shù)據(jù)。依我看來，這個詞適用于那些嚇得六神無主的高級管理層們。從根本上來說，黑暗數(shù)據(jù)是指那些被企業(yè)收集和處理但又不用于任何有意義用途的數(shù)據(jù)，因此描述它是“黑暗的”，它們可能永遠(yuǎn)被埋沒。它們可能是社交網(wǎng)絡(luò)信息流、呼叫中心日志、會議筆記，諸如此類。人們做出了諸多估計，在60-90%的所有企業(yè)數(shù)據(jù)都可能是“黑暗數(shù)據(jù)”，但無人真正知曉。

11. 數(shù)據(jù)湖。當(dāng)我第一次聽到這個詞的時候，我真的以為有人在開愚人節(jié)的玩笑。但它真的是個術(shù)語!數(shù)據(jù)湖是一個原始格式的企業(yè)級數(shù)據(jù)的大型存儲庫。雖然此處討論的是數(shù)據(jù)湖，但有必要再一起討論下數(shù)據(jù)倉庫，因?yàn)閿?shù)據(jù)湖和數(shù)據(jù)倉庫在概念上是極其相似的，都是企業(yè)級數(shù)據(jù)的存儲庫，但在清理和與其他數(shù)據(jù)源集成之后的結(jié)構(gòu)化格式上有所區(qū)別。數(shù)據(jù)倉庫常用于常規(guī)數(shù)據(jù)(但不完全)。據(jù)說數(shù)據(jù)湖能夠讓用戶輕松訪問企業(yè)級數(shù)據(jù)，用戶真正按需知道自己正在尋找的是什么、如何處理并讓其智能化使用。擁抱開源技術(shù)的前提——認(rèn)識數(shù)據(jù)湖 你知道數(shù)據(jù)湖泊(DATA LAKE)嗎?

12. 數(shù)據(jù)挖掘。數(shù)據(jù)挖掘是指利用復(fù)雜的模式識別技術(shù)從大量數(shù)據(jù)中找到有意義的模式、提取見解。這與我們前文討論的使用個人數(shù)據(jù)做分析的術(shù)語“分析”密切相關(guān)。為了提取出有意義的模式，數(shù)據(jù)挖掘者使用統(tǒng)計學(xué)(是呀，好老的數(shù)學(xué))、機(jī)器學(xué)習(xí)算法和人工智能。

13.數(shù)據(jù)科學(xué)家。我們談?wù)摰氖且粋€如此熱門的職業(yè)!數(shù)據(jù)科學(xué)家們可以通過提取原始數(shù)據(jù)(難道是從前文所說的數(shù)據(jù)湖中提取的?)，處理數(shù)據(jù)，然后提出新見解。數(shù)據(jù)科學(xué)家所需具備的一些技能與超人無異：分析、統(tǒng)計、計算機(jī)科學(xué)、創(chuàng)造力、故事講述和理解業(yè)務(wù)環(huán)境。難怪他們能獲得如此高的薪水報酬。

14.分布式文件系統(tǒng)。由于大數(shù)據(jù)太大而無法在單個系統(tǒng)上進(jìn)行存儲，分布式文件系統(tǒng)提供一種數(shù)據(jù)存儲系統(tǒng)，方便跨多個存儲設(shè)備進(jìn)行大量數(shù)據(jù)的存放，并有助于降低大量數(shù)據(jù)存儲的成本和復(fù)雜度。

15. ETL。ETL分別是extract，transform，load的首字母縮寫，代表提取、轉(zhuǎn)化和加載的過程。 它具體是指“提取”原始數(shù)據(jù)，通過數(shù)據(jù)清洗/修飾的方式進(jìn)行“轉(zhuǎn)化”以獲得 “適合使用”的數(shù)據(jù)，進(jìn)而“加載”到合適的存儲庫中供系統(tǒng)使用的整個過程。盡管ETL這一概念源于數(shù)據(jù)倉庫，但現(xiàn)在也適用于其它情景下的過程，例如在大數(shù)據(jù)系統(tǒng)中從外部數(shù)據(jù)源獲取/吸收數(shù)據(jù)。我們需要什么樣的ETL?

工程師要不要寫ETL?——教你構(gòu)建高效的算法/數(shù)據(jù)科學(xué)部門 ETL的經(jīng)驗(yàn)總結(jié)

16. Hadoop。人們一想起大數(shù)據(jù)就能立即想到Hadoop。 Hadoop(擁有可愛的大象LOGO)是一個開源軟件框架，主要組成部分是Hadoop分布式文件系統(tǒng)(HDFS)，Hadoop部署了分布式硬件以支持大型數(shù)據(jù)集的存儲、檢索和分析。如果你真的想給別人留下深刻的印象，還可以談?wù)刌ARN(Yet Another Resource Schedule，另一個資源調(diào)度器)，正如其名，它也是一個資源調(diào)度器。我由衷佩服這些為程序命名的人。為Hadoop命名的Apache基金會還想出了Pig，Hive和Spark(沒錯，它們都是各種軟件的名稱)。這些名字難道不讓你感到印象深刻嗎?

17. 內(nèi)存計算。一般來說，任何可以在不訪問I / O的情況下進(jìn)行的計算預(yù)計會比需要訪問I/O的速度更快。內(nèi)存內(nèi)計算是一種能夠?qū)⒐ぷ鲾?shù)據(jù)集完全轉(zhuǎn)移到集群的集體內(nèi)存中、并避免了將中間計算寫入磁盤的技術(shù)。Apache Spark便是一種內(nèi)存內(nèi)計算系統(tǒng)，它與I / O相比，在像Hadoop MapReduce這樣的系統(tǒng)上綁定具有巨大的優(yōu)勢。

18. IOT。最新的流行語是物聯(lián)網(wǎng)(Internet of things，簡稱IOT)。IOT是通過互聯(lián)網(wǎng)將嵌入式對象(傳感器、可穿戴設(shè)備、汽車、冰箱等)中的計算設(shè)備互連在一起，并且能夠發(fā)送/接收數(shù)據(jù)。IOT產(chǎn)生了大量的數(shù)據(jù)，這為呈現(xiàn)大數(shù)據(jù)分析提供了更多的機(jī)會。

19.機(jī)器學(xué)習(xí)。機(jī)器學(xué)習(xí)是為了設(shè)計一種基于提供的數(shù)據(jù)能夠進(jìn)行不斷學(xué)習(xí)、調(diào)整、改進(jìn)的系統(tǒng)的設(shè)計方法。機(jī)器使用預(yù)測和統(tǒng)計的算法進(jìn)行學(xué)習(xí)并專注于實(shí)現(xiàn)“正確的”行為模式和簡見解，隨著越來越多的數(shù)據(jù)注入系統(tǒng)它還在不斷進(jìn)行優(yōu)化改進(jìn)。典型的應(yīng)用有欺詐檢測、在線個性化推薦等。

20.MapReduce。MapReduce的概念可能會有點(diǎn)混亂，但讓我試一試。MapReduce是一個編程模型，最好的理解方法是將Map和Reduce是看作兩個獨(dú)立的單元。在這種情況下，編程模型首先將大數(shù)據(jù)的數(shù)據(jù)集分成幾個部分(技術(shù)術(shù)語上是稱作“元組”，但本文并不想太過技術(shù)性)，因此可以部署到不同位置的不同計算機(jī)上(即前文所述的集群計算)，這些本質(zhì)上是Map的組成部分。接下來該模型收集到所有結(jié)果并將“減少”到同一份報告中。 MapReduce的數(shù)據(jù)處理模型與hadoop的分布式文件系統(tǒng)相輔相成。

21.NoSQL。乍一聽這像是針對傳統(tǒng)關(guān)系型數(shù)據(jù)庫管理系統(tǒng)(RDBMS)的面向?qū)ο蟮腟QL(Structured Query Language， 結(jié)構(gòu)化查詢語言)的抗議，其實(shí)NoSQL代表的是NOT ONLY SQL，意即“不僅僅是SQL”。 NoSQL實(shí)際上是指被用來處理大量非結(jié)構(gòu)化、或技術(shù)上被稱作“圖表”(例如關(guān)系型數(shù)據(jù)庫的表)等數(shù)據(jù)的數(shù)據(jù)庫管理系統(tǒng)。NoSQL數(shù)據(jù)庫一般非常適用于大型數(shù)據(jù)系統(tǒng)，這得益于它們的靈活性以及大型非結(jié)構(gòu)化數(shù)據(jù)庫所必備的分布式結(jié)構(gòu)。

22.R語言。有人能想到比這個編程語言更糟糕的名字嗎?是的，’R’是一門在統(tǒng)計計算中表現(xiàn)非常優(yōu)異的編程語言。如果你連’R’都不知道，那你就不是數(shù)據(jù)科學(xué)家。(如果你不知道’R’，就請不要把那些糟糕的代碼發(fā)給我了)。這就是在數(shù)據(jù)科學(xué)中最受歡迎的語言之一的R語言。

23. Spark(Apache Spark)。Apache Spark是一種快速的內(nèi)存內(nèi)數(shù)據(jù)處理引擎，它可以高效執(zhí)行需要快速迭代訪問數(shù)據(jù)集的流、機(jī)器學(xué)習(xí)或SQL工作負(fù)載。Spark通常比我們前文討論的MapReduce快很多。

24.流處理。流處理旨在通過“連續(xù)”查詢對實(shí)時和流數(shù)據(jù)進(jìn)行操作。結(jié)合流分析(即在流內(nèi)同時進(jìn)行連續(xù)計算數(shù)學(xué)或統(tǒng)計分析的能力)，流處理解決方案可以被用來實(shí)時處理非常大的數(shù)據(jù)。

25. 結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。這是大數(shù)據(jù)5V中的“Variety”多樣性。結(jié)構(gòu)化數(shù)據(jù)是能夠放入關(guān)系型數(shù)據(jù)庫的最基本的數(shù)據(jù)類型，通過表的組織方式可以聯(lián)系到任何其他數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)則是所有不能直接存入關(guān)系數(shù)據(jù)庫中的數(shù)據(jù)，例如電子郵件、社交媒體上的帖子、人類錄音等。