關(guān)于大數(shù)據(jù)和云計(jì)算的關(guān)系人們通常會(huì)有誤解。而且也會(huì)把它們混起來(lái)說(shuō)，分別做一句話直白解釋就是：云計(jì)算就是硬件資源的虛擬化;大數(shù)據(jù)就是海量數(shù)據(jù)的高效處理。

　　雖然上面的一句話解釋不是非常的貼切，但是可以幫助你簡(jiǎn)單的理解二者的區(qū)別。另外，如果做一個(gè)更形象的解釋，云計(jì)算相當(dāng)于我們的計(jì)算機(jī)和操作系統(tǒng)，將大量的硬件資源虛擬化之后再進(jìn)行分配使用，在云計(jì)算領(lǐng)域目前的老大應(yīng)該算是amazon，可以說(shuō)為云計(jì)算提供了商業(yè)化的標(biāo)準(zhǔn)，另外值得關(guān)注的還有vmware(其實(shí)從這一點(diǎn)可以幫助你理解云計(jì)算和虛擬化的關(guān)系)，開(kāi)源的云平臺(tái)最有活力的就是openstack了;

　　大數(shù)據(jù)相當(dāng)于海量數(shù)據(jù)的“數(shù)據(jù)庫(kù)”，而且通觀大數(shù)據(jù)領(lǐng)域的發(fā)展也能看出，當(dāng)前的大數(shù)據(jù)處理一直在向著近似于傳統(tǒng)數(shù)據(jù)庫(kù)體驗(yàn)的方向發(fā)展，hadoop的產(chǎn)生使我們能夠用普通機(jī)器建立穩(wěn)定的處理tb級(jí)數(shù)據(jù)的集群，把傳統(tǒng)而昂貴的并行計(jì)算等概念一下就拉到了我們的面前，但是其不適合數(shù)據(jù)分析人員使用(因?yàn)閙apreduce開(kāi)發(fā)復(fù)雜)，所以piglatin和hive出現(xiàn)了(分別是yahoo!和facebook發(fā)起的項(xiàng)目，說(shuō)到這補(bǔ)充一下，在大數(shù)據(jù)領(lǐng)域google、facebook、twitter等前沿的互聯(lián)網(wǎng)公司作出了很積極和強(qiáng)大的貢獻(xiàn))，為我們帶來(lái)了類sql的操作，到這里操作方式像sql了，但是處理效率很慢，絕對(duì)和傳統(tǒng)的數(shù)據(jù)庫(kù)的處理效率有天壤之別，所以人們又在想怎樣在大數(shù)據(jù)處理上不只是操作方式類sql，而處理速度也能“類sql”，google為我們帶來(lái)了dremel/powerdrill等技術(shù)，cloudera(hadoop商業(yè)化最強(qiáng)的公司，hadoop之父cutting就在這里負(fù)責(zé)技術(shù)領(lǐng)導(dǎo))的impala也出現(xiàn)了。

　　整體來(lái)看，未來(lái)的趨勢(shì)是，云計(jì)算作為計(jì)算資源的底層，支撐著上層的大數(shù)據(jù)處理，而大數(shù)據(jù)的發(fā)展趨勢(shì)是，實(shí)時(shí)交互式的查詢效率和分析能力，借用google一篇技術(shù)論文中的話，“動(dòng)一下鼠標(biāo)就可以在秒級(jí)操作pb級(jí)別的數(shù)據(jù)”難道不讓人興奮嗎?

　　在談大數(shù)據(jù)的時(shí)候，首先談到的就是大數(shù)據(jù)的4v特性，即類型復(fù)雜，海量，快速和價(jià)值。ibm原來(lái)談大數(shù)據(jù)的時(shí)候談3v，沒(méi)有價(jià)值這個(gè)v。而實(shí)際我們來(lái)看4v更加恰當(dāng)，價(jià)值才是大數(shù)據(jù)問(wèn)題解決的最終目標(biāo)，其它3v都是為價(jià)值目標(biāo)服務(wù)。在有了4v的概念后，就很容易簡(jiǎn)化的來(lái)理解大數(shù)據(jù)的核心，即大數(shù)據(jù)的總體架構(gòu)包括三層，數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)處理和數(shù)據(jù)分析。類型復(fù)雜和海量由數(shù)據(jù)存儲(chǔ)層解決，快速和時(shí)效性要求由數(shù)據(jù)處理層解決，價(jià)值由數(shù)據(jù)分析層解決。

　　數(shù)據(jù)先要通過(guò)存儲(chǔ)層存儲(chǔ)下來(lái)，然后根據(jù)數(shù)據(jù)需求和目標(biāo)來(lái)建立相應(yīng)的數(shù)據(jù)模型和數(shù)據(jù)分析指標(biāo)體系對(duì)數(shù)據(jù)進(jìn)行分析產(chǎn)生價(jià)值。而中間的時(shí)效性又通過(guò)中間數(shù)據(jù)處理層提供的強(qiáng)大的并行計(jì)算和分布式計(jì)算能力來(lái)完成。三層相互配合，讓大數(shù)據(jù)最終產(chǎn)生價(jià)值。

　　數(shù)據(jù)存儲(chǔ)層

　　數(shù)據(jù)有很多分法，有結(jié)構(gòu)化，半結(jié)構(gòu)化，非結(jié)構(gòu)化;也有元數(shù)據(jù)，主數(shù)據(jù)，業(yè)務(wù)數(shù)據(jù);還可以分為gis，視頻，文件，語(yǔ)音，業(yè)務(wù)交易類各種數(shù)據(jù)。傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)庫(kù)已經(jīng)無(wú)法滿足數(shù)據(jù)多樣性的存儲(chǔ)要求，因此在rdbms基礎(chǔ)上增加了兩種類型，一種是hdfs可以直接應(yīng)用于非結(jié)構(gòu)化文件存儲(chǔ)，一種是 nosql類數(shù)據(jù)庫(kù)，可以應(yīng)用于結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)。

　　從存儲(chǔ)層的搭建來(lái)說(shuō)，關(guān)系型數(shù)據(jù)庫(kù)，nosql數(shù)據(jù)庫(kù)和hdfs分布式文件系統(tǒng)三種存儲(chǔ)方式都需要。業(yè)務(wù)應(yīng)用根據(jù)實(shí)際的情況選擇不同的存儲(chǔ)模式，但是為了業(yè)務(wù)的存儲(chǔ)和讀取方便性，我們可以對(duì)存儲(chǔ)層進(jìn)一步的封裝，形成一個(gè)統(tǒng)一的共享存儲(chǔ)服務(wù)層，簡(jiǎn)化這種操作。從用戶來(lái)講并不關(guān)心底層存儲(chǔ)細(xì)節(jié)，只關(guān)心數(shù)據(jù)的存儲(chǔ)和讀取的方便性，通過(guò)共享數(shù)據(jù)存儲(chǔ)層可以實(shí)現(xiàn)在存儲(chǔ)上的應(yīng)用和存儲(chǔ)基礎(chǔ)設(shè)置的徹底解耦。