產品分類

      當前位置: 首頁 > 工業電氣產品 > 高低壓電器 > 微型斷路器

      類型分類:
      科普知識
      數據分類:
      微型斷路器

      從存儲角度看大數據和云計算區別與聯系

      發布日期:2022-04-17 點擊率:53

        關于大數據和云計算的關系人們通常會有誤解。而且也會把它們混起來說,分別做一句話直白解釋就是:云計算就是硬件資源的虛擬化;大數據就是海量數據的高效處理。

        雖然上面的一句話解釋不是非常的貼切,但是可以幫助你簡單的理解二者的區別。另外,如果做一個更形象的解釋,云計算相當于我們的計算機和操作系統,將大量的硬件資源虛擬化之后再進行分配使用,在云計算領域目前的老大應該算是amazon,可以說為云計算提供了商業化的標準,另外值得關注的還有vmware(其實從這一點可以幫助你理解云計算和虛擬化的關系),開源的云平臺最有活力的就是openstack了;

        大數據相當于海量數據的“數據庫”,而且通觀大數據領域的發展也能看出,當前的大數據處理一直在向著近似于傳統數據庫體驗的方向發展,hadoop的產生使我們能夠用普通機器建立穩定的處理tb級數據的集群,把傳統而昂貴的并行計算等概念一下就拉到了我們的面前,但是其不適合數據分析人員使用(因為mapreduce開發復雜),所以piglatin和hive出現了(分別是yahoo!和facebook發起的項目,說到這補充一下,在大數據領域google、facebook、twitter等前沿的互聯網公司作出了很積極和強大的貢獻),為我們帶來了類sql的操作,到這里操作方式像sql了,但是處理效率很慢,絕對和傳統的數據庫的處理效率有天壤之別,所以人們又在想怎樣在大數據處理上不只是操作方式類sql,而處理速度也能“類sql”,google為我們帶來了dremel/powerdrill等技術,cloudera(hadoop商業化最強的公司,hadoop之父cutting就在這里負責技術領導)的impala也出現了。

        整體來看,未來的趨勢是,云計算作為計算資源的底層,支撐著上層的大數據處理,而大數據的發展趨勢是,實時交互式的查詢效率和分析能力,借用google一篇技術論文中的話,“動一下鼠標就可以在秒級操作pb級別的數據”難道不讓人興奮嗎?

        在談大數據的時候,首先談到的就是大數據的4v特性,即類型復雜,海量,快速和價值。ibm原來談大數據的時候談3v,沒有價值這個v。而實際我們來看4v更加恰當,價值才是大數據問題解決的最終目標,其它3v都是為價值目標服務。在有了4v的概念后,就很容易簡化的來理解大數據的核心,即大數據的總體架構包括三層,數據存儲,數據處理和數據分析。類型復雜和海量由數據存儲層解決,快速和時效性要求由數據處理層解決,價值由數據分析層解決。

        數據先要通過存儲層存儲下來,然后根據數據需求和目標來建立相應的數據模型和數據分析指標體系對數據進行分析產生價值。而中間的時效性又通過中間數據處理層提供的強大的并行計算和分布式計算能力來完成。三層相互配合,讓大數據最終產生價值。

        數據存儲層

        數據有很多分法,有結構化,半結構化,非結構化;也有元數據,主數據,業務數據;還可以分為gis,視頻,文件,語音,業務交易類各種數據。傳統的結構化數據庫已經無法滿足數據多樣性的存儲要求,因此在rdbms基礎上增加了兩種類型,一種是hdfs可以直接應用于非結構化文件存儲,一種是 nosql類數據庫,可以應用于結構化和半結構化數據存儲。

        從存儲層的搭建來說,關系型數據庫,nosql數據庫和hdfs分布式文件系統三種存儲方式都需要。業務應用根據實際的情況選擇不同的存儲模式,但是為了業務的存儲和讀取方便性,我們可以對存儲層進一步的封裝,形成一個統一的共享存儲服務層,簡化這種操作。從用戶來講并不關心底層存儲細節,只關心數據的存儲和讀取的方便性,通過共享數據存儲層可以實現在存儲上的應用和存儲基礎設置的徹底解耦。

      下一篇: PLC、DCS、FCS三大控

      上一篇: 索爾維全系列Solef?PV

      推薦產品

      更多
      主站蜘蛛池模板: 久久精品一区二区三区中文字幕 | 日本免费电影一区| 亚洲综合激情五月色一区| 视频在线一区二区| 精品无码一区二区三区爱欲 | 视频一区二区三区在线观看| AV无码精品一区二区三区宅噜噜 | 国模精品一区二区三区视频| 奇米精品一区二区三区在线观看| 美女视频黄a视频全免费网站一区| 极品人妻少妇一区二区三区| 综合久久一区二区三区| 日本一区二区三区在线网| 怡红院美国分院一区二区| 日韩精品人妻一区二区三区四区| 精品人妻中文av一区二区三区| 文中字幕一区二区三区视频播放| 中文字幕日韩欧美一区二区三区| 91精品国产一区二区三区左线| 一区二区三区视频在线观看| 亚洲国产精品一区二区久久| 精品人妻中文av一区二区三区| 国产一在线精品一区在线观看| 一区二区三区四区在线观看视频| 视频一区视频二区制服丝袜| 一区二区三区免费在线视频| 一区二区三区免费在线视频| 免费观看日本污污ww网站一区| 精品动漫一区二区无遮挡| 国内精品一区二区三区东京| 亚洲欧美日韩一区二区三区| 色综合久久一区二区三区| 视频一区二区在线观看| 国产在线精品一区二区三区直播 | 日韩一区二区在线播放| 久久精品无码一区二区WWW| 日日摸夜夜添一区| 亚洲一区二区三区久久| 亚洲Av无码国产一区二区| 日韩AV无码一区二区三区不卡| 免费国产在线精品一区|