2019年全球大數據行業市場現狀與發展趨勢 Kafka和Spark成為主流應用【組圖】

分享到:
20 李明俊 ? 2019-10-08 08:30:20  來源:前瞻產業研究院 E2300G0

大數據具有四大特性

大數據(big data),是指需要通過快速獲取、處理、分析以從中提取價值的海量、多樣化的交易數據、交互數據與傳感數據,其規模往往達到了PB(1024TB)級。不同機構對大數據也有不同的定義。

麥肯錫對大數據的定義:一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統數據庫軟件工具能力范圍的數據集合,具有海量的數據規模、快速的數據流轉、多樣的數據類型和價值密度低四大特征。

移動信息化研究中心對大數據的定義:大數據是幫助企業利用海量數據資產,實時、精確地洞察未知邏輯領域的動態變化,并快速重塑業務流程、組織和行業的新興數據管理技術。

IDC認為大數據具備海量(volume)、異構(Variety)、高速(Velocity)和價值(Value)四大特性。

圖表1:大數據四大特性

全球大數據儲量規模爆發式增長

隨著物聯網、電子商務、社會化網絡的快速發展,全球大數據儲量迅猛增長,成為大數據產業發展的基礎。根據國際數據公司(IDC)的監測數據顯示,2013年全球大數據儲量為4.3ZB(相當于47.24億個1TB容量的移動硬盤),2018年全球大數據儲量達到33.0ZB,同比增長52.8%。

從大數據儲量分布情況來看,美國大數據儲量占比為21%,EMEA(歐洲、中東、非洲)占比為30%,中國地區占比為23%。

圖表2:2013-2018年全球大數據儲量(單位:ZB,%)

圖表3:2018年全球大數據儲量區域分布(單位:%)

流式處理占主導地位,Kafka和Spark成為主流應用

根據數據處理的時效性,大數據處理系統可以分為批式(batch)大數據和流式(streaming)大數據兩類。其中,批式大數據又被稱為歷史大數據,流式大數據又被稱為實時大數據。

以Hadoop為代表的批處理大數據系統需先將數據匯聚成批,經批量預處理后加載至分析型數據倉庫中,以進行高性能實時查詢。這類系統雖然可對完整大數據集實現高效的即席查詢,但無法查詢到最新的實時數據,存在數據遲滯高等問題。

以Spark Streaming、Storm、Flink為代表的流處理大數據系統將實時數據通過流處理,逐條加載至高性能內存數據庫中進行查詢。此類系統可以對最新實時數據實現高效預設分析處理模型的查詢,數據遲滯低。

隨著互聯網、計算機行業快速發展,企業對數據的時效性越發重視,企業應用也逐漸由批處理數據平臺向實時的流數據數據平臺轉移。以流數據處理為代表的Spark、kafka大數據系統近年來大放異彩,取代了Hadoop的主導地位。

圖表4:大數據實施流式處理特點

圖表5:2018年主要大數據處理系統熱度排行

以上數據來源參考前瞻產業研究院發布的《中國大數據產業發展前景與投資戰略規劃分析報告》。

更多深度行業分析盡在【前瞻經濟學人APP】,還可以與500+經濟學家/資深行業研究員交流互動。

相關深度報告 REPORTS

2019-2024年中國大數據產業發展前景與投資戰略規劃分析報告
2019-2024年中國大數據產業發展前景與投資戰略規劃分析報告

報告主要分析了:全球大數據產業發展現狀與預測;中國大數據產業發展現狀與預測;中國企業大數據需求與應用趨勢調查;典型領域大數據應用價值與需求;大數據產業商業模式...

查看詳情

本文來源前瞻產業研究院,轉載請注明來源。本文內容僅代表作者個人觀點,本站只提供參考并不構成任何投資及應用建議。(若存在內容、版權或其它問題,請聯系:[email protected]) 品牌合作與廣告投放請聯系:0755-33015062 或 [email protected]

p7q0

分享:

前瞻經濟學人

專注于中國各行業市場分析、未來發展趨勢等。掃一掃立即關注。

前瞻產業研究院

中國產業咨詢領導者,專業提供產業規劃、產業申報、產業升級轉型、產業園區規劃、可行性報告等領域解決方案,掃一掃關注。

文章評價COMMENT

還可以輸入2000個字

暫無網友的評論
前瞻數據庫
企查貓
前瞻經濟學人App二維碼

掃一掃下載APP

與資深行業研究員/經濟學家互動交流讓您成為更懂趨勢的人

作者 李明俊
前瞻產業研究員、 分析師
340693
關注
241
文章
18

研究員周關注榜

企查貓(企業查詢寶)App
×

掃一掃
下載《前瞻經濟學人》APP提問

 
在線咨詢
×
在線咨詢

項目熱線 0755-33015070

AAPP
前瞻經濟學人APP下載二維碼

下載前瞻經濟學人APP

關注我們
前瞻產業研究院微信號

掃一掃關注我們

意見反饋

×
J
500元 倍投方案 稳赚