中商情報網訊：海量數據從生產到發(fā)揮價值，需要經過采集、處理、分析等環(huán)節(jié)，其中大數據采集與預處理作為大數據生命周期的第一環(huán)節(jié)，是釋放數字價值的前提。

市場規(guī)模分析

在政策和技術的雙重驅動下，我國大數據產業(yè)規(guī)模快速增長。數據顯示，我國大數據市場規(guī)模由2016年的277億元增長至2020年的713億元，復合年均增長率為26.7%，預計2022年我國大數據市場規(guī)模將達1049億元。

數據來源：中商產業(yè)研究院整理

未來發(fā)展趨勢

1.大數據行業(yè)應用的深入促進大數據采集需求日益增長

數據采集是大數據在各行各業(yè)應用并且創(chuàng)造價值的前提。隨著大數據的行業(yè)應用不斷深入，物聯網、智能家居、數字政務等領域的大數據技應用逐漸成熟，數據采集的需求也將被逐步激發(fā)，帶動數據采集軟件及服務的市場規(guī)模日益增長。

2.大數據采集環(huán)節(jié)更加注重異構數據源兼容性

隨著數據量的指數增長，數據的存儲、計算、部署等方式都在同步變化，各行業(yè)的業(yè)務系統也變得越來越復雜。日益復雜的業(yè)務系統和數據架構形成了數據結構、存取方式、形式不同的異構數據源，對大數據采集的異構兼容性提出了更高的要求。工信部發(fā)布的《“十四五”大數據產業(yè)發(fā)展規(guī)劃》中明確提出，以構建穩(wěn)定高效產業(yè)鏈為主要目標，在數據生成采集環(huán)節(jié)，著重提升產品的異構數據源兼容性、大規(guī)模數據集采集與加工效率。

3.大數據采集的安全與隱私保護需求持續(xù)上漲

近年來，我國大數據的安全與隱私保護需求持續(xù)上漲，大數據采集過程中的安全流通和隱私計算技術也愈發(fā)得到重視。隨著大數據的不斷發(fā)展和應用，越來越多的安全問題隨之浮現。在數據采集過程中，第三方可能在采集傳輸數據過程中截獲、偽造數據，不但造成了用戶隱私、敏感數據泄露的嚴重后果，同時也影響了政府、企業(yè)后臺數據分析的準確性。因此，在大數據采集及預處理過程中，除了假流量數據清洗、正常數據補全、無效數據剔除外，還存在數據格式化、數據隔離、數據加密、數據脫敏和攻擊識別等需求。