摘要：文章從大數據特征分析入手,分析了國內外大數據在環(huán)境領域的發(fā)展狀況,闡明了我國土壤環(huán)境大數據發(fā)展的數據基礎與瓶頸問題,提出了土壤環(huán)境大數據系統的構建方法與技術流程;并根據國家大數據發(fā)展戰(zhàn)略與土壤環(huán)境領域的行業(yè)需求,建議統籌建立土壤環(huán)境大數據云平臺、管理平臺和專題應用平臺,提供面向區(qū)域尺度土壤環(huán)境管理、多主體跨介質協同治理和農產品安全保障的公共服務與創(chuàng)新應用產品。
1 大數據
1.1 大數據特點
大數據就是巨量的數據集合，是一種規(guī)模大到在獲取、存儲、管理、分析方面大大超出了傳統數據庫軟件工具能力范圍的數據集合，具有海量數據規(guī)模、快速數據流轉、多樣數據類型等特征，需要更強決策力、洞察發(fā)現力和流程優(yōu)化能力的新處理模式才能適應的信息資產。
大數據由于數據規(guī)模巨大，相比傳統數據，有兩個明顯的特征：
(1)數據屬性多樣，包括結構化、半結構化和非結構化數據。大數據不僅包括數字，還包括文本、圖片、音頻、視頻等多種格式，涵括內容十分豐富，可挖掘屬性強，更具潛在應用價值。
(2)數據交互頻繁，大規(guī)模的數據分析與實時數據挖掘并行。在數據分析中，對于結構化數據，可以遵循一定現有規(guī)律，而大數據中半結構化和非結構化數據的分析所遵循的規(guī)律是未知的，只能通過綜合模擬-假設應答的方式，計算各種可能性的可信度。
大數據的采集主要有三種形式：
(1)采集公眾信息，進行個性化分析；
(2)采集傳感器數據，進行專業(yè)性預測分析；
(3)采集整理綜合數據，進行相關性對比分析。
大數據技術領域主要包含數據管理、計算處理和數據分析，其中數據分析是大數據的核心。數據分析經過了若干歷史階段：
第一階段是樸素的數據分析，如占卜、農耕推算等；
第二階段是基于數學科學的數據分析，即采用概率論與統計學等相關數學科學方法，應用計算機技術進行分析；
第三階段是信息技術革命后，對數據進行結構化、數字化處理，開展了基于計算機和數學等技術的集成性分析；
第四階段，即目前的大數據分析，融合了互聯網、自動化、計算機、數學科學等技術的融合性數據分析。
由此可見，大數據技術中的數據分析是廣義概念，不僅包括狹義的數據分析，而且包括巨量數據的深度挖掘。
1.2 大數據應用
大數據目前已經滲透到現代社會的方方面面(表1)。在商業(yè)銷售領域，各國電商通過公眾信息采集，掌握客戶網絡消費行為與消費特征，進行商品定制生產與精準營銷；在智能生產領域，歐美國家已經將實時監(jiān)測網絡做到了終端，利用監(jiān)測跟蹤系統的高頻數據，通過積累大量的先驗數據，預測用戶決策和市場需求，適時調整生產計劃；在智慧管理領域，以云3D GIS 三維地理空間信息引擎及云數據中心為支撐，將各種數據、圖表進行分類收集、整理，再經過匯總、分析，并通過發(fā)布、反饋、修正等環(huán)節(jié)，開展跨平臺、跨網絡、跨終端管理，實現從傳統模式向現代管理方式的轉變。
總之，大數據是信息產業(yè)發(fā)展到一定階段的產物，主要來源于公眾參與后的投影數據、傳感器采集的在線數據和收集整理的多元化綜合性數據。
2 環(huán)境大數據發(fā)展現狀
環(huán)境領域的大數據目前也處于蓬勃發(fā)展階段，并且顯示了廣闊的應用前景。
2.1 歐美國家環(huán)境大數據發(fā)展迅速
由于歐美等國信息化程度較高，大數據基礎較好，因此環(huán)境領域的大數據發(fā)展較為迅速。尤其是美國國家環(huán)保局(EPA)，已經將環(huán)境大數據服務應用于監(jiān)測網絡、數據共享及公共服務。
在監(jiān)測網絡建設方面：EPA對企業(yè)、污水處理廠、民用設施、采礦作業(yè)等享有排污權的設施進行登記，通過唯一“設施標識碼”構建排污設施登記數據庫，實現跨業(yè)務系統和跨庫檢索。
在數據共享方面：EPA通過環(huán)境信息交換中心(Central Data Exchange)，實現環(huán)境數據快速、有效、安全且精確的實時交換，以此連接美國聯邦政府、地方政府、企業(yè)及EPA各分支單位。
在公共服務方面：EPA通過環(huán)保狀況數據庫(Envirofacts)，以地圖可視化的模式，將空氣、水、廢、毒、輻射、土壤等環(huán)保數據系統開放給社會大眾，可檢索廢氣排放量、排水許可證、危廢處理過程、有毒化學品排放、超基金狀態(tài)等公眾關注信息。
2.2 我國大氣環(huán)境管理率先采用大數據技術
大氣環(huán)境數據易于采集和分析，我國的霧霾治理需求又極為迫切，這兩個因素的疊加促進了我國在大氣環(huán)境大數據領域的發(fā)展。
北京市環(huán)保局與IBM公司合作，基于認知計算、大數據分析以及物聯網技術的優(yōu)勢，分析空氣監(jiān)測站和氣象衛(wèi)星傳送的實時數據流，憑借自學習能力和超級計算處理能力，研發(fā)空氣質量預測和建模系統，提供未來72小時的高精度空氣質量預報，實現對北京地區(qū)的污染物來源和分布狀況的實時監(jiān)測，即“綠色地平線”項目。“綠色地平線”利用大數據和人工智能，可預測長達10天的空氣污染狀況。
城市管理者可以就此采取非常有針對性的措施，比如可以提前改變某些城市的交通模式、控制工業(yè)大氣污染物的排放等。有了準確的預測，下一步還可以通過APP(應用)采集很多非結構化的數據，比如天氣的規(guī)律、科學雜志的內容或者政府報告等等，發(fā)展為認知型技術。
由于環(huán)境介質、污染物特征、監(jiān)測手段與歷史積累等差異，大數據在環(huán)境領域的應用與前景也存在差別(表2)，大氣、水、土壤環(huán)境大數據的發(fā)展特點各異，應針對性的開展大數據構建系統與應用研究。
3 土壤環(huán)境大數據發(fā)展現狀
3.1 土壤環(huán)境大數據特點
由于環(huán)境研究對象的屬性各異，我們能夠獲得的數據類型也有很大差別。大氣環(huán)境數據較容易通過傳感器進行高頻率采集，公眾對大氣環(huán)境質量也有直接和敏感的感官認知，公眾參與度高、反饋及時是目前大氣環(huán)境大數據在環(huán)境領域先行一步的客觀原因。
相比而言，土壤環(huán)境質量的變化慢、波動小，污染具有累積性和滯后性的特點，公眾沒有直接的感官判斷能力，也難以進行自動在線監(jiān)測，人工采樣監(jiān)測的成本更高，因此，在預報預警方面難度較大。
但土壤環(huán)境質量的變化特點也為大數據發(fā)展提供了另一個優(yōu)勢，即針對土壤環(huán)境的“源-匯”特性，探索土壤環(huán)境質量與各種影響因子的因果關系，通過多元化數據，如整合區(qū)域內污染源空間分布數據、污染物排放類別與總量數據、污染擴散的多維途徑、環(huán)境的消納能力與空間差異，以及與環(huán)境質量相關的背景值圖集、各種遙影像資料等，建立基于時空的多維大數據模型。
3.2 土壤環(huán)境大數據發(fā)展基礎
從20世紀80年代開始，我國開展了多次全國尺度的土壤環(huán)境調查，包括全國背景值調查、土壤污染狀況調查、多目標地球化學調查、農產品產地環(huán)境調查等，此外還形成了超過兩百萬篇的科研論文與報告。已經積累了以農用地、污染場地和飲用水水源地土壤為重點，涉及局部地區(qū)農產品、人群健康等信息的土壤環(huán)境基礎數據庫及衍生數據庫(表3)，從數據量上來看，已經基本達到大數據要求，但仍需進行有效數據提取與深度發(fā)掘。
2016年國務院印發(fā)的《土壤污染防治行動計劃》將土壤污染調查與監(jiān)測作為重點，建立每10年開展一次的土壤環(huán)境質量狀況定期調查制度，建設土壤環(huán)境質量監(jiān)測網絡，2020年底前實現土壤環(huán)境質量監(jiān)測點位所有縣、市、區(qū)全覆蓋。這為土壤環(huán)境大數據提供了覆蓋全國的基礎性數據源，為構建樣本量巨大性、數據多源性、指標動態(tài)性的土壤環(huán)境大數據奠定了基礎。
在此基礎上，利用“互聯網+”信息互換模式，開展土壤環(huán)境數據的攝取與補充，通過數據自我比對、自我更新和自我完善，構建具有我國特色的土壤環(huán)境大數據系統，實現土壤環(huán)境數字化，以“靶向”服務為目標，為區(qū)域性、全國性等不同尺度的土壤環(huán)境保護與風險管控提供決策方案。
3.3 土壤環(huán)境大數據發(fā)展瓶頸
土壤環(huán)境大數據發(fā)展也存在諸多問題
(1)土壤環(huán)境質量監(jiān)測成本高、周期長，積累數據尚不充分；
(2)我國環(huán)境監(jiān)測體系還處于構建階段，數據種類比較單一，數據分析手段仍處于初級階段，缺乏數據融合及深度挖掘的方法，亟需構建數據間相關性分析的數學模型；
(3)土壤環(huán)境質量的管理須基于地理信息系統(GIS)，但GIS工具與關系數據庫管理系統的擴展能力有限，受限于數據存儲模式等諸多瓶頸，導致地理信息系統空間數據自動綜合能力與效率低下；
(4)GIS的客戶機服務器架構決定了數據共享、數據存儲、同步性更新及更新效率等能力較弱。因此，應通過技術集成，建立數據驅動的多行業(yè)、多學科交叉融合，互利共贏，形成智慧型土壤環(huán)境管理數據支撐體系。
4 土壤環(huán)境大數據系統構建
大數據具有海量、多樣、快速變化的特性，同時海量數據存在價值密度低的特點，這就要求在針對具體問題進行數據分析與價值挖掘時要進行數據的聚合、抽取等預處理工作，以降低計算成本。
大數據分析項目經驗表明，高可用、可擴展的數據存儲架構和靈活、高效的數據分析架構是建設一個完善的大數據分析系統的基本問題。由于土壤環(huán)境大數據的采集途徑多樣，數據來源廣泛，因此需首先進行數據融合(Data Blending)，再進行集成分析。
數據融合是以智能決策為目標，將多源中的相關數據提取、融合、梳理整合成一個分析數據集(Analytic Dataset)。這個分析數據集是個獨立的和靈活的實體，可隨數據源的變化重組、調整和更新。
數據融合過程中的多源數據來自于三個方面：
(1)基本數據(Primary Data)，主要指項目組織者直接采集掌控的內部數據；
(2)二級數據(Secondary Data)，主要指第三者采集、整理和提供的外部數據；
(3)科學數據(Scientific Data)，主要指通過科學研究、公式計算和模型估算等獲得的數據。
這三類數據為系統的建立提供了不同數據信息。在大數據分析項目中，數據科學家需要針對具體問題收集、整理、融合相關的三類數據。
大數據的數據融合與系統構建有5個基本步驟：
(1)從多個異構數據源中抽取數據；
(2)對數據進行整理和分類；
(3)對數據進行清洗；
(4)對多元數據進行組合，轉換數據并建立數據集；
(5)面向具體問題建立數據分析模型。
根據土壤環(huán)境大數據的特點，以土壤環(huán)境質量為核心的大數據系統，其建立應該遵循以下技術路線(圖1)。
其中，直接數據指直接表征土壤環(huán)境質量的數據，污染物類型、總量、有效態(tài)含量等，相關數據指影響土壤環(huán)境質量的數據，如土壤理化性質，污染源的空間分布和排放特征、污染物擴散途徑、土壤環(huán)境的自凈能力、水氣等相關介質的環(huán)境質量特征等，還包括氣象資料、水文地質資料、環(huán)境影像資料、遙感資料等其他格式的表征類數據。
5 土壤環(huán)境大數據發(fā)展方向與應用
通過數字土壤環(huán)境的大數據集合，搭建保護與防治等專題平臺，提供基于土壤環(huán)境大數據的公共服務；利用大數據的深度挖掘與知識發(fā)現，實現土壤環(huán)境的量化管理和多主體跨介質協同治理；面向污染土壤的靶向修復與安全利用，建立保障農產品質量安全的數字化溯源網絡，從而保障區(qū)域農產品質量安全(圖2)。
5.1 提供基于土壤環(huán)境大數據的數字化公共服務
國務院印發(fā)的《促進大數據發(fā)展行動綱要》，要求發(fā)展大數據在工業(yè)、新興產業(yè)、農業(yè)農村等行業(yè)領域應用，形成大數據產品體系，完善大數據產業(yè)鏈。《土壤污染防治行動計劃》，也要求要利用環(huán)境保護、國土資源、農業(yè)等部門相關數據，建立土壤環(huán)境基礎數據庫，構建全國土壤環(huán)境信息化管理平臺，借助移動互聯網、物聯網等技術，拓寬數據獲取渠道，實現數據動態(tài)更新。
據此，應開展多源數據融合與數字化表征，探索土壤環(huán)境質量數據庫與多元評估方法、土壤環(huán)境質量區(qū)域分析與目標控制模型、污染土壤修復的情景分析與決策技術，建立全景式的土壤環(huán)境質量分析模式，并在此基礎上，根據土壤環(huán)境大數據系統需要，統籌建立土壤環(huán)境大數據的云平臺和專題應用平臺，為社會提供基于土壤環(huán)境數據的各種數字化公共服務。
5.2 開展面向區(qū)域尺度的多主體跨介質協同治理
跨介質環(huán)境污染研究是目前國際上最活躍的前沿領域，掌握多介質環(huán)境污染的來源、成因、影響和控制尤為重要。
單純進行土壤的污染預防、風險管控和治理修復，已經難以滿足社會需求，亟需加強污染源、污染途徑和環(huán)境承載力等多元化數據的關聯分析，進行綜合研判，形成跨部委、跨行業(yè)的國家或跨區(qū)域管理平臺，因此，應在傳統環(huán)境管理的基礎上，融合經濟社會、基礎地理、氣象和水文等數據資源，建設基于空間地理信息系統的土壤環(huán)境大數據系統，服務于區(qū)域性跨介質協同治理。
如對于城市“棕色地塊”(處于被廢棄狀態(tài)的土地)，建立集成基礎數據與信息的云服務平臺，用于疑似污染地塊的歷史調查、產業(yè)分析、多介質相互影響及環(huán)境對策等；對于大尺度土壤環(huán)境管理，整合水土氣環(huán)境監(jiān)測、礦產資源調查、環(huán)境容量分析、區(qū)域社會發(fā)展狀況和產業(yè)結構等信息，開展分區(qū)、分類、分級保護和治理。
5.3 建立保障農產品質量安全的數字化溯源網絡
農產品產地土壤環(huán)境質量直接影響農產品安全。我國中南和西南等高背景值區(qū)、有色金屬礦區(qū)、北方大型污灌區(qū)，以及長三角、珠三角和京津冀城郊區(qū)，土壤污染均較重，嚴重威脅糧食和蔬菜質量安全。
因此，建立精準至地塊的農產品產地管理平臺，通過編碼系統，開展風險預警，為高品質農產品的增值銷售和普通農產品安全風險管控提供服務，是未來農用地土壤環(huán)境管理的必然趨勢。
目前實行的農產品溯源方法，只能進行事后處理，將逐漸被事前干預模式所取代或融合。
由此可見，在源頭上根據現有土壤環(huán)境與農產品質量的調查數據，進行深度挖掘，研發(fā)以農產品重金屬超標風險協同管控為核心的預報預測及決策技術，將成為今后十年內的主要基礎性工作。
6 建議
(1)推進土壤環(huán)境數據資源全面整合共享，統籌信息化項目建設管理，建立無償的基礎性國管信息庫和有償的商業(yè)性企業(yè)信息庫，破除數據孤島。
(2)建立形成環(huán)境信息資源中心，實現數據互聯互通，形成向平臺直接獲取為主、部門間數據交換獲取為輔的數據共享機制。
(3)研發(fā)土壤環(huán)境大數據的分析技術，提供公共服務和商業(yè)化產品，為區(qū)域尺度土壤環(huán)境管理、多主體跨介質協同治理和農產品安全保障提供數據與決策支撐。
來源：中國科學院院刊（2017年第2期）
作者：郭書海①③③，吳波①②③，張玲妍①②③，羅明④
① 中國科學院沈陽應用生態(tài)研究所 沈陽 110016
② 污染土壤生物-物化協同修復技術國家地方聯合工程實驗室 沈陽 110016
③ 遼寧省土壤環(huán)境大數據工程技術研究中心 沈陽 110016
④ 國土資源部土地整治重點實驗室 北京 100035
中國鄉(xiāng)村發(fā)現網轉自：中國大數據產業(yè)觀察網 2017-03-08
(掃一掃，更多精彩內容！)
