在內蒙古的烏梁素海，通過污染源和地表水環(huán)境質量的立體網(wǎng)格化的數(shù)據(jù)采集，全流域水質情況一覽無余，影響每一個水質斷面的主要污染企業(yè)也都清楚明了。

不僅在內蒙古，“讓數(shù)據(jù)說話，用數(shù)據(jù)管理”的思路也已深入到全國各個地區(qū)的環(huán)保管理當中，在上海、四川、無錫等地出臺的《環(huán)境信息化“十三五”規(guī)劃》中，推進大數(shù)據(jù)監(jiān)管都被列入其主要任務之一。

今年是環(huán)境保護部發(fā)布的《生態(tài)環(huán)境大數(shù)據(jù)總體方案》實施的起步之年，生態(tài)環(huán)境大數(shù)據(jù)建設也開始從模糊走向明朗。11月24日至25日，2016全國環(huán)境信息技術與應用交流大會在京召開，如何利用大數(shù)據(jù)推動環(huán)境監(jiān)管精準化，為“智慧環(huán)?！碧峁Q策服務，成為此次大會的主要議題。


大數(shù)據(jù)監(jiān)測已成為“智慧環(huán)?！钡闹匾画h(huán)。圖片來源：百度圖片

環(huán)境監(jiān)管的“無形之手”

環(huán)境管理重在預防，未雨綢繆從源頭治污。提前預測環(huán)境污染風險和污染源，將更加有針對性地幫助政府精準治污，而大數(shù)據(jù)技術則成為環(huán)境監(jiān)管的“無形之手”。

國家信息中心信息化研究部大數(shù)據(jù)分析處副處長王建冬表示，大數(shù)據(jù)為政府治理提供了全新的視角和手段，大數(shù)據(jù)時代的到來，不僅僅意味著對數(shù)據(jù)處理技術和處理能力的提升，更重要的是全社會數(shù)據(jù)資源分布結構的深刻變化——實時、交互、離散化、非結構化的海量數(shù)據(jù)中，蘊含著經濟社會運行的各種指標和信號。

“對于環(huán)境管理來說，監(jiān)測體系是監(jiān)管的基礎，大數(shù)據(jù)應用是監(jiān)管的靈魂，有了大數(shù)據(jù)就能使我們的監(jiān)管能力顯著提升。”內蒙古自治區(qū)環(huán)保廳副廳長李劍表示，“用數(shù)據(jù)說話，摸清家底;用數(shù)據(jù)管理，監(jiān)察執(zhí)法。”成為強化環(huán)境監(jiān)管的重要支撐。

大數(shù)據(jù)時代的到來，傳統(tǒng)環(huán)境管理的思路方法也將被顛覆?！碍h(huán)境管理目標從簡單的總量控制為主向污染治理、環(huán)境質量改善轉變，從單一的污染防治向風險防控、聯(lián)防聯(lián)控、流域共治轉變?！本酃饪萍夹畔㈤_發(fā)中心總監(jiān)丁成富說。

而在太極計算機股份有限公司高級系統(tǒng)架構師李華看來，相較于其他行業(yè)大數(shù)據(jù)應用，環(huán)保方面的大數(shù)據(jù)具有先天的優(yōu)勢，其整體分析、應用從一開始就具備了大數(shù)據(jù)體系的相關要素。

“環(huán)境保護大數(shù)據(jù)體系從一開始就可以針對某個方面進行體系脈絡清晰的大數(shù)據(jù)分析，而不會出現(xiàn)數(shù)據(jù)網(wǎng)狀關聯(lián)，能夠很直接地針對一類數(shù)據(jù)整理出相關的分析，建設過程較為直觀?！崩钊A說。

另外，李華表示，環(huán)保大數(shù)據(jù)還具有豐富的應用主題，包括環(huán)境承載力分析、污染氣象關系分析、環(huán)境經濟關系分析、污染物大數(shù)據(jù)分析、環(huán)保預警預測、污染排放治理等。

目前，環(huán)保大數(shù)據(jù)需求十分緊迫。因為環(huán)保部門相較于產生污染企業(yè)的管理部門而言相對弱勢，更迫切地需要科學、正確的數(shù)據(jù)來進行事實的陳述說明，明確責權，進行環(huán)保的整改調整，因此也更需要依賴基于大數(shù)據(jù)的信息化支撐。

海量數(shù)據(jù)帶來挑戰(zhàn)

環(huán)保大數(shù)據(jù)到底是什么數(shù)據(jù)?在清華大學軟件學院大數(shù)據(jù)中心總工程師王晨看來，環(huán)保大數(shù)據(jù)包含了大量未開發(fā)的環(huán)境信息資源，包括環(huán)境輿情、互聯(lián)網(wǎng)公開的數(shù)據(jù);審批附件、圖片等非結構化數(shù)據(jù);生態(tài)物聯(lián)網(wǎng)的建設帶來海量半結構化數(shù)據(jù)等。

然而，海量的環(huán)境數(shù)據(jù)也給傳統(tǒng)數(shù)據(jù)平臺帶來巨大挑戰(zhàn)。王晨表示，“十三五”期間，環(huán)保數(shù)據(jù)量還將呈爆發(fā)式增長，這給計算資源和存儲資源的擴展性和高可用性帶來挑戰(zhàn)。另外，生態(tài)監(jiān)測網(wǎng)實時數(shù)據(jù)也給數(shù)據(jù)平臺帶來性能挑戰(zhàn)。而非結構化數(shù)據(jù)、時間序列數(shù)據(jù)、關系型數(shù)據(jù)等多類型數(shù)據(jù)，也增加了數(shù)據(jù)處理及分析的復雜性。

來自重慶市環(huán)境保護中心的王陸瀟博士則指出，環(huán)保行業(yè)廣泛使用地理信息系統(tǒng)(GIS)，盡管GIS軟件已實現(xiàn)關系數(shù)據(jù)庫管理系統(tǒng)的性能擴展，能夠同時管理圖形、屬性數(shù)據(jù)、高程數(shù)據(jù)等，并已實現(xiàn)了多比例尺空間數(shù)據(jù)的存儲，但該數(shù)據(jù)存儲模式已經觸碰到瓶頸，并且會導致地理信息系統(tǒng)空間數(shù)據(jù)自動綜合能力與效率低下。此外，GIS的客戶機服務器架構決定了數(shù)據(jù)共享、數(shù)據(jù)存儲、同步性更新及更新效率等能力較弱。

而從政府頂層設計層面來看，環(huán)境大數(shù)據(jù)也面臨重重難點。清華大學環(huán)境學院環(huán)境管理與政策教研所主任常杪表示，地方政府在環(huán)境大數(shù)據(jù)建設中會面臨規(guī)劃設計、設備技術選型、數(shù)據(jù)收集等難點。

以規(guī)劃設計為例，“規(guī)劃設計并不是對現(xiàn)有業(yè)務系統(tǒng)的簡單加和，而應當在需求明確的情況下，融合現(xiàn)有的傳感技術、互聯(lián)技術、數(shù)據(jù)挖掘技術等，開發(fā)出能經濟、有效解決實際問題的系統(tǒng)。”常杪表示，如何設計出能集成海量、多源、異構數(shù)據(jù)且實現(xiàn)數(shù)據(jù)動態(tài)更新的數(shù)據(jù)中心框架，如何實現(xiàn)數(shù)據(jù)標準統(tǒng)一，以完成環(huán)境數(shù)據(jù)的統(tǒng)一規(guī)劃、集成和管理，提高數(shù)據(jù)產品加工和服務能力等，都是規(guī)劃設計的難點問題。

如何“慧”集數(shù)據(jù)

預計未來5年，環(huán)保監(jiān)管數(shù)據(jù)將實現(xiàn)精準化，“智慧環(huán)?！睂⑹沟铆h(huán)境管理更精明，居民更有獲得感、資源利用更高效、生態(tài)環(huán)境更宜居。

環(huán)境保護部信息中心總工程師、環(huán)境信息化分會秘書長魏斌指出，數(shù)字變革和數(shù)字顛覆對人類的發(fā)展影響遠遠超出我們的想象。信息技術不斷突破原有技術架構和發(fā)展模式，步入體系化創(chuàng)新和群體性突破的新階段。

而對于環(huán)境信息化建設，魏斌指出，其建設和發(fā)展模式亟待改變，信息碎片化、應用條塊化、服務割裂化等問題都需要從根源上加強統(tǒng)籌，實現(xiàn)信息共享，系統(tǒng)互聯(lián)互通。

那么，如何充分挖掘數(shù)據(jù)的價值，從而為“智慧環(huán)?！狈漳?

以大氣環(huán)境監(jiān)測領域為例，中科宇圖資源環(huán)境研究院院長劉銳提出一種基于多源數(shù)據(jù)融合的監(jiān)測方法——首先搭建集成工作站、服務器等硬件支撐平臺以支撐項目的建設和運營，其次根據(jù)數(shù)據(jù)資源的來源和分析需求，智能利用跨領域研究實踐的技術優(yōu)勢，以互聯(lián)網(wǎng)全域數(shù)據(jù)為基礎，基于Hadoop的分布式存儲及計算框架，研究大氣環(huán)境監(jiān)測預警大數(shù)據(jù)應用關鍵技術，建立大氣數(shù)據(jù)分析環(huán)境和聯(lián)合監(jiān)測環(huán)境。

劉銳還提出了機器學習的概念，基于大數(shù)據(jù)技術的預報預警模型，機器學習通過模擬或實現(xiàn)人類的學習行為，以獲取新的知識或技能，重新組織已有的知識結構使之不斷改善自身的性能。

另外，李華表示，大數(shù)據(jù)支撐環(huán)境是應用成敗的關鍵，基于大數(shù)據(jù)基礎服務可提供用戶大數(shù)據(jù)采集、存儲、計算能力;通過太極環(huán)保大數(shù)據(jù)平臺則可以實現(xiàn)大數(shù)據(jù)的分析挖掘與可視化，具備一站式數(shù)據(jù)應用能力。

據(jù)介紹，太極環(huán)保大數(shù)據(jù)基礎平臺集成開源Hadoop技術大數(shù)據(jù)基礎平臺，性能優(yōu)于開源Hadoop方案，通過內存計算、高效檢索、執(zhí)行優(yōu)化等技術，快速提升企業(yè)和機構構建與處理海量數(shù)據(jù)的能力;采集交換平臺則在傳統(tǒng)ETL基礎上支持Hadoop、Hbase、實時流、網(wǎng)絡爬蟲等數(shù)據(jù)的采集、轉換，有效解決大數(shù)據(jù)時代針對文本、音頻、視頻、傳感檢測數(shù)據(jù)、網(wǎng)站數(shù)據(jù)的收集、轉換和存儲。

在王晨看來，環(huán)保大數(shù)據(jù)管理系統(tǒng)研發(fā)的要點還包括高吞吐量、事務處理模型全局一致、專業(yè)化查詢和分析引擎、系統(tǒng)易管理和維護、容錯和故障恢復等，“效能+易用性”才是關鍵所在。