我国大气污染治理中大数据技术应用及其展望

刘子伊

（北京国环清华环境工程设计研究院有限公司 北京 100084）

引言

在我国的生态环境领域中，大气质量问题尤为严峻。经常发生的大气污染降低了大气质量，造成大气污染的因素多种多样，其中有自然地理因素，也有工、农、商、贸因素，有居民日常生活因素，也有交通、建筑等因素。正是由于造成大气污染因素复杂，从而导致了污染治理途径的多样性，但都必须准确找到污染源和污染因素，分析清楚污染物的种类和污染物的含量，掌握污染物在大气污染中所起的作用，这就涉及到人们日常生产、运输、贸易、生活的方方面面。治理大气污染的成效关乎到人民群众的生活质量和身体健康，关乎到国家的前途命运，为此，要加快大气污染有效治理的步伐，这离不开先进科技的支撑，而我国科技水平的不断进步，使治理大气污染的技术多样化，相对而言，应用大数据技术正在逐步成为今后治理大气污染的一种科学有效的途径。

1 大数据与大数据技术

1.1 大数据

在大气污染治理中经常使用的主要数据称为传统数据，它属于结构化的关系型数据，通常以数字或符号等信息为载体，在计算机处理中标注和存储相对容易，其数量仅仅达到GB 级。而对于大数据来说，其定义目前在学界尚不统一，有不少学者使用的是描述性的定义。武延军认为，相对于传统数据而言，大数据属于半结构或非结构化的数据集合，大数据的信息载体除了数字之外，更主要的是音像等媒介，或者是计算机领域的文本，一般不能像传统数据那样标注和存储。换言之，大数据是指在一定时间范围内，使用特定的方法、流程和计算资源进行处理和分析的数据集合，是“人”“机”“物”高度融合、共同作用而形成的，其数量可以达到PB、EB 甚至ZB 级[1]。袁冰则认为大数据是高科技的信息产物，是在一定时间内通过全新高效的数据处理模式并具有更有效优化能力的规模大和多样化的数据信息资产。

可见，大数据不仅仅表现出数据的规模之大，还表现在信息载体种类繁多、数据处理效率高等方面[2]。早在2015 年，国务院曾经印发了《促进大数据发展行动纲要》，明确指出了大数据的基本特征和主要优势及其重要性[3]。俞立平则较好地归纳出了大数据具有大规模、多种类、快速处理、高价值和真实性等基本特征[4]。

1.2 大数据技术

大数据技术中的数据处理在本质上仍然属于统计分析，或者说是升级了的传统统计分析，在数据处理过程中计算机具备了学习技术、数据挖掘能力、数据管理能力；一般而言，计算机在进行传统的统计分析时，主要是进行数据的计算和分析。大数据技术的数据挖掘，其实就是对大量数据进行相关性分析，目的是发掘特定事件的规律或预警特定事件发生的关键节点。大数据挖掘的一个典型案例就是“谷歌流感趋势”（Google Flu Trends，GFT）[5]，这款大数据处理系统以流感疫情为特定事件，以用户的搜索记录中与流感高度关联的头疼、咳嗽、发热、肌肉疼痛等关键词进行挖掘，根据用户搜索的次数与设定的阈值比较，从而对某地区某一时期的流感疫情进行评估和预测。在大数据处理流程中也仍然包括传统统计分析的基本方法和功能，即对各种原始数据进行整理、计算、编辑、归类分析等；而对传统统计分析的升级则表现在对初始数据的过滤和梳理，又称为数据清洗和数据集成，这是大数据技术的核心。然而，对于其它应用领域来说，数据挖掘除了涉及到统计学、计算机、数学模型等知识之外，更需要雄厚的应用领域的专业知识。

2 我国大气污染治理中大数据技术的应用

在我国的许多行业已经不同程度地使用了大数据技术，并取得了比较理想的使用效果。在广告营销中增加了厂商与客户之间的黏性，有助于个性化营销和差异化服务；电商行业不断及时获得顾客的消费行为和价值取向。在政府治理体系的等多个领域正在普及使用大数据技术，特别是在疫情防控中，各级政府成功地运用大数据技术防控，精准施策恢复生产、生活正常秩序，同时助推了无接触医疗、影像识别等远程诊疗和在线诊疗等新生事物应运而生[6]。

我国在生态环境领域的大数据技术应用工作亦已经初步展开，并取得了一定的成效，尤其是利用大数据技术从有关大气的大数据中获得巨大信息，逐步用于大气污染治理中的大气质量检测、大气变化预测，从而不断提高我国的大气质量水平。2016 年，原环境保护部开展了生态环境大数据体系建设工作，出台了《生态环境大数据建设总体方案》，建立了生态环境数据中心和标准规范体系，使得数据共享在部门间、领域间得以实现；对不同类型的数据资源进行了有效整合，涉及到环评管理、支撑、业务等环保部内部、地方环保部门、其他相关部委数据等资源网。建成了数据采集系统、登记表备案系统、会商平台、智慧监管平台、互联网服务平台[7]。生态环境大数据体系建设工作为大气污染治理中大数据的获取奠定了基础，提供了一些可能的数据分析和应用途径。

李云婷等研制了大气环境业务应用系统体系，分析常规空气质量检测数据，这些数据主要来源于网络监测、手工采样和仪器监测，还包括基础的地理信息以及来自目录、用户信息、权限和系统日志等数据库的数据。采用多模式集合预报、专家调优支撑高性能预报会商，从时空关联分析中挖掘大气污染特征与成因[8]。大气环境业务应用系统体系对充分利用传统的结构化数据进行多模型分析进行了有益尝试，为大气质量预测预报进行了探索。赵云洁对2013年到2018 年之间的郑州市空气质量指数，采用Scrapy 框架爬取技术处理，以R 软件统计分析，主要是描述统计、相关分析和回归分析，并进行了可视化的研究，发现了郑州空气污染的主要成因[9]。这一研究仅局限在对局部地区大气污染成因进行的可视化分析研究。周俊等研究认为由于信息化发展具有滞后性，环评行业发展的时代局限性，使得我国环评大数据直到目前为止，在一定程度上仍然停留在一些概念形成和认知阶段[10]。

3 大气污染治理中大数据技术应用展望

在今后相当长时间内，彻底根治大气污染是我国生态环境工作中的一项艰巨任务，而大数据技术的应用方兴未艾。通常大气污染治理是在大气发生了污染后进行的，目标是把被污染了的大气治理成为蓝天白云，从而提高空气质量。然而，大数据技术的应用不应仅局限在大气污染后的治理和评价环节，而应该更加关注并逐渐将重点转为预防大气污染的发生，把污染治理在萌芽之中，持续维持高质量空气指数。为此，培养大批大气领域的大数据技术专业人才、研究创造出大气污染治理的专有大数据应用模型、充分利用5G 等先进技术获取大数据将成为我国大气污染治理中主流发展趋势。

3.1 培养大气领域急需人才，提升大数据技术的应用能力

当前，大气领域的大数据分析能力匮乏，尤其缺乏具备大气、大数据、计算机、化学、数学、生物等多学科综合知识的人才，这对大数据技术的应用十分不利。要培养一大批大气领域的专门人才，使他们具有互联网信息领域的背景，能够熟练地在大气领域开展编程和硬件管理工作，深入从事大气科学的数据挖掘和整理；能够做出大气专业方面的数据研判和分析应用。

3.2 开发大气污染治理专用大数据分析模型

迄今为止，国内外还没有真正意义上大气污染治理的大数据分析模型。现有的大数据技术中的分析模型都有其特定的非大气领域使用的条件和范围，根据统计学常识，在大气污染治理中直接使用这样的分析模型处理大气污染数据，容易出现系统误差。开发大气污染治理专用大数据分析模型，要充分考虑大气大数据的规模大和种类繁多等特点，既要有特定条件下需要采用的专业模型，也要有不同的环境条件下数据分析的综合性的开放性模型，在使用过程中会不断得到优化、调整和修正。

现在既有的大数据技术突出了“预测”功能这一核心，依靠的是大数据的关联性分析，利用高维、多模式、网络化、非线性技术手段拓展了传统统计学方法，但这些处理对大气污染治理仍不够专业。一些关于大气污染的分析模型没有考虑区域大气的空间溢出效应，即大气污染的区域性和交叉性；没有考虑全方位综合性因素，仅仅分析大气污染的一个或几个影响因素，这极易导致预测时产生偏差。在开发大气污染治理的专业大数据分析模型的时候，一定要汲取2012 年GFT 预测的教训，根据GFT 预测，当年12月美国要大爆发一次流感，而实际情况并没有预测的那样严重[11]。造成GFT 预测不准确的原因在于数据分析模型仅仅进行数值之间的关联性分析，没有对数据进行流行病专业性分析。数据分析模型开发者欠缺流行病专业知识，即使开发系统的工程师对模型不断地进行算法调优，其预测结论的误差仍然不断增大[12]。

3.3 充分利用5G技术科学采集大气数据

用于大气污染治理的大数据来源要科学合理，既要符合大气科学要求，又要确保各项数据客观真实、正确完整、及时无误，这需要有效的数据治理标准与机制，才能优化大气数据资源，提高数据整合能力。因为传统的结构化数据在抽样过程中，由于布点的局限性和片面性，以及获取数据时的标准、信息代码不尽相同等原因，可能造成“信息孤岛”现象。抽样布点要有很好的代表性和不可取代性，彻底避免因为来源不合理而造成的系统误差。5G 技术可以使卫星和航空手段，通过智能化遥感监测实现远程采集视频、图片等非结构化数据，数据的来源更加广泛、全面、准确，可以充分发挥半结构化和非结构化数据的优势，这是使用大数据技术进行大气污染治理的新机遇，尤其是在获取大气数据时具有的及时、快速、海量、连续性、多地、多点突出优势，是传统的结构化数据无法比拟。

结语

在我国的大气污染治理中，已经越来越离不开大数据技术。在充分认识大数据技术重要性的基础上，不断培养熟练掌握大数据技术的治理大气污染专门人才，创新大气污染治理的大数据分析模型，合理布局有利于获取大数据的监测点，配备大数据存储的必要设备，就能够促进我国大气污染治理工作的科学、有效、健康、快速地发展。