大数据与水土保持监测

衣 强

(河南省水土保持监督监测总站,450008,郑州)

大数据与水土保持监测

衣 强

(河南省水土保持监督监测总站,450008,郑州)

随着科学技术的进步,我们已经进入了大数据时代。各行业领域拥有或采集获取的海量数据,都可称为大数据。大数据具有海量、多样、快速和应用价值高等特点。水土保持监测是一项重要的基础性工作,发展和应用大数据,有助于探索和发现水土流失发生发展的规律,实现科学预测,为生态决策从经验决策、量化决策向大数据决策转变提供支撑。在发展大数据的问题上,要认清其尚处于初级阶段,存在一定的困难和挑战,要在全面推进监测工作的基础上,适时制订大数据研究和发展计划,有计划、有步骤的开展探索与研究,找到适合的大数据解决方案,真正实现大数据的分析应用。

大数据；水土保持；监测；预测；决策

当前世界正处在一个数据量爆增的时期,科学技术的进步突出表现出2方面技术的发展:一是数据存储技术不断提高,存储容量已经扩展至 PB (Petabyte,拍字节)甚至更高级别[1]；二是云计算技术发展与成熟,使我们可以存储、分析和应用比以往更大规模的信息和数据[2]。这些变化都显示我们进入了一个大数据时代。

1 大数据

1.1 大数据的概念

发展和应用大数据,首先需要了解什么是大数据。大数据这个词最早出现于著名未来学家阿尔文·托夫勒1980年出版的《第三次浪潮》一书中。2009年随着互联网的发展普及,网络信息数据爆发式增长,大数据成为互联网行业的流行词；而现在所说的大数据已不仅仅是互联网产生的海量数据,广义上各行业领域拥有的或采集获取的海量数据,都可称为大数据[3]。

1.2 大数据的特点

大数据具有海量、多样、快速和应用价值高等4个特点。

1)海量,即数据规模大,包括2层含义:一是数量大,较之数据采集、传输和存储技术不发达时期的数据量来说,规模和数量巨大；二是信息量大,指数据反映的信息量大,信息量已不是少量样本数据反映的部分信息,而是更加接近总体数据反映的信息[4]。

2)多样,即数据类型的多样性,一个大数据集可能包含一种或多种数据类型。

3)快速,指获取、生成数据和信息数据化的速度快而且连续；传感、采集等电子技术的发展,使人类感知、测量事物的能力大大提高；现在数据采集、传输和存储与其感知、测量的对象之间的时间差距已经缩短至分钟级,甚至是秒级。

4)应用价值高,指大数据除自身具有很高的应用价值外,与其他相关的大数据集经过重组、扩展和交叉利用,也能够产生除自身价值以外的其他价值[5]。

1.3 大数据思维和相关关系分析

大数据思维是人们科学运用大数据,实现其价值而开展的逻辑思维,是一种意识。大数据的应用是通过思维加技术来实现的,其中大数据思维是大数据应用的核心[6]。大数据正在改变我们的思维方式,让我们更加重视相关关系的分析,然而重视相关关系不等于放弃因果关系分析,毕竟探索和发现事物的规律和本质依然是我们的最终目标[7]。

1.4 大数据的发展现状

近年来,大数据作为一种新型战略资源,已经引起世界各国政府、科技界和产业界的高度关注[8]。2012年美国启动了《大数据研究和发展计划》,提出了大数据国家战略,并开展相关研究[9]。继美国之后,世界不少国家和组织也陆续提出了大数据战略。

在行业应用方面,大数据在互联网、通信和金融等行业应用较为成熟,其他行业也在陆续开展大数据研究及其应用工作[10]。谷歌成功预测美国冬季流感就是大数据应用的经典案例,2009年谷歌通过分析5 000万条美国人最频繁检索的词汇和美国疾病中心2003—2008年间季节性流感传播时期数据比较,在建立特定的数学模型基础上,成功预测了2009冬季流感的传播情况。2014年世界杯,德国足协应用SAP大数据方案,综合分析竞赛对手技战术数据,并据此制定应对策略,成为德国队夺得世界冠军的“秘密武器”,这也是大数据应用的成功案例。

我国大数据应用与研究起步较晚,但已引起社会高度重视,特别是党在“十八大”提出的“新四化”战略,标志着国家信息化建设和大数据研究应用已经上升为国家战略,国家发展改革委员会、工信部等部门正在加快大数据核心技术研究应用,以充分利用大数据这一战略资源[11]。行业应用方面,国内的银行、保险、电信和电商等行业领域大数据已经得到较为广泛的应用,为了挖掘巨大社会价值和商业价值,国内其他行业也在积极开展大数据研究应用工作。

2 大数据与水土保持监测

水土保持监测是一项重要的基础性工作。监测的主要目的是查清水土流失现状,科学评估水土保持效益,发现工程建设中影响水土流失的关键因素,为科学研究提供基础资料,为政府决策和监督治理提供依据,为广大民众提供水土保持生态服务等[12]。

当前,我国水土保持工作正在向预防监督动态化、综合治理精细化、监测评价即时化和信息服务的全面有效的方向发展[13]。这需要大量的、多类型、多层级、长时序监测数据来支撑,在水土保持监测中发展和应用大数据有利于实现这一目标。

2.1 发展大数据的前提条件

发展大数据,首先需要形成不断扩充和累积的海量数据。水土保持监测工作就是长期连续采集和获取水土保持相关信息数据,其任务和内容主要包括水土流失影响因子监测、水土流失状况监测、水土流失危害监测和水土保持措施及效益监测等4方面；通过监测能够持续不断地形成海量的结构性和非结构性数据,使形成监测大数据成为可能[14]；发展大数据最终目的是管理、分析和应用大数据,大数据的应用有助于人们探索事物发展变化的规律,实现科学预测[15],这与水土保持监测综合分析应用监测数据,实现科学预测和决策支撑的目标相契合——发展应用大数据有助于水土保持监测目的的实现。

2.2 发展大数据的良好基础

2011年,全国水土保持监测网络和信息系统建设工程顺利完成,已建成1个部监测中心,7个流域机构监测中心站、31个省(自治区、直辖市)监测总站、175个监测分站和736个监测点,配备了数据采集、处理与传输等设备,依托水利信息网基本实现了互联互通,初步形成覆盖我国主要水土流失类型区的水土保持监测网络系统[16]。

在数据库和信息系统建设方面,监测中心建成了全国水土流失、生产建设项目水土保持管理和水土保持生态建设项目数据库。通过全国动态监测与公告项目,在国家级水土流失重点防治区在不同尺度的水土流失和水土保持数据库。各流域机构、省(自治区、直辖市)也建成了相应的水土流失和水土保持数据库。随着监测工作的推进和重点项目的持续开展,这些数据库中的监测数据不断增加。

全国水土保持监测网络的建立和运行,监测工作不断推进和重大监测项目的持续开展,水土流失和水土保持数据库监测数据不断增加,为发展水土保持监测大数据打下了良好的基础。

2.3 发展和应用大数据的几点思考

近几年,通过在其他行业、领域的应用,我们必须清醒地认识到,大数据研发尚处于初级阶段[17],在以下3个方面还存在困难与挑战:1)足够丰富和开放的数据,是大数据形成基础,需要高效全面数据采集体系和完善的网络信息系统来支撑,同时需要一个良性发展的数据共享生态系统；2)强大的数据处理和分析能力需要构建先进的信息软件平台和科学分析算法,提升数据处理分析能力,才能真正实现行业大数据分析；3)大数据决策和应用需要与之配套的管理模式和运作方式,这是实现大数据应用的重要保证。因此,在水土保持监测发展大数据的问题上,要冷静对待,认真思考,在全面推进监测工作的基础上,适时发展和应用大数据。

2.3.1 制订合适的大数据发展计划 发展和应用大数据,必须制订相关的发展计划。在深入研究和科学分析的基础上,制订适合监测工作发展需要的大数据发展计划,才能有计划、有步骤地探索出适合监测工作的大数据解决方案,最终真正实现大数据的应用[18]。发展计划要与水土保持部门制定的监测规划、信息化建设规划相适应。

2.3.2 加强监测站网建设和信息化建设 监测站网是水土保持监测工作的基础,是监测数据的主要来源。监测数据的共享、管理与应用需要相应的信息化平台。推进监测工作,实现大数据应用,需要加强监测站网建设和信息化建设:1)要进一步优化站网布设,开展规范化、现代化建设,全面提升站网监测能力,建成适合经济社会发展的监测网络；2)在水土保持监测网络的基础上搭建一个信息数据传输、存储、应用和共享的信息技术平台,建设完善水土保持数据库,构建水土保持数据中心[19]。

2.3.3 提升监测数据采集和信息数据提取能力提升监测数据采集和信息数据提取能力,才能逐步实现监测数据采集、处理的快速高效。1)提高监测设备自动化水平,实现监测数据采集的实时高效。当前监测站网的监测设备自动化程度不高,数据传输到整编尚未实现自动化、系统化,监测数据处理、分析的时效性低,迫切需要提高监测设备数据采集、处理的自动化；2)提高遥感影像等信息源数据提取能力,实现监测数据的快速提取,随着我国遥感技术不断提高,遥感影像时效性不断增强,提高水土保持相关监测数据提取能力,才能提高这部分监测数据的时效性。

2.3.4 促进数据共享和综合应用 水土流失过程复杂,影响因素多,大数据分析需要综合应用多方面海量数据,促进包括农业、林业、气象、水文水资源等行业、部门的数据共享和综合应用,才能真正实现监测大数据分析和应用[20]。

2.3.5 开展大数据探索与研究 在区域、中等流域,围绕监测数据快速采集获取、数据集成和大数据综合应用与分析等内容开展探索与研究,有助于找到适合水土保持监测的大数据解决方案,实现大数据应用。

3 结束语

当前,发展大数据是各行各业共同关注的热点问题。如何通过大数据技术,全面、有效地推动水土保持事业的快速发展,是我们面临的问题和挑战。要在加强信息化建设的同时,适时制订大数据研究和发展计划,通过有计划、有步骤的探索与研究,找到适合的大数据解决方案并加以应用,真正实现科学预测,为生态决策从经验决策、量化决策向大数据决策转变提供支撑。

[1] 邬贺铨.大数据时代的机遇与挑战[J].求是,2013, (4):47- 49

[2] 孟小峰,慈祥.大数据的管理:概念、技术与挑战[J].计算机研究与发展,2013,50(1):146- 169

[3] 俞立平.大数据与大数据经济学[J].中国软科学, 2013,(7):177- 183

[4] 马建光,姜巍.大数据的概念、特征及其应用[J].国防科技,2014,34(2):10- 17

[5] 陈如明.大数据时代的挑战、价值与应对策略[J].移动通信,2012(17):14- 15

[6] 维克托,肯尼思.大数据时代[M].盛杨燕,周涛,译.杭州:浙江人民出版社,2012:15- 45

[7] 黄欣荣.大数据时代的思维变革[J].重庆理工大学学报,2014,28(5):13- 18

[8] 汪应洛.大数据带动决策机制变革[N].中国科学报, 2014- 08- 12(1)

[9] 李建,王丽萍,刘瑞.美国的大数据研发计划及对我国的启示[J].中国科技资源导刊,2013,45(1):17- 23

[10]钟瑛,张恒山.大数据的缘起、冲击及其应对[J].现代传播,2013(7):104- 109

[11]刘小刚.国外大数据产业的发展及启示[J].金融经济,2013(18):224- 227

[12]郭索彦.水土保持监测理论与方法[M].北京:中国水利水电出版社,2010:1- 13

[13]姜德文.加快水保信息系统建设 适应现代化管理新要求[J].中国水土保持,2015(1):1- 2

[14]刘咏梅,杨勤科,王略.水土保持监测基本方法述评[J].水土保持研究,2008,15(5):221- 224

[15]涂子沛.大数据[M].桂林:广西师范大学出版社, 2012:33- 77

[16]曹文华,罗志东.水土保持监测站点规范化建设与运行管理的思考[J].水土保持通报,2009,29(2):114-117

[17]李芬,朱志祥,刘盛辉.大数据发展现状及面临的问题[J].西安邮电大学学报,2013,18(5):100- 103

[18]朱建平,章贵军,刘晓葳.大数据时代下数据分析理念的辨析[J].统计研究,2014,31(2):10- 17

[19]罗志东,曹文华,赵院.水土保持信息系统运行维护管理探讨[J].中国水土保持,2015(3):37- 39

[20]罗志东.水土保持信息化工作理论探讨[J].中国水土保持,2013(12):4- 6

(责任编辑:郭雪芳)

Big data and soil and water conservation monitoring

Yi Qiang
(Henan Province Soil and Water Conservation Supervision and Monitoring Centre,450008,Zhengzhou,China)

With the progress of science and technology,we have entered the era of big data.Massive amounts of data obtained in a variety of industries,can all be referred to as big data.Big data have the characteristics such as large amount,variety,high velocity and high value of application.Soil and water conservation monitoring is an important basic work.Development and application of big data help us to explore and find out the rules of the development of soil and water loss,and thus to realize scientific forecast.It provides support for the transfer from experience-based ecological decision and quantificated decision to big data decision.In respect of development of big data,we should recognize that it is still in the primary stage,and thus there might exist difficulties and challenges.Therefore,we should make big data research and development plans timely on the basis of all-round monitoring.Exploration and research should be planned and conducted step by step,in order to find the right big data solutions that realize the analysis and application of big data.

big data；soil and water conservation；monitoring；forecast；decision

S157

A

1672-3007(2015)04-0123-04

2015- 01- 19

2015- 06- 23

项目名称:河南省水土保持监测科研项目“基于物联网的小流域监测信息化应用技术研究”(201503121)

衣强(1972—),男,学士,高级工程师。主要研究方向:水土保持监测。E-mail:hnyi2004@126.com