基于人工智能的堤防工程大数据安全管理平台及其实现

饶小康，马 瑞，张 力，义崇政

(1.长江勘测规划设计研究有限责任公司，武汉 430010； 2.长江空间信息技术工程有限公司(武汉)，武汉 430010；3.湖北省水利信息感知与大数据工程技术研究中心，武汉 430010)

1 研究背景

堤防工程线路长、险情复杂、溃堤致灾影响重大、险情演化与致溃机理复杂多变，且涉及多学科交叉等特点，使得对堤防工程的安全管理及风险评估显得尤为重要。加强对堤防工程安全管理及评价的研究，提出针对性的运行管理措施和除险加固建议，保障堤防工程的稳定与安全，是关乎国计民生的大事。

堤防工程安全管理及评价包括工程质量评价、 运行管理评价、 防洪安全复核、 渗流安全复核、 结构安全复核、 工程安全综合评价等内容， 对其进行安全分析、 评估、 预警难度大; 且涉及工程设计、 施工、 管理, 以及与安全管理及评价相关的社会经济、 水文、 气象、 地形、 地质等资料， 数据源众多、 体量大， 其中包括结构化数据， 亦包括非结构化数据。 钟登华等[1]结合大数据、 物联网、 人工智能等技术对大坝智能建设和安全管理的理论、 方法与技术的研究进展进行了梳理和探讨； 陈祖煜等[2]建设了水利工程建设管理云平台， 保障了工程建设质量与进度。 面对堤防工程安全管理及评价中海量、 多源、 异构数据， 以及当前人工智能(AI)技术在水利行业、 堤防安全领域鲜有涉及的现状， 建立基于物联网的数据采集汇集机制， 构建基于TensorFlow人工智能的堤防工程大数据安全管理平台， 针对堤防工程大数据进行集成、 融合、 交换、 共享， 构建堤防工程风险识别、 安全评估、 监测预警等模型， 为汛期堤防险情识别及监测预警提供数据与技术支撑， 实现堤防工程的安全管理。

由于堤防防护及加固工程中土石方填筑量大，工期紧，填筑料石的开采级配控制直接影响到堤防工程质量和堤防防洪效应，本文针对堤防工程质量砂石填筑料粒径级配设计要求，利用堤防工程物联网监测平台进行数据采集、汇集，在堤防工程人工智能计算平台上构建砂石爆破开采级配预测模型，进行爆破开采优化设计和石料粒径级配控制，为堤防工程填筑砂石开采设计提供技术参考，保障工程质量，实现安全管理。面对堤防工程险情复杂、致灾影响大、影响因素多等现状，利用物联网、大数据、人工智能等新兴技术，建立基于人工智能的堤防工程大数据安全管理及评价开放平台，可为堤防工程质量、风险识别与监测预警提供数据资源管理、安全分析与评估预警。

2 堤防工程大数据安全管理平台组成

2.1 堤防工程大数据

2019年1月，全国水利工作会议提出了“抓好智慧水利顶层设计，构建安全实用、智慧高效的水利信息大系统，提升水利大数据分析处理能力和共享服务水平”的指导方针。面对堤防工程线路长、险情复杂、溃堤致灾影响重大等特点，需掌握我国主要流域重点堤防工程相关数据，其中，堤防工程安全管理及评价涉及堤防工程全生命周期基础数据库，在数据来源方面，包括设计、施工、运行维护以及水-雨-工情数据、工程地质数据等实时数据和历史数据，还涉及第三方应用数据；在数据类型方面，既包括结构化、半结构化的关系型数据、社会经济等数据，又包括非结构化的空间地理、遥感影像、三维实体模型、文本、图片、音频、视频等数据。面对如此大规模的堤防工程数据资源，传统存储、计算相关的理论和方法已不能满足海量、多源、异构数据的存取与处理。本文基于Hadoop分布式计算框架、Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)建立堤防工程大数据，并基于关系型数据库建立元数据管理系统，实现海量、多源、异构数据的融合与共享。

Hadoop是一个由Apache基金会所开发的可靠的、可扩展的、用于分布式计算的分布式系统基础架构和开放开源软件，可在计算机集群中对大规模的数据集进行分布式处理。其高可靠性、高扩展性、高容错性和低成本等特性使其成为当前主流的大数据处理框架[3]。HDFS是以分布式进行存储的文件系统，主要负责集群数据的存储和读取,是一个Master/Slave体系结构的分布式文件系统。该系统适合存储超大文件、支持流式文件访问、高可用、低成本等特性保障了大数据的高效、安全存取。同时，本文采取的MapReduce和Spark并行计算框架分别保障了堤防工程大数据离线批处理计算和基于内存以及实时计算等业务场景[4]。

2.2 人工智能

人工智能最早兴起于图像识别，但在短短几年的时间内，已在诸如计算机视觉、语音识别、自然语言处理、人机博弈等领域取得了突破性的进展。从AlphaGo肆虐围棋界，到人工智能创业大军的崛起，都预示着我们即将步入“AI+”的时代：“AI+教育”“AI+医学”“AI+农业”“AI+水利”“AI+堤防”，等等，将会屡见不鲜。

人工智能是一个非常广泛的问题，机器学习是解决这类问题的一个重要手段，深度学习则是机器学习的一个分支。在很多人工智能问题上，深度学习的方法突破了传统机器学习的瓶颈，推动了人工智能领域的发展[5]。Google TensorFlow作为Google开源的深度学习框架，汇聚了过去10多年间对于人工智能的探索和成功的商业应用，在工业界和学术界已受到广泛关注。

面对复杂的堤防工程安全管理及评价体系，以及堤防工程大数据资源，传统的安全分析-评估-预警理论及方法适用范围相对狭窄，已不能满足现状需要。本文结合人工智能深度学习算法，采用Google TensorFlow深度学习框架建立人工智能计算平台，利用深度学习技术从数据中自动学习更加复杂的特征，解决多层非线性问题。相比机器学习中大部分使用的特征都是由专家指定或根据先验知识确定每个数据域和数据类型，深度学习算法试图从数据中学习高层特征，将每个问题归结为开发新特征提取器，让深层网络自己学习如何提取关键特征，从而更适宜解决复杂的非线性问题。

2.3 物联网监测云平台

物联网将具有计算、通信和信息感知能力的设备嵌入到物品中，然后按照约定的协议来把物品与互联网连接起来，进行信息通信和交换，实现对机器、设备、人员智能化识别、定位、跟踪、监控和管理。通过物与物之间的互联交换来为用户提供智能化服务。云平台中的计算资源服务和存储服务可为用户提供计算能力和存储能力，并通过一系列软件集合将各种异构存储设备集合在一起构成海量存储空间，用户不再需要建立自己的数据中心，只需向云存储申请服务即可[6]。

本文建立的堤防工程物联网监测云平台主要包括信息感知层、网络传输层和云平台层。其中信息感知层主要包括水文、气象、地下水位、温湿度、岩土特性、岩石物理力学参数、地质、地形、音频视频、GPS等传感器；网络传输层包括有线传输、短距离无线网络和长距离无线网络，涉及光纤、485通讯信号线传输、远距离无线电(Long Range Radio,LoRa)、窄带物联网(Narrow Band Internet of Things, NB-IoT)短距离无线网络、4G/3G长距离无线网络等形式；云平台层包括数据的解析、存储及处理等。

2.4 基于人工智能的堤防工程大数据安全管理平台总体架构

基于人工智能的堤防工程大数据安全管理平台包括：物联网感知层,数据采集、汇集层,业务逻辑层和用户终端层，其总体架构如图1所示。

图1 堤防工程大数据安全管理平台总体架构

3 堤防工程大数据安全管理平台研究与实现

3.1 数据采集与汇集

堤防工程线路长、地处郊区野外，信号弱或彻底无信号。其数据采集、汇集单纯传统人工采集、导出的方法劳神费力，且易出错。系统针对堤防工程险段工段，建立物联网监测平台；布设相应传感器，电源根据实际现场采用市电、锂电或太阳能供电；传输网络依据现场条件及数据采集种类和频率采用光纤通讯/485通讯线/LoRa/NB-IoT/4G等形式。针对已有历史数据或第三方数据，系统开放相应接口，进行数据集成[7]。

本文采用的物联网监测云平台具备低功耗、广覆盖、低成本、大容量等特点，广泛应用于工程领域。平台集合多种通讯方式，包括：433M、ZigBee、LoRa、WIFI、3G、4G，其中LoRa无线通信网络在短距离传输距离可长达11 km。遥测终端机集传统遥测终端机功能与2.5G、3G、4G传输功能于一体，实现水文、气象、工情等数据的采集、存储、显示、控制、报警及传输等综合功能。

采用基于LoRa扩频技术的无线数据传输技术和高性能工业级的LoRa方案，以嵌入式实时操作系统为软件支撑平台，同时提供RS232/485接口，可直接连接串口设备，实现数据透明传输功能，且最低功耗为5 mA×12 V=60 mW，并提供多路I/O，可实现数字量输入输出、模拟量输入、脉冲计数等功能。物联网监测云平台架构如图2所示。

图2 物联网监测云平台架构

3.2 数据加载、清洗、转换

堤防工程物联网平台采集汇集的原始数据种类多、体量大，存在数据异常、缺失、无效或重复等情况，无法直接参与计算，需要进行数据的ETL(抽取、转换、加载)操作，以提高堤防工程安全管理与评价模型数据质量。

本文针对上述情况，针对异常数据建立异常数据识别方法，针对数据缺失建立清洗策略和规则，对接入的数据进行剔除、填补、修正等处理。将处理好的数据进行HDFS分布式持久化，保障数据的正确性、完整性、一致性和完备性，如图3所示。

图3 数据清洗与转换流程

3.3 特征选择与特征提取

在大数据环境下，面对高维情形下出现的数据样本系数、距离计算困难等问题，是所有机器学习方法共同面临的严重障碍，被称为“维度灾难”。数据维度过高会导致计算过程复杂或运算时间增加，不相关的维度特征甚至会导致模型精度降低。缓解维度灾难的一个重要途径是降维，亦称为“维数约简”。因此，需要将高维特征变量中去除冗余或不相关的特征，降低噪音，从原始特征集合中提取最具有统计意义的特征以降维。

依据业务逻辑进行探索性分析和初步定性分析后，绘制相关性矩阵图，计算相关系数进行显著性检验，利用主成分分析(Principal Components Analysis，PCA)、线性判别分析(Linear Discriminant Analysis，LDA)、因子分析(Factor Analysis，FA)等技术进行搜索、评估、验证定量分析，选择与目标变量相关性较强的特征，流程如图4所示。

图4 特征选择算法框架

3.4 Google TensorFlow深度学习框架搭建

由于深度学习模型需要的计算量太大，为了加速训练过程，本文采用基于Hadoop大数据平台的分布式计算进行模型训练，并且采用异步模式以达到较优的训练结果，训练流程如图5所示。

图5 异步模式深度学习模型训练流程

图6 Hadoop大数据平台硬件架构

本文采用Hadoop大数据集群作为堤防工程人工智能计算平台，由1个master节点和3个slave节点构成，提供大数据存储及处理服务；通过网络设备与Web服务器、数据库服务器、Web应用程序服务器进行互联互通，大数据平台硬件平台架构如图6所示[8]。图中NameNode 和DataNode分别为名字节点和数据节点。

Hadoop大数据集群各个节点基于Linux CentOS7系统版本进行环境部署，并安装配置JDK、Zookeeper、HDFS、MapReduce、Spark、HBase等组件，其节点网络及进行配置如表1所示。

表1 Hadoop集群计算节点部署信息

表2 爆破设计参数及爆破块度

注：<10 cm表示粒径块度<10 cm，以下类似；k50和k80分别指岩石破碎度描述中50%和80%的物料能通过筛孔。

3.5 建立模型与预测优化参数

本文采用TensorFlow最为广泛的高层封装工具——Keras进行深度学习。Keras是目前使用最为广泛的深度学习工具之一，它的底层可以支持TensorFlow，MxNET，cNTK，Theano等深度学习框架，且为TensorFlow官方提供的高层封装之一。其API可对模型定义、损失函数、训练过程等进行封装，封装后的训练过程分为数据处理、模型定义和模型训练3部分，并可定义更为复杂的模型。

TensorFlow基于Linux系统采用Docker虚拟化技术进行安装。在模型开发方面，TensorFlow支持C、C++和Python 3种语言，但是它对Python的支持是最全面的，所以本文采用Python语言进行模型开发，IDE采用JetBrainsPyCharm。

模型建立与优化首先包括数据预处理，然后添加网络层，如卷积层、迟化层、循环神经网络(Recurrent Neural Network，RNN)结构、全连接层等神经网络结构，结构定义好之后，指定损失函数、优化函数、测评方法，并采用fit函数进行模型训练(包括训练数据、batch大小、训练轮数、验证数据)，即可自动完成网络优化和模型训练过程，最后，通过测试数据计算准确率。深度学习常用计算模型运行流程如图7所示。

图7 人工智能预测模型运行流程

3.6 人工智能计算开放平台

本文针对堤防工程综合安全管理及评价，建立人工智能计算开放平台，可提供堤防工程质量、运行管理、防洪安全、结构安全、渗流安全、交叉建筑物安全影响评价计算分析[9]。专业用户可借助此平台，上传样本数据集，调用平台已有计算模型，或上传自定义专业计算模型提交运算，实时查看模型运算进度情况，待平台计算完毕，可在平台Web终端下载运行结果集及说明性文档，同时可进行成果可视化分析。平台通过局域网服务器及网络设备，基于建立的人工智能大数据分析集群，采用Java语言、REST API等开发对外接口Web服务。

4 平台应用案例

4.1 堤防工程填筑石料开采控制模型物联网平台

针对堤防工程填筑石料粒径级配要求，利用堤防工程物联网监测平台进行数据采集汇集，在堤防工程大数据分析平台下，基于TensorFlow人工智能深度学习算法，建立砂石开采级配控制预测模型，解决多层非线性问题，进行爆破开采优化设计，满足石料开采粒径级配设计要求，为堤防工程防护加固设计提供技术参考，保障堤防工程质量，促进安全管理[8]。

根据某堤防险工段的物联网监测成果、历史数据以及第三方数据进行抽取、转换和加载，进行特征选择和特征提取之后，确定了如表2所示的部分模型训练样本特征变量，作为石料开采块度预测模型的输入特征集合。其中，输入层包括岩石抗拉强度、抗压强度、节理频数、介质纵波速、岩石纵波速、岩炸药单耗、炮孔间距、炮孔数目、最小抵抗线、炸药爆速、微差时间；输出层包括块度尺寸(5个区间)、块度分布特征参数(k50 和k80)[10-11]。

4.2 堤防工程人工智能计算平台模型运行结果

基于人工智能的堤防工程大数据安全管理平台Web门户基于微服务架构设计开发，主要包括项目概况、水雨工情监测、空间查询与分析、堤防三维可视化、堤防安全分析、评估与预警、长江防汛“一张图”、系统管理等功能模块，部分功能如图8所示。

图8 堤防工程大数据安全管理平台部分功能模块页面

通过平台将样本数据PUT至Hadoop集群HDFS，并调用堤防工程填筑石料开采块度预测模型，提交至集群运算，最后生成不同粒径级配下的质量占比，输出运算结果文件，利用Web平台生成粒径块度分别为<10 cm、<20 cm、<40 cm、<60 cm、<80 cm这5个区间以及特征参数k50和k80的质量百分比实际值与预测值的对比曲线如图9所示。平均相对误差如图10所示。

图9 不同分布区间的岩体所占质量百分比

图10 不同分布区间的平均相对误差率

测试样本中粒径块度<10 cm、<20 cm、<40 cm、<60 cm、<80 cm和特征参数k50和k80对应的区间分别为区间1—区间7。由图9和图10可知，区间1—区间7的平均相对误差率分别为18.3%，18.4%，16.9%，10.5%，17.9%，20.1%，13.4%，可以得出，基于人工智能的堤防工程填筑石料开采各粒径级配质量分布平均相对误差均≤21%，能较好地优化砂石开采爆破参数、控制石料粒径级配，达到开采级配要求，为堤防工程填筑石料开采设计提供技术参考，保障堤防工程质量[12]。

5 结论与展望

(1)本文针对堤防工程安全管理及评价，基于大数据、人工智能和物联网技术建立堤防工程物联网监测云平台以及基于人工智能的堤防工程大数据安全管理平台，实现堤防工程设计、施工、运行维护、以及水文、气象、地形、地质、空间地理、三维模型、社会经济等大数据的融合、开放与共享；并基于Hadoop大数据平台建立堤防工程安全管理TensorFlow人工智能计算平台，并以堤防填筑石料爆破开采粒径级配控制为例建立岩石级配预测模型，取得了较好的预测效果，可为石料开采爆破参数优化、粒径级配控制提供设计参考，保障堤防工程质量，实现安全管理。

(2)堤防工程安全管理及评价涉及工程质量评价、运行管理评价、防洪安全复核、渗流安全复核、结构安全复核、工程安全综合评价等方面，内容广泛，且基础数据来源多、体量大，本文仅从堤防工程质量的角度进行阐述说明，还不够全面。笔者将进一步结合人工智能贝叶斯网络等方法针对堤防工程风险识别、安全评估、监测预警等进行综合评价及研究。