引江济淮工程高低联动智能视频感知技术研究

刘玉敏 吕朋 王岳飞 献宏 邵鹏

摘要：引江济淮工程中原有的低点监控视野范围窄、抗干扰能力差、缺乏智能化功能，已无法满足智慧水利建设的要求。利用通信高塔作为挂载点，在引江济淮工程的关键标段植入高点智能化监控设备，从而构建出高低联动智能视频感知体系。其中利用人工智能技术，建立AI模型训练平台，实现了包含区域入侵侦测、水面漂浮物检测在内的多项视频侦测、检测功能。应用实践表明，在多种智能算法的赋能加持下，高低联动智能视频感知体系显著提高了报警准确率和智能识别距离，为数字引江济淮的建设提供了有效助力。

关键词：智慧水利； 视频监控； 高低联动； 模型算法； 引江济淮

中图法分类号： F426.91

文獻标志码： A

DOI：10.16232/j.cnki.1001-4179.2024.04.034

0引 言

为落实国家“十四五”规划纲要，加快推进智慧水利的建设，水利部在2021年印发的《关于大力推进智慧水利建设的指导意见》中提出以构建数字孪生流域为核心，全面推进算据、算法、算力建设，加快构建具有“四预”功能的智慧水利体系［1-4］。其中，为了提升水利工程的智能化安防水平，实现对水利工程的全方位实时巡查，视频监控在智慧水利的建设中得到了广泛应用［5-7］。

引江济淮各建管处和相关部门开展建设视频监控系统，已有上百个点位的视频监控投入使用，但是目前监控杆的高度较低，视野覆盖范围面积较小，抗干扰能力差，容易被人为遮挡或破坏［8-9］。同时，当前的监控点受限于前端设备的图像采集能力，无法对事件进行全面辨识；缺乏智能化分析功能，无法第一时间对发生的事件进行预警，基本只能在事后处理的时候进行录像调取，不能做到事前预防，从而弱化了监管的意义，无法满足现阶段的智能化监管需求。

为了解决上述问题，智能化高点视频的建设成为优化监控手段中最可靠的方法之一［10-11］。然而，水利工程大多分布在野外，受地形、植被、电力和网络接入影响，缺乏高点视频的建设指导经验。本次研究在引江济淮工程引入高点监控，与现有的低点监控形成高低联动智能视频感知体系。高低点监控在重要区域监管中各具优势、互相补充，采用以低点为主、高点为辅的高低点结合部署方式，实现高点看全局、低点盯细节，达到有效减少重要区域监控盲区的目的。同时搭建视频智能分析系统，为视频监控系统赋能，实现智能化的监控预警巡查。本次研究主要对高点监控的选址、配置、监控效率和成本控制进行探索性研究；此外，从报警准确率和识别距离两方面对高低点视频的联动效应进行分析。

1高低联动智能视频感知体系建立

在引江济淮沿线水库大坝等大范围场景监控下，普通低点设备的监控画面范围较小，无法覆盖全景。高点视频监控是指在几十米高度的挂载点处布设可以覆盖1 km以上视野范围的高点视频监控，结合图像智能分析功能，实现大范围的精确监控和目标捕捉感知体系。同时充分利用原有的低点视频监控覆盖高点视野盲区，形成高高联动、高低联动的监控策略，再搭配基于GIS的视频监控平台提升展现效果，实现视频监控直观、可视化的呈现，从而有效提升水库大坝监控的管理和使用效率，帮助用户快速、实时了解现场运行情况。

1.1低点监控选择

选择将引水闸、泵站和船闸等重要水利枢纽处已建设的70个低点监控接入视频智能分析系统，实现互联互通，并在地图上进行集中展示，如图1所示。

1.2高点监控建设

引江济淮工程高点监控均为新建，视频监控点的布局和选址成为首先要考虑的问题。以低点监控的选址原则为参考，结合水利部门的管理需求，确立新建高点监控系统选址原则如下：

（1） 选择建设体量大，关注度高的重大枢纽工程作为监控点；

（2） 依据引江济淮集团公司度汛方案中的划分标准，选择涉及大江大河及严重影响周边社会防汛级别为A级的标段作为监控点；

（3） 选择在原低点监控管理运行中频发故障的重要标段作为监控点；

（4） 从《数字引江济淮顶层规划设计报告》中一期高点监控方案设计中规划的90个铁塔高点挂载中选取，确保后期可实现平台融合，统一化管理、统一调度、统一运营，保证资源复用，确保永临结合，避免重复建设。

综合上述原则，结合引江济淮工程特点，选择枞阳引江枢纽、西淝河北站、柯坦河 C004 标段、繁华大道桥、蜀山泵站枢纽、淠河渡槽工程等10个监控区域。参照DEM算法公式［12-13］，选取以引江济淮重点监控的目标枢纽3.5 km视频监控范围为半径的区域，其中距离目标枢纽和河道较近，塔身高度超过30 m，且没有遮挡的塔址资源作为优质监控点位站址。高点监控最终确定站点位置如图2和表1所示。

2视频智能分析系统设计

2.1系统架构搭建

在保证智能化预警准确性和监控清晰度的前提下，结合引江济淮工程的网络传输与存储成本，选择200万像素重载激光云台作为新建的高点监控设施。云台摄像机白天有效可视覆盖半径在5 km以上，夜间补光距离在2.8 km以上，满足监控场景的配置需求。视频智能分析系统的架构如图3所示。云台与现有低点监控联动负责前端的视频采集，视频数据通过专线接入云端网络，移动端和视频平台可从云端中任意调取视频数据，算法的配置和训练在后端AI服务器上实现，视频平台通过与AI服务器的交互实现对算法的展示与编排。

2.2系统功能设计

高低联动的视频智能分析系统支持将前端设备或业务系统采集的多维信息（如工情、墒情、温湿度、雨量、风速、蒸发量等）进行汇聚和标签化展示，支持高低点视频调取、视频联动分析、数据可视化展示、电子地图等功能。核心功能包括：

（1） 高高联动。支持在监控场景中内置边界信息，调取某点监控时可自动提取相邻的监控点信息。可通过标签上的按钮功能一键切换到另一个高点场景；可以通过高点监控列表点击进行切换，从一个高点监控点切换到另外一个高点监控点；可以通过二维地图点击高点监控图标进行全景画面切换。

（2） 高低联动。基于高低结合的监控部署方式，需手动打开重要区域附近所有高低点实时视频，可有效减少重点区域覆盖盲区。采用低点为主、高点为辅的高低点联动部署方式，系统通过阴影的方式展示所有高点点位的可视域及当前视场范围，并动态计算高点视场范围内的低点点位，实现高点点位的视场角自动联动低点视频。系统接收到布控报警信息后，用户可点击查看报警信息并联动高空的激光重载云台相机进行目标区域对焦，快速锁定并展示报警区域的图像，方便用户进行研判分析。此外，根据用户的监控需求，若系统中的高低点监控场景的算法配置一致，同一视场中高低点监控的识别结果可相互反馈，将各自对应的图像传输到算法训练集中，通过智能分析实现识别结果的融合，提升报警准确率。

如图4所示，东津渡大桥开启高点联动模块后，可通过高点监控展示东津渡大桥可视域，手动控制云台视场角时自动联动低点监控点位拌合站、大滩涂排灌站实时视频。

3智能分析配置和应用研究

3.1模型算法配置

利用最新的人工智能、机器学习、神经网络和深度学习等技术［14-15］，结合引江济淮工程的实际情况，建立AI模型训练平台，配置算法可实现区域入侵侦测、垃圾堆检测、工程车检测、水面漂浮物检测、船只识别、安全帽佩戴检测、非法采砂检测、钓鱼识别、饲养家禽家畜检测、乱堆物料堆检测、管线杆线架设检测、越界侦测、停车侦测。

3.2AI模型训练平台

AI模型训练平台基于高性能并行训练推理集群与自研深度学习框架，由数据管理、模型训练、模型部署三大服务模块组成，通过B/S与C/S两个客户端向用户提供可视化操作功能，训练平台总体架构如图5所示。AI服务器配置i7-10875HCPU@2.30GHz处理器，16G内存，NVIDA Geforce RTX 3080 Ti显卡。在Windows 10系统上进行模型的开发，开发环境为Python 3.7，深度学习框架为mmdetection，模型采用docker形式部署。

算法訓练平台已经固化了算法框架及算法网络，用户采用算法训练平台可训练生成检测+分类（混合）模型、视频行为分析模型、语义分割模型等算法，在1024×1024分辨率下的预测帧率为60fps。训练流程基本一致，如图6所示。

（1） 加载预训练模型：将PASCAL VOC、MS COCO、ImageNet等数据集导入平台进行预训练，采用fine-turning迁移学习算法增强模型的特征提取能力，包含图中的过程①。

（2） 上传训练数据：用户整理所需要的训练数据上传到平台，包含图中的②过程。数据集来源于选取的10座水利枢纽，不同天气条件（晴天、阴天、雨天），在水利枢纽不同位置高低点使用高清摄像头拍摄获得，每隔3 h拍摄一次，针对应用场景采集10 000～30 000的数据集量。

（3） 生成样本集：用户将需要训练的图片进行筛选，并对要训练的图片部位进行分类，采用Labelme进行训练数据的标注，转化成VOC数据集格式，包含图中的过程③。

（4） 算法训练：采用AI模型训练平台内置的算法网络，进行算法训练；包含图中的过程④和⑤。模型算法配置和应用场景间的对应关系如表2所列。

（5） 算法校验：系统支持本地上传数据和创建校验集两种方式对训练后的模型进行校验，以帮助用户模拟实际生产环境，对模型效果进行进一步评估，包含图中的过程⑥和⑦。

（6） 算法发布与加载：经过校验的算法版本在AI模型训练平台进行发布。将算法包导出到本地，再上传给GPU服务器，包含图中的过程⑧和⑨。

3.3应用效果分析

3.3.1报警准确率分析

如图7所示，派河口泵站和兆河节制枢纽的高低点视频分别成功识别了停泊车辆和工程车并进行了准确的报警反馈，而柯坦河处针对管线杆线架设检测却出现了误报，因此需对具体场景的报警准确率进行统计分析，检验系统应用的整体效果并进行针对性优化。

图7高低联动监测实例

Fig.7High-low linkage monitoring cases

如表3所列，从算法部署完毕至2022年2月18日，预警模型整体正报率约68.0%。截至2022年4月26日，汇总、统计平台数据，预警模型整体报警准确率约75.9%，期间进行的算法训练，提升了7.9%，这说明算法训练对报警准确率的提升有显著效果。从2022年5月18日起关闭所有低点监控，截至2022年7月18日，报警准确率从73.3%下降至61.5%，可知低点监控对高点监控盲区补充的重要性。从2022年8月1日起关闭所有高点监控，截至2022年10月15日，报警准确率比高低联动的情况下降低了12.3%，与高点单独监控的正报率相差不大，说明两者通过互补联动提升了整体的正报率。

3.3.2识别距离分析

高点监控测试验证白天可视距离6 km，夜间可视距离2.8 km。由于预警触发有最低像素要求，在相机表4还列出了相关模型所有正报样本的平均识别距离，高低联动识别距离比理论覆盖距离减少7.1%～31.3%，平均识别折损率为17.5%，其中船只识别、工程车/非法采砂检测折损率偏小，这可能是检测目标体积偏大导致的。而像安全帽佩戴、钓鱼识别、饲养家禽家畜等小体积目标监控识别距离折损明显。切断低点监控关联后，单独采用高点监控的识别距离较理论覆盖距离减少了14.5%～61.8%，平均折损率达到了37.7%，这说明高低联动效应对识别距离有着显著的提升效果。综上，算法识别距离虽然受检测目标大小控制，但相对理论覆盖距离折损率不大，高低联动效应显著降低了识别距离折损率，这为后期新建监控点的有效配置提供了指导。

3.3.3问题总结

通过统计数据发现，目前钓鱼识别、安全帽佩戴检测、水面漂浮物检测、越界侦测和徘徊侦测等预警模型识别准确率较低，可能是因为监控目标较小、移动速率较快导致。另一方面，采集的数据样本量、迭代次数、训练时间可能仍不能满足模型训练的需求，导致报警准确率较低、识别折损率偏高。因此，后期针对小型移动目标需要加强样本采集和模拟训练量，对数据集中的图片进行增强处理的研究，模拟更加恶劣条件下的监测情况。此外，不同场景下的模型仍具有局限性，针对某一相同的算法配置，不同监控点间的识别能力也有明显的差异，后期应继续加强对模型算法的研究与优化，根据各监控点位的运营管理需要、现场取景位置、遮挡情况、河道弯曲情况等配置适应性更强的预警算法。

4结 语

为弥补传统低点监控智能化水平低、视野不足、抗干扰弱、易被遮挡等缺陷，本次研究在接入现有低点监控的基础上，通过在通信铁塔上挂载高点视频监控，形成引江济淮工程沿线高低联动智能视频感知体系。结合工程特点，确立了重大枢纽、事故频发、高防汛标段为重点的高点监控选址原则。利用物联网技术设计了高低联动、高高联动的视频智能分析系统。在对高低联动视频感知的智能化考察中，算法训练平台在短时间内有效提升了报警准确率。同时，高低联动模式也展现出比单一的高高联动更高的报警准确率和更远的智能识别距离，证明了高低点监控互为补充的优越性。引江济淮高低联动智能视频感知体系的建设，不仅显著提升了调水工程的信息化、智能化水平，也为水利工程中高低点结合的视频监控设置提供了范本。

参考文献：

［1］水利部信息中心.水利部印发关于推进智慧水利建设的指导意见和实施方案［J］.水利建设与管理，2022，42（1）：5.

［2］徐健，李国忠，徐坚，等.智慧水利信息平台设计与实现：以福建省沙县智慧水利信息平台为例［J］.人民长江，2021，52（1）：230-234.

［3］刘志雨.提升数字孪生流域建设“四预”能力［J］.中国水利，2022（20）：11-13.

［4］喻杉，黄艳，王学敏，等.长江流域水工程智能调度平台建设探讨［J］.人民长江，2022，53（2）：189-197.

［5］闫超，张苗.水利工程中视频监控系统的应用［J］.计算机产品与流通，2019（2）：125.

［6］姜小俊，黄康，余魁.浙江水利视频监控云平台研究［J］.水利信息化，2018（1）：67-72.

［7］朱先任.网络视频监控系统在水利工程抢险中的应用［J］.人民黄河，2021，43（增1）：38-39.

［8］张建云，刘九夫，金君良.关于智慧水利的认识与思考［J］.水利水运工程学报，2019（6）：1-7.

［9］程诚，董晨龙，李宏，等.智慧视频识别在水利信息化中的应用［J］.四川水利，2019，40（3）：124-128.

［10］浮瑶瑶，刘新，刘微，等.基于高点视频的交通事件检测技术［J］.公路交通科技，2014，31（2）：128-134.

［11］陈春霜.基于GIS高点视频定位的研究及应用［J］.江西通信科技，2022（2）：27-30.

［12］于琛，胡德勇，张亚妮，等.DＥＭ空间分块的洪水动态演进算法研究与应用［J］.测绘科学，2020，45（10）：181-189.

［13］YAO C，LI Z，ZHANG K，et al.Evaluating performance dependency of a geomorphologic instantaneous unit hydrograph-based hydrological model on DEM resolution［J］.Water Science and Engineering，2022，15（3）：179-188.

［14］陳琦睿.水利物联感知应用分析［J］.中国新通信，2022，24（8）：75-77.

［15］蒋云钟，冶运涛，赵红莉，等.智慧水利解析［J］.水利学报，2021，52（11）：1355-1368.

（编辑：黄文晋）