基于无人机全景影像优化河道巡查方法的研究及应用

孟庆烨,王立权,李铁男,郭微微,杨阿龙

(1.黑龙江大学水利电力学院,哈尔滨 150080;2.黑龙江省水利科学研究院,哈尔滨 150080)

0 引 言

河道巡查的任务是确保工程主体及附属设施完好、区域整洁,查看隐患情况、维护进度、是否出现违建工程等,以保证水利工程主体及附属设施的正常运行,防止出现损毁水利工程的行为,并监测管控河湖水域岸线,利用建设项目和特定活动及时排查工程安全隐患及其边坡、库岸、管理设施等可能存在的隐患、缺陷、损毁或损坏情况等。

现阶段巡河调查中,人工徒步依然是主要的工作方式,不仅需要耗费大量的人力和物力,而且实际的巡查效率不高,易造成问题区域调查的遗漏。对于一些流域面积较大的河段,如果单纯依靠河湖长或各级巡河人员,不仅影响河道巡查质量,而且无法实现河道巡查的任务全覆盖。近年来,随着无人机技术的快速发展,其遥感操作灵活性、安全性、稳定性使其应用在多个领域。其搭载传感器获得的影像数据分辨率高、时效快、不受云层影响[1],对大流域范围与长河段勘测巡查工作具有很好的实用性,在部分地区无人机巡检也成为巡河工作不可或缺的技术手段。不足之处是无人机的工作时长受限于其动力系统,以目前使用率较高的大疆精灵4a为例,理想条件下30min每架次,但实际工作时长在15～20min,以往无人机传统的拍摄取样方式影像资料获取有限,不能对问题区域进行充分巡查,难以完成工作需求[2]。

鉴于上述背景,文章提出一种改进无人机巡查方法。通过借助全景图技术,优化数据获取方式,全景图可以提供更加完整的环境信息,可以更好地捕捉勘察环境的细节,精准巡查违法建筑物等,满足对河湖水域岸线的巡查任务。无人机具有快速传输、机动灵活和成本低廉等优势,为河道巡查提供技术支撑,有效提升巡查任务的效率,做到问题不遗漏,确保巡查工作任务的全覆盖。本研究旨在提升河道巡查检测和识别效率,在河湖“清四乱”和妨碍河道行洪的突出问题排查整治工作基础上,做到“查”与“改”同步进行,为推动河湖长“四乱”清理工作提供了保障。

1 无人机全景影像

全景图是基于计算机视觉与虚拟现实中一种重要的场景表示方法,通过计算机对空间周围环境连续采集的影像缝合渲染而建立的数字模型。全景影像作为虚拟现实技术表现的一种,其在空间固定点位连续采集不同视野的图像,包含超出正常视野的图像,使用者控制角度与拉进图像距离获取周围不同视角的信息,展示和记录所在点上全空间的特征信息,最大程度在终端上模拟了空间场景,实现对巡查点位的多方位漫游预览[3]。自全景图问世,其制作一直处于高成本制作行列,随着民用无人机应用的普及与PTgui与Photshop等全景制作平台的出现,无人机全景影像的制作成本与时间成本也在不断降低,无人机全景图开始被广泛应用到众多领域,三维模型可以传送至网络平台,在多种终端进行观看。将无人机全景技术融入到河道巡查工作中,结合无人机低空遥感灵活,机动性强[4],所获取的全景图像信息具有精度高,预览视野广等特点,所拍摄制作的全景图能更好的保证巡查地点的特征信息完整展现。

2 基于无人机全景影像结合网络平台巡查方法

2.1 无人机部署及任务拍摄

在巡查的区域内,以河道为中心在河道两侧部署悬停点。悬停点设置参考无人机的地物分辨能力[5],即无人机的地面采样距离(Ground Sampling Distance,GSD)。结合无人机航测规范对其航高进行确定无人机图像的地面采样间隔大小与无人机航高h、传感器像元尺寸α和镜头焦距f之间的关系为

h=f×GSD/α

(1)

在相同地面采样间隔下,无人机航高越高,所获得的影像数据越多,但其地物分辨力越低,无人机合理部署决定了巡查效率与全景图质量。待无人机到达指定地点后,以悬停点为中心进行任务拍摄。将相机参数设置为快门优先,通过降低曝光,保留图像更多细节,为内业制作留下充分的空间。悬停无人机云台水平设置旋转取景拍摄8～10幅样张,保持相邻样张30%以上的重合度;使云台相机下调俯角至45°旋转一周获取6～8幅样张,保证40%重合度,后垂直拍摄正射图像1～3张。在图像获取过程中保证相邻测光点一致,全景图像源数据获取完成。

2.2 内业制作

2.2.1 源图像预处理

图像预处理通过Adobe Lightroom对拍摄样张进行统一校调。Adobe Lightroom是Adobe公司旗下基于像素图象的编辑器,具有修正图像畸变、镜头校正、曝光调节等功能。相较于Photoshop,Lightroom具有强大的图像批量处理能力,能快速的进行图像收集与整理。对于在悬停点进行不同角度的图形获取,造成相机传感器进光量不同,导致拼接图像的亮部与灰部存在巨大差异,影响了成像效果。通过Lightroom对图像的预处理,对样张曝光和色差的统一调节,启用配置文件的修正,以控制多样源图像缝合处的色差与畸变,降低对全景图生成的影响。

2.2.2 图像拼接处理与补天网络发布。

全景图拼接工作可采用PTGui软件处理,相较于Photoshop、Lightroom等软件PTGui全景图合成速度更快,对于全景图合成错位等问题,通过修正控制点即可对全景图进行纠偏,其通过为全景制作工具提供可视化界面来实现对图像的拼接,从而高效率的制作出高质量全景图象。其工作流程为;将Lightroom输出素材图像批量导入PTGui,对图像的重叠区域自动运行控制点匹配,通过图像生成质量对控制点进行修正,以达到提高图像精度为目的进而对全景图输出。

网络上传全景影像是基于720yun平台完成的,720yun平台是可视化全景内容创作与分享的平台,以网页链接进行分享,可以适应多种终端设备包括手机、电脑等终端浏览展示,最大程度的体现了全景图的丰富的交互性与验证性的特点,将其作为网络发布平台。现阶段无人机航摄所携带云台仰角最高40°,不能拍摄完整天空信息,致使全景图合成缺少天空数据,在网络发布前应先对全景影像进行补天工作。其流程如下:

1)将全景图导入Photoshop,框选天空缺失部分。

2)选择全景图已拍摄天空对天空缺失部分进行识别补全,进行输出全景影像。

3)上传全景影像至720yun平台,以河道巡查区域为底图制作电子沙盘,巡查点与所在电子沙盘的位置进行链接工作,完成网络发布。

4)创建全景图平台分享链接,实现在各种终端上对巡查河道区域进行问题跟踪复核流程。

2.3 巡测方案与流程

具体参数如下执行无人机飞行作业前,应满足当地法律法规与无人机航摄安全作业基本操作,其作业流程如下:

1)航线上报,由取得无人机相应飞行资格的驾驶员申请,确定作业区域范围对精灵4a进行航线规划设置,参照公式(1)计算作业航高。

2)飞前检测,检测无人机螺旋桨是否无损紧密卡牢固,测试电机电调正常运转,并确定飞机图传模块与地面图传数据保持上下行通信链路的畅通;旋转机身进行地磁校正,即搜星工作达到7颗及以上时,飞前检测工作完成。

3)任务执行,驾驶员将筛选后的地理信息点制作任务点由地面端上传至无人机,无人机起飞开始执行命令,无人机在航线拍照取样实时同步到地面端。在高空记录问题区域收集的收集工作,传输至电脑端进行全景图制作。

4)无人机返航,记录无人机飞行POS数据(三维坐标及姿态)与影像数据。讲影像传输至工作站。并记录执行任务时段的气温等气象条件,填写飞行记录表。

3 无人机全景影像应用案例

某松花江河段位于黑龙江境内,河道两岸均有提防,巡查堤防长约2km距城区30km,该河段巡河工作以人力巡河与无人机传统巡河为主。本次全景影像优化河道巡查选用相同无人机大疆精灵4a,其性能参数满足本次巡查需求。大疆精灵4A主要参数,见表1。

表1 大疆精灵4A主要参数

选取该堤防作为巡查对象,周围存在高压线与桥梁等高耸建筑物,参照上式(1)设置相对航高为45m,该河段状况复杂弯曲非直线,在该河段左右两岸基础上选取5该航点航点,作为全景图拍摄点。在空旷平坦处放置无人机并执行起飞命令,待升高至45m后向航点行进,到达航点处悬稳定停后开始拍摄。回收无人机数据采集完成,航测作业共历时7min,参照传统无人机巡河方案节省电池消耗35%,巡查耗时缩短50%,共计获取125张具有地理信息位置JPG影像,建立5幅全景图模型并上传至720yun平台实现网络上传,传输至巡查人员做到及时发现与整改,确保不漏任何问题及隐患。

4 结 语

针对目前大流域长河段,巡查难度大,效率不高的问题,充分考虑了“清四乱”的工作难点,通过优化无人机影像获取方式,开展无人机全景影像河道巡查方法探索,结合实地现场巡查,得到结论如下:

1)全景图所提供的超视野的图像,可以完整的提供环境信息,保留巡查区域的细节,提供巡查信息点位,代替传统拍照方式对河道巡查工作具有良好的适用性。

2)借助无人机进行全景图拍照取样,发挥了无人机快速、高效的特点以全景图的形式代替了无人机巡查时长时间盘旋,解决续航不足的问题,有限的无人机巡查时间,有效的提高了巡查效率。

3)全景图补天工作,以Photoshop内容识别方式进行补天,想对于通过上传网络发布,使复核人员在各种终端上快速的对全景图的预览,其结果更加直观,提高了复核速度,做到查与改并行的巡查要求。