视频拼接融合技术在斗轮机无人值守系统中的研究应用

串志强 周洪利

[摘    要]随着数字化煤场信息化的快速发展，煤场管理人员和技术人员以及操作员缺乏视频监控信息集成手段的认识，无法实现将有效的监控信息与实际的场景建立关联，在斗轮机工作过程中可能会存在大量的盲点，无法实时掌握监控区域的整体实时状况，无法最大化发挥出视频监控的价值，故原有视频监控模式在条形煤场斗轮机无人值守系统中无法满足现实需求。提出一种实现视频图像融合的技术方案并成功应用于项目，系统采用视频图像特征提取、视频图像融合等算法，结合摄像机合理布局，完成对数字化条形煤场的图像拼接与融合。结合项目实际情况，将煤场马道上六个摄像机进行视频融合，完成在一幅图像中查看整个煤场的实时动态情况，实现了将视频监控信息与传感器信息进行有效融合，从而获得实际应用场景的三维全景图，提升故障诊断能力，将视频监控应用提升一个台阶。为斗轮机设备、周边设备及人员的工作安全提供有力的技术支撑和保障，为斗轮机无人值守系统安全运行提供决策支持。

[关键词]全景拼接;图像配准;圖像融合;特征点去噪

[中图分类号]TM621 [文献标志码]A [文章编号]2095–6487（2022）01–0–04

[Abstract]With the rapid development of digital coal yard informatization， The managers， technicians and operators of coal yard are lack of large-scale discrete video information means of effective integration for the traditional video monitoring system， and can't associate the effective monitoring video with the real scene in isolation. There may be a lot of blind spots in the working process of bucket wheel， and they can't grasp the overall real-time situation of the monitoring area in real time， and can't maximize the use of video monitoring Therefore， the original video monitoring mode can not meet the practical needs in the unattended system of bucket wheel machine in strip coal yard. In this paper， a fusion algorithm of strip image and video image is proposed and applied to the project. Combined with the actual situation of the project， the video fusion of six cameras on the raceway of the coal yard is completed to view the real-time dynamic situation of the whole coal yard in one image， so as to effectively integrate， analyze and process massive video monitoring and various complex sensor information， so as to obtain the panoramic visualization and fault judgment ability in three-dimensional space-time， and enhance the application of video monitoring to a higher level steps. It provides strong technical support and guarantee for the safety of the bucket wheel machine equipment， peripheral equipment and personnel， and provides decision support for the safe operation of the unattended system of the bucket wheel machine.

[Keywords]panoramic mosaic; image registration; image fusion; feature point denoising

随着摄像机应用技术的不断演进和成熟，图像拼接技术在视频领域应用受到越来越多的重视。国内外很多研究者对其进行了不同方式的探索和研究，取得了一定的成果。在高空飞行拍摄森林图像时，受到地理地貌、飞行高度、无人机稳定性、镜头分辨率等因素的影响，无人机只能一次获取部分林区图像。因此需要使用图像拼接技术对拍摄图像进行拼接，以此获取整个林区全貌。然而，国内外大部分研究针对图像拼接技术、视频拼接技术发展起步较晚，技术尚未成熟完善。视频拼接原理上虽然是多副图像的拼接，但是在实际使用时应考虑同步性，这就需要发现一种效果更佳的图像拼接技术来提高处理速度，保证同步性。

在传统的视频监控系统中只能观察到摄像机周边的情况，对于大场景观察到的情况有一定的受限性，可能并不能清晰地观察到对应场景的整体情况，视线相对比较狭窄，水平方向和垂直方向仅仅是在25°～70°，在传统的视频监控系统中，相关的操作人员或技术人员在根据视频观察实际情况时，对技术人员或者操作人员有比较高的要求，对场景的熟悉程度提出更高的要求，对多个屏幕来进行观察分析时，只观察其中某几个视频图像，需要视线不停切换，因为每个图像之间只是有比较小的区域存在区别，如此无形之中增加了工作人员的工作负担，对正常运行操作有比较大的影响。总之，操作人员不能及时地从全场景观察到对应具体的事物变化情况，可能存在安全隐患或事故的发生，存在一定的事故风险，不利于企业经营和生产的有序安全运行。

煤场管理人员、技术人员以及操作员对传统的视频监控系统缺乏有效集成的大场景在空间上分割、隔离视频信息手段，不能迅速将孤立视频内容与真实的场景相关联。在斗轮机工作过程中可能会存在大量的盲点，无法实时掌握监控区域的整体实时状况，无法最大化发挥出视频监控的价值，故原有视频监控模式在条形煤场斗轮机无人值守系统中无法满足现实需求。

该系统首先是在软件架构上的创新，将整个系统应用微服务架构的思想，将服务根据实际业务需求划分为多个层级，尽可能减少服务的耦合度，更高更有效地利用服务器资源。另外，将位置上相关联的视频进行特征提取，完成特征筛选;采用拼接融合算法，完成图像拼接以及深度融合，将位置相关联的视频图像拼接成高分辨率、宽视角的完整图像。该研究适用于比较开阔、场景比较单一可控的大场景区域或者工业场景，如煤场、矿场、港口等区域，该方案提高视频使用效率，提升用户体验，共同提升视频指挥体系或者应急指挥体系的价值。

1 系统关键流程与实施

本系统关键业务主要分为两部分：①业务方面，结合大数据技术方面的应用;②视频处理方面，包括原始视频数据和融合视频数据，以及结构化数据和非结构化数据。其主要流程如图1所示。

（1）客户端将业务请求（Request）数据发送给消息中间件（RocketMQ）服务。

（2）通过消息中间件服务将客户端业务数据请求分发给管理服务。

（3）经过管理服务内部处理后，将返回的数据格式化。

（4）管理服务将处理好的数据通过消息中间件，将数据返回给UI客户端。

（5）UI客户端发送请求视频融合。

（6）管理服务生成视频融合任务，并制定相应的策略，同时负责动态负载均衡地将任务分配到比较空闲的视频融合服务上进行计算。

（7）在管理服务生成任务和确定视频融合服务后，将任务下发给制定的视频融合服务上。

（8）视频融合服务启动任务后，通过GB28181协议从视频监控服务拉取视频流，并进行视频融合算法计算。

（9）视频融合服务将计算结果事实推送给UI客户端，UI客户端对融合后的视频进行解码播放。

其中结构化数据包含的流程包括：UI与管理服务，管理服务与视频融合服务之间的消息通信;非结构化数据包括：与视频监控服务之间视频流存储与拉取以及视频融合服务与客户端（Client）之间的视频流拉取或推送。

2 視频融合模型计算

2.1 视频图像配准

2.1.1 视频图像特征点提取

基于SIFT特征点的图像匹配算法，需要采用的步骤为：①根据算法获取相邻图像间的重叠区;②对重叠区做特征检测，获取特征点;③对特征点做特征匹配，以完成对图像配准的前期数据准备。

2.1.2 特征点优化与去噪

在提取的特征点中，存在部分极值点不是关键点的情况，所以需要优化调对比度比较低的特征点，剔除处于图像边缘的特征点。达到更能符合实际情况以及特征点能够精确反映真实情况的目的。另外，根据实际情况，划分场景为敏感区域和非敏感区域，针对敏感区域增大特征点密度处理;针对实际场景中非敏感区域，降低特征点密度。对特征点所属不同区域做加权处理，尽可能无限逼近现场情况。

2.1.3 特征匹配算法

在采用SIFT匹配算法时，通过算法找到最近邻点与次近邻点进行特征匹配。

2.2 视频图像融合

多个摄像机在不同方位对同一个场景进行拍摄，因为所处的方位不同可能会产生因为外部环境不同而造成图像亮度不同的情况。，利用视频融合技术可消除图像重叠部分的拼接缝问题和亮度等问题。

3 实施效果

四期煤场共4个条形煤场，#2斗轮机在3.4号煤场作业，煤场东西长270 m，单个条形煤场宽45 m。2#斗轮机上方中间和北面有两台检修马道，上布置有10个球机，每条马道布置5个，间隔45 m。本文选择摄像头6、摄像头7和摄像头8作为示例，煤场摄像机部署如图2所示。

本系统设备采用海康网络摄像机，型号为：DS-SDE7232IW-A（C），经过视频图像特征点提取、配准以及视频图像融合，实施效果如图3和图4所示。

另外，视频融合后的结果如图5所示，融合后基本上能够覆盖煤场的部分位置。

由上述结果所示，基本上满足目前需求。

4 结论

本研究引入目前比较流行通用的大数据开发的微服务架构，对系统开发进行了有益的尝试。算法方面，采用视频图像特征提取、视频图像融合等算法，完成对条形煤场的图像拼接与融合，达到了整合数据、动态分析、实时处理海量视频信息的目的，同时与各类复杂传感器信息进行深度融合，通过上述数据整合获得在三维时空中的全景可视及故障判断能力的目的，同时也将视频监控应用提升一个台阶。在数字化煤场安全运营方面，为斗轮机设备、周边设备及人员的工作安全提供有力的技术支撑和保障，保障斗轮机无人值守安全运行。

参考文献

[1] 陈淑清.一种改进的图像无缝拼接算法[J].武夷学院学报，2016，35（6）：65-69.

[2] 梁高升. 基于多摄像头的全景图像拼接系统[D].济南：济南大学，2016.

[3] 杨艳春，李娇，王阳萍.图像融合质量评价方法研究综述[J].计算机科学与探索，2018，12（7）：1021-1035.

[4] 朱炼，孙枫.夏芳莉，等.图像融合研究综述[J].传感器与微系统，2014，33（2）：14-18.

[5] CHANG C H，SATO Y，CHUANG Y.Shape—preserving half-projective warps for image stitching[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition，2014：3254-3261.

[6] 资讯新视界编导.诺基亚推出虚拟现实摄像机OZO[J].上海国资，2015，26（8）：14.

[7] 王糍，周军.图像美感质量评价方法研究[J].网络新媒体技术，2018，7（3）：19-24.

[8] CANNY J.A computational approach to edge detection [J].IEEE Transactions on Pattern analysis and Machine Intelligence，1986，8（6）：679-698.

[9] 邹超洋.基于多摄像头全景图像拼接的实时视频监控技术研究[D].广州：华南理工大学，2014.

[10] 赵小川，何灏，繆远诚.MATLAB数字图像处理实战[M].北京：机械工业出版社，2013.

[11] 刘瑞祯，于仕琪.OpenCV教程基础篇[M].北京：北京航空航天大学出版社，2007.

[12] Rafael C. Gonzalez， Richard E. Woods， Steven L. Eddins. Digital Image Processing Using MATLAB（阮秋琦译）[M].北京：电子工业出版社，2014.

[13] 朱云芳，叶秀清，顾伟康.视频序列的全景图拼接技术[J].中国图象图形学报，2006，11（8）：1150-1155.

[14] 苗立刚.视频监控中的图像拼接与合成算法研究[J].仪器仪表学报，2009，30（4）：857-861.

[15] 施明登，周鹏，白铁成.全景图像拼接技术在胡杨研究中的应用[J].湖南农业科学，2014，53（22）：5539-5542.

[16] 陆文周.Qt5开发及实例[M].北京：电子工业出版社，2015.

[17] 刘艳英.高清视频切换技术的研究与实现[D].泉州：华侨大学，2014.

[18] 库德强.基于工控机和PLC的监控系统的研究[D].沈阳：沈阳工业大学，2006v.

[19] Brown M， Lowe D.G. Automatic Panoramic Image Stitching using Invariant Features International Journal of Computer Vision[J]， 2007， 74（1）：59-73.

[20] Ozawa T， Kitani K.M， Koike H. Human-centric Panoramic Imaging Stitching[C]// AH12 Proceedings of the 3rd Augmented Human International Conference Article No.20， New York：ACM， 2012.

[21] 劉李纬.基于特征的多路视频实时拼接技术的研究与实现[D].北京：北京工业大学，2015.

[22] 施明登，周鹏，白铁成.全景图像拼接技术在胡杨研究中的应用[J].湖南农业科学，2014，53（22）：5539-5542.

[23] 李宗辰，朱秀昌.基于VLC的Android多路视频监控系统[J].现代电子技术，2013，36（24）：63-66.

[24] 赵书睿.全景图像拼接关键技术研究[D].成都：电子科技大学，2013.

[25] 吴琼.多摄像头视频融合系统的设计与实现[D].成都：电子科技大学，2013.

[26] 霍春宝，童帅，赵立辉.SIFT特征匹配的显微全景图拼接[J].辽宁工程技术大学学报（自然科学版），2015，34（1）：93-96.

[27] 徐杰，金湘亮，白瑞广.一种改进的摄像头视频实时拼接方法[J].计算机工程与应用，2013，49（24）：179-181.

[28] 阮芹.实时视频拼接系统关键技术研究[D].武汉：华中科技大学，2011.

[29] 尹文生，罗榆林，李世其.基于OpenCV的摄像机标定[J].计算机工程与设计，2007，28（1）：197-199.

[30] 张春林，余黄河.基于FPGA的图像融合处理系统方案设计[J].信息安全与技术，2013，28（1）：59-61.

[31] 唐福明.图像拼接中颜色校正及图像融合研究[D].长沙：中南大学，2013.

[32] 朱伟，赵春光.OpenCV图像处理编程实例[M].北京：电子工业出版社，2016.

[33] 张恒.基于SIFT的图像拼接算法研究[D].天津：河北工业大学，2012.

[34] 薛佳乐，赵萌，张哲，等.针对大视差图像拼接的显性子平面配准[J].中国图象图形学报，2018，23（3）：323-332.

[35] 王震，许晓航，王静，等.多路高清YUV视频GPU实时拼接研究[J].计算机工程，2016，42（12）：314-320.

[36] XIANG T Z，XIA G S，BAI X，et al. Image Stitching by Line-guided Local Warping with Global Similarity Constraint[J].Pattern Recognition，2018，83：481-497.

[37] OTSU N. A threshold selection method from gray - level histograms[J]. IEEE transactions on systems， man， and cybemetics， 1979，9（1）：62-66.

[38] ZHANG C， XIE Y，LIU D， et al. Fast threshold image segmentation based on 2D fuzzy Fisher and random local optimized QPSO[J]. IEEE Transactions on Image Processing，2017，26（3）：1355-1362.

[39] 王伟，陆佩忠.数字图像拼接技术[J].小型微型计算机系统，2006，27（7）：6.