基于运动与表象特征的广域船舶目标识别方法

严荣慧，谢海成，花敏恒，羊箭锋*

1 苏州大学 文正学院, 江苏 苏州 215104

2 苏州大学 电子信息学院, 江苏 苏州 215006

0 引 言

我国内河航运正处于快速发展的阶段[1-2]，货运、水上旅游等需求不断扩大，航道内除了货船、游船等大型船舶航行外，还有各类小型船舶（游艇、皮划艇、摩托艇等）在航道内交互穿梭，航行环境日益复杂，监管难度增大，碰撞风险也愈加严峻，对水上交通安全构成了巨大挑战[3-4]。传统的航道内航行监管主要依赖船舶上安装的自动识别系统（AIS）， 然而，受供电限制的小型船舶无法安装AIS系统终端，且AIS系统定位精度及可靠性也不足，导致现有监管系统一直存在监控盲点[4]。因此，对关键广阔水域（广域）内航行的所有船舶进行识别管理是当前航道监管亟待解决的问题[5]。

目前，基于图像的目标检测方法（例如YOLO检测算法）在航道船舶监控领域具有显著的应用价值[6-9]。马吉顺等[10]提出的基于 YOLO 检测算法的航区内船舶识别定位系统取得了很好的效果，但采用YOLO检测算法对广域范围内航行的船舶进行识别定位时，经过多层卷积和池化后，使得识别小目标的准确率偏低，基本上丢失了小目标特征，而在监控范围内远水域的大型船舶则呈现出的是小目标特征，致使YOLO检测算法无法准确识别。可见，基于YOLO检测算法的船舶识别系统只局限于近水域，不能满足对广域内航行船舶实施监控的实际需求。

本文拟将运动目标检测方法（例如，基于背景差算法）与图像表象特征识别方法（例如，基于深度学习算法的YOLO检测算法）相结合，设计关键广域内航行船舶的识别算法，综合运用目标的运动及表象特征进行两个维度的识别，并通过改进的目标检测方法，进一步提高识别的准确率。最后，使用常规监控摄像头现场对广域航道监控区域内船舶图像进行统计分析，用以验证所提船舶目标检测方法。

1 广域航道内船舶航行特征的分析

航道内船舶往来频繁，船舶惯性大，且均有稳定的运动特征，同时目标还呈现出了一定的图像表象特征。然而，由于航道监控具有范围广、高纵深等特点（如图1所示），在监控范围内，同一艘船舶的远、近处位置不同，因此在监控画面内呈现的外形大小、表象特征迥异。本文根据目标成像的面积，将这些船舶分为大、小、微小目标3个类别。

图1 航道监控中远、近水域内船舶目标对比Fig.1 Comparison of ship target in the far and near water areas during waterway monitoring

航道内近水域航行的船舶其运动及表象特征明显，但在近水域会有明显的水纹、漂浮物等噪声干扰，一定程度上影响了识别船舶目标的准确率，而远水域虽无水纹、漂浮物等噪声干扰，但船舶运动及表象特征却不明显，也不利于对船舶目标进行准确的识别。

2 基于运动及表象特征的船舶目标识别

2.1 基于背景差分算法的运动目标检测

背景差分算法(background subtraction algorithm)[11-12]是一种运动目标检测方法，其基本思想是通过多帧时间序列图像构建一个不含运动目标的背景模板，将当前单帧图像与背景图像相减，计算得到与背景偏离超过一定阈值的区域作为运动区域，再根据当前帧的图像自适应更新背景图像参数。背景模板建构方法能够自适应处理光照及长时间的场景变化等干扰。此外，该算法具有像素级检测能力，对船舶目标识别召回率极高，既可识别近处大的船舶目标，对远水域小及微小的船舶目标也具有准确的识别率，而且能够极大地扩展对船舶监控的范围。如图2所示，基于背景差分算法检测得到的小目标识别效果。

图2 基于背景差分算法对小目标船舶的识别效果Fig.2 Recognition effect of small-sized ship target by background subtraction algorithm

采用基于背景差算法的运动目标检测方法需要图像背景完全静止，但在航道中作为背景的水面环境复杂，含有持续性的噪声干扰。例如，动态的水纹噪声会被识别为运动目标，运动检测方法得到的识别结果会存在大量的噪声框，降低了船舶目标识别的准确率。图3所示为运动目标检测效果，其中蓝色边框为船舶真实目标，红色部分为水纹噪声。为此，需要对基于水纹特征的船舶目标检测降噪方法进行改进。

图3 基于背景差分算法对运动目标检测效果Fig.3 Detection effect of motion target by background subtraction algorithm

鉴于航道监控成像具有高纵深的特点，监控画面中近处水面的细节特征丰富、变化剧烈，而远水域水面的细节特征模糊、平稳，且水纹噪声分布多位于监控画面视角的近处。因此，根据水纹噪声分布的特点采取如下水纹降噪的改进措施。

1） 渐变滤波降噪。

水纹噪声属于椒盐噪声，平缓的水纹中交杂有明暗变化，边缘特征不明显，故采用中值滤波算法进行初步的水纹降噪处理[13]。滤波模板的大小会影响平滑效果，模板越大效果越好，但模板过大又会损失边缘信息。航道监控图像中船舶目标大小呈现了近大、远小的分布特点，若对整幅图像使用同一个滤波模板处理，将严重损失远水域的小目标、微小目标的表象特征。为此，针对航道监控的水纹噪声多分布在图像下方的特点，本文设计了渐变中值滤波算法。式（1）为航道远近自适应调整滤波模板。

式中：Ksize为 滤波模板像素尺寸；h为图像中像素点与天际线之间的垂直像素差。由此算法，靠近图像下方的水域滤波模板像素尺寸较大，靠近天际线的水域滤波模板像素尺寸小，实现了渐变滤波模板的效果。

图4所示为渐变滤波示意图。通过渐变滤波可以滤除平缓的水纹噪声，降低后续滤波过程的复杂度，同时保留远水域小目标图像的运动及表象特征。

图4 渐变滤波示意图Fig.4 Schematic diagram of gradual filtering

2） 图像平均降噪。

如图5所示，水纹有波状纹理，其局部呈现为正弦型特征，其中某个像素点短时间的水纹明暗变化有一定的周期性。含水纹噪声的水面图像组成如式（2）所示。

图5 水纹噪声特征Fig.5 Features of water ripple noise

式中：g(x,y)为 含有水纹噪声的水面图像；f(x,y)为静止的无噪声水面图像； δ(x,y)为波状噪声，且均值为0。为了得到静止的无噪声水面图像f(x,y)，本文对k幅含有不同噪声的连续图像累加取平均值，得到平均无噪声的水面图像g¯(x,y)，如式（3）所示，其中gi(x,y)为 第i幅监控图像中 (x,y)坐标位置的像素值。

随着图像帧数k值的增加，g¯(x,y)逐渐接近于静止的无噪声水面图像f(x,y)。

本文考虑到计算复杂度及船舶航速缓慢等因素，最终选取了图像帧数k=20，得到理想的g¯(x,y)图像，并将g¯(x,y)作为目标运动检测模型的输入图像，通过图像平均法降噪，进一步削弱了水纹噪声对构建一个不含运动目标背景模板的影响。

3） 支持向量机（SVM）分类器降噪。

运用渐变滤波算法、图像平均滤波算法虽然可以滤除一些平缓的水纹噪声，但对于船舶航行过程中产生的波浪等噪声无法完全滤除。因此，本文对运动中的船舶目标面积与总图像面积的比例、水纹噪声目标面积与总图像面积的比例（以下称目标面积占比）与被监控目标距离的关系进行了统计分析，结果如图6所示。图中，横坐标为运动目标实际距离，纵坐标为目标面积占比。通过统计分析，发现船舶目标与水纹噪声存在明显的分类边界。因此，提出采用SVM分类器来判别和删除噪声。作为一种基于统计学习理论实现分类的非参数方法[14]，SVM分类器通过迭代学习方式，逐步确定船舶目标和水纹噪声大小的分类边界线，据此对运动目标识别结果中目标框大小及位置信息进行分类，从而实现对波浪等较大噪声目标框的滤除。

图6 航道中目标面积占比与目标距离的关系Fig.6 The relationship between targets area ratio and target distance

如图7所示，结合多种降噪算法，水面常规的水纹噪声得以滤除，提高了识别运动目标的抗干扰性。

图7 水纹滤波效果图Fig.7 Effect images of water ripple filtering

4） 多级运动检测模块。

基于背景差分算法的运动目标检测方法建立的是一种动态背景模型，其可根据最新监控画面更新背景参数。但是，航道监控图像中远水域的船舶运动幅度较小，甚至短时间内呈现静止状态，而远水域的小目标船舶经常会被错误地识别为背景，导致漏检了远水域的船舶。鉴此，本文根据远、近船舶目标的运动特征差异，提出了建立快、慢两级运动检测机制的改进措施。其中，快速运动目标检测模块的速度为1帧/s，主要用于识别近处特征强的运动目标，而慢速运动目标检测模块的速度为1帧/10 s，主要用于识别远水域特征弱的运动目标。将两个模块检测结果拟合可得到实时的识别结果。针对拟合过程中检测目标框重复的现象，本文提出了极大值抑制的边框合并算法，对比两个模块输出的边框，由式（4）计算两者间的交并比（intersection over union，IOU）。

式中：Sslow为慢速目标检测模块中检测的目标框；Sfast为快速目标检测模块检测的目标框。

当IOU超过阈值时，表明两个模块检测到的是同一目标。鉴于慢速检测模块检测的滞后性，删除了该模块中的目标边框，并将模块保留的目标边框整合到快速模检测模块的目标边框集合中，如此，即可获得全局所有船舶运动检测的目标框，如图8所示。

图8 快慢二级运动目标检测结果Fig.8 Results of two-level detection for the fast and slow motion targets

本文提出的基于背景差分算法的目标检测方法，通过渐变滤波降噪、图像平均降噪、SVM分类器降噪、多级运动检测方法的改进，消除了水纹噪声、运动特征不一致对船舶目标识别的干扰，其不仅能够识别大、小目标船舶，对极远水域的微小目标船舶也具有准确的识别率。

2.2 基于深度学习算法的运动目标识别

基于改进背景差算法的目标检测方法实现了航道中船舶捕捉和定位功能，对于极远水域微小目标船舶的识别准确率非常高，但该方法对大、小目标的识别准确率略显不足，主要体现在：

1）无法识别船舶类型、停泊岸边的船舶，以及无法滤除具有较大图像面积的水纹噪声；

2）受船舶航行产生的波浪、投影等因素影响，近处目标船舶的边框明显大于目标本身，而近处小型船舶（例如渔船、皮划艇等）表象特征面积小，SVM分类器会将其归类为噪声并删除。

上述缺陷均需通过对目标图像表象特征分析和修正，特别是距离较近的目标船舶，更需要准确识别表象特征以获取目标船舶类型。为此，本文运用YOLO检测算法的运动目标识别方法来解决上述问题。YOLO检测算法是一种端到端的目标检测模型[15-16]，作为依据图像特征进行目标识别的算法，其可识别具有表象特征的目标船舶类型，可对基于目标运动特征的识别算法进行补充和优化。

对于高纵深、船舶尺度变化大的广域航道监控而言，近水域的船舶特征明显，可采用YOLO检测算法进行二次识别。如图9所示，中间带水域内的小目标船舶虽然具有一定的表象特征，但因其成像面积较小，影响了识别的准确率，并且对于极远水域的微小目标，目标图像表象特征基本丢失，无法运用YOLO检测算法进行识别。因此，本文提出了对基于目标图像窗口分割检测的YOLO检测方法进行改进。

图9 中间带水域内小目标船舶检测图像Fig.9 Image of detected small-sized ship target in the intermediate waterways

YOLO 检测算法之所以对小目标识别不准确，主要原因是卷积神经网络中存在大量卷积，导致顶层特征的感受野（receptive field）过大。感受野的计算如式(5)所示。

式 中：RFi为 第i层 卷 积 层 的 感 受 野；RFi+1为 第i+1层 上的感受野；S tridei为 卷积的步长；Ksizei为本层卷积核的大小。

经计算，YOLO算法网络结构中高层特征的理论感受野为整张图像，即高层的各特征值理论上受图像所有像素信息的影响。但是，对于运动目标面积占比小的目标，感受野过大会引入过多的噪声，导致小目标的微弱特征信息被淹没，从而无法被正确识别。

为提高识别中间带水域内小目标船舶的准确率，需要将域内目标感受野降至合理的范围，以提高感受野中中、小目标特征的信噪比。在航道监控画面中，可以发现船舶轨迹相对固定，目标船舶在近水域航道图像面积中占比大，而在远水域航道图像面积中占比小，根据此透视特点，本文提出基于纵深窗口分割检测改进船舶目标识别方法，将监控画面按照航道透视规律进行窗口分割，如图10所示。

图10 航道监控画面中的窗口分割Fig.10 Window segmentation of waterway monitoring image

考虑到YOLO检测算法中高层感受野过大、运动目标面积占比与监控目标距离的关系，本文将航道监控图像划分为1，2，3级窗口，如图10所示。其中，1级窗口为近水域航道监控图像的剪切，2级和3级窗口为远水域航道监控图像的剪切，将剪切后的窗口图像统一放缩为416*4166像素尺寸，并逐级识别。

针对远水域航道监控图像的剪切提取的预处理，可以保证远水域航道监控区域窗口中的小目标船舶图像面积占比达到可识别的阈值要求，同时对识别中间带水域内的小目标过程中的感受野范围进行控制，去除不必要的数据噪声，提高识别准确率。最终，将从多级航道窗口识别得到的船舶目标边框映射到原航道监控画面中，再使用非最大值抑制（non-maximum suppression, NMS）算法去除冗余的目标边框，保留最优边框。如图11所示，经过对航道监控图像进行窗口分割再识别的改进，提高了YOLO 检测算法对小目标船舶的细节特征提取能力和目标识别的准确率。

图11 基于YOLO检测算法的船舶目标识别效果Fig.11 Effect of ship target recognition based on YOLO detection algorithm

2.3 基于多特征的船舶目标识别

如上所述，可知基于背景差分算法的运动目标检测方法对极远处水域的微小目标船舶的识别准确率很高，而对近水域、中间带水域航行的目标存在边框不准确且无法识别类型，以及易受阴影、波浪干扰等缺点；而基于YOLO检测算法的目标检测方法虽可以识别近水域、中间带水域航行的船舶类型且具有边框准确、抗干扰能力强的优点，但对识别目标的大小有一定的要求，无法识别远水域的微小目标。

权衡上述两种目标检测方法的优缺点，本文采用极大值抑制算法对这两种算法的检测结果进行组合，以达到相互补充的效果。具体而言，以YOLO检测算法目标识别结果为基准，将基于背景差分算法的运动目标检测边框结果与YOLO检测边框结果分别进行对比，再通过极大值抑制算法，删除运动目标检测方法中重复的目标边框，如式（6）所示：

式中：SYolo为采用YOLO检测算法识别的目标框;SKNN为采用基于背景差分算法识别的目标框。当IOU超过阈值时，则表明两种算法识别得到的是同一目标。由于YOLO 检测算法识别的目标更准确，将删除基于运动检测的边框。保留的运动检测边框则多为极远处的小目标船舶，并将保留的小目标边框组合到YOLO检测算法的目标识别结果中，即得到广域内所有船舶的识别和定位结果。图12所示为目标识别系统的完整流程图。

图12 基于二维特征的船舶目标识别流程图Fig.12 Process of ship target recognition based on two-dimensional features

综上所述，结合使用目标运动及其表象特征的改进船舶识别方法，能够准确地识别航道监控画面中任意尺度的船舶目标，且噪声抗干扰能力强，使用常规摄像头即可实现对半径3 km范围内的船舶进行准确识别与定位。广域内船舶目标识别效果如图13所示。

图13 基于二维特征的船舶目标识别效果Fig.13 Effect of ship target recognition based on two-dimensional features

3 船舶目标识别结果分析

为了验证针对网络的各改进方法的可行性及其检测效果，使用基于背景差分算法的方法、基于YOLO检测算法的方法与改进的方法进行目标识别验证，并分析结果。

实验验证现场选择在苏州周庄大桥上，通过架设监控摄像机对白舰湖航道进行了5 h的实景拍摄。摄像头安装高度为10 m，监控画面图像分辨率为1 080 P，共获取了36 000帧连续监控图像。本文采用上述不同算法对每帧图像的识别准确率及最远识别距离进行了统计，结果如表1所示。结果表明，与未改进前的其他算法相比，改进后方法在目标检测灵敏度、抗干扰能力、监控范围等方面均显著提高。

表1 船舶目标识别原算法与其改进方法检测效果对比Table 1 Effect comparison of ship target recognition by original and improved algorithms

4 结 语

本文充分分析了广域航道环境内船舶航行的特点，结合基于背景差分算法的运动目标检测方法（灵敏度高）和基于深度学习算法的目标表象特征识别方法（抗干扰能力强）二者的优势，提出了时间序列与表象特征分析相结合的广域船舶识别算法，通过对水纹降噪、多级运动检测、航道监控图像窗口分割检测等方法的改进，进一步提高了目标识别的准确率。现场验证验证结果表明，改进后的方法在摄像头高度为10 m、画面图像分辨率为1 080 P的条件下，可以实现半径3 km范围内对船舶的准确识别与定位，效果达到了人工瞭望的识别水平，具备监控范围广、船舶类型全覆盖、自动识别、抗干扰能力强等优点，其成果对于关键水域船舶航行的安全管理、港航实时监控具有重要意义。