视频质量智能检测技术研究及其在铁路中的应用

何百千 中国铁路上海局集团有限公司科研所

1 概述

近年来，随着现代化、数字化铁路的建设，视频监控已成为现代化铁路必不可少的组成部分，同时也是保障铁路运输、行车人员、施工作业安全的重要手段。在视频监控设备规模性投入使用后，信号丢失、雪花干扰、偏色、画面抖动等各类视频质量问题随之而来，面对海量的视频数据，人工巡查已无法满足现场生产的需要。

视频质量智能检测技术结合了图像处理、机器视觉、人工智能等前沿技术，可以有效解决视频质量问题所带来的困扰。本文针对常见的几类视频质量问题，开展了一系列关键技术研究，配套开发了视频质量诊断系统，并在上海虹桥站、无锡站等客站进行了实际应用。

2 视频质量检测关键技术

视频质量问题较为多样化，常见问题主要有信号丢失、清晰度异常、亮度异常、偏色、雪花干扰、画面抖动等，主要表现形式如图1所示：

图1 六种典型视频质量问题

2.1 信号缺失检测

在视频监控系统中，当网络无法连接，视频传输线路接触不良或者损坏时，监控客户端将会呈现无法获取码流的现象，出现黑屏、白屏或“无视频信号”字样提醒。

根据信号缺失视频图像颜色值单一这一特点，可以从像素域的角度出发来进行诊断分析。本文采用了方差计算法进行分析，公式如下所示：

其中，W和H表示图像的宽和高，μ表示灰度图的期望值，ω表示方差。通过对不同类型信号缺失的单帧图像进行方差计算，发现其值分布在0～0.15之间。

2.2 清晰度异常检测

视频图像的清晰度是衡量视频质量最主要、最直接的指标，清晰度表现良好的图像包含了丰富的边缘轮廓信息和细节信息。视频图像清晰度异常也即图像模糊，是指视频中空间细节的丢失和边缘的清晰度减弱。图像清晰度评价方法通常分为频域和空间域方法，频域方法区分度较好，但是其计算量大，运行效率低下；空间域方法中主要有熵函数法、平方梯度法、能量方差法、平方高斯梯度法等等，其中平方梯度法区分度较好，但是计算量大，实时性表现较差，不利于区分图像的模糊与否和图像模糊程度。

平方梯度法计算公式如下所示：

本文采用了一种改进的平方梯度法，用一种平方梯度聚焦评价函数（基于聚焦窗口模式）和图像RGB色差（平均距离值）分析图像帧的方法。这种方法能克服计算量大的缺点，并且在区分图像清晰度上表现良好，兼顾了准确性和实时性。具体方法为：选取正常图像的梯度变化值和RGB色差值作为阈值参考值；计算检测图像的RGB色差值和聚焦窗口的梯度变化值，并将其与设定阈值比较，判定其是否为模糊图像。

2.3 亮度异常检测

视频亮度异常是指由摄像头故障、增益控制紊乱或者照明条件异常等原因引起的视频画面总体偏亮或偏暗，而不包括天气、昼夜变化等环境因素导致的视频亮度异常。

本文采用了一种基于图像亮度平均值的诊断方法。首先将图像从RGB颜色空间转换到HSV空间，通过大量实验取得正常图像的亮度平均值，作为算法的参考阈值，再计算检测图像的平均亮度值，将其值与参考阈值比较，若平均亮度值过大，则图像偏亮；若平均亮度值过小，则图像偏暗。同时，针对不同时间段自然光的变化，应设置相应的阈值，以保证诊断功能在昼夜都能正常运行。平均亮度值的计算公式如下所示：

2.4 偏色检测

视频图像偏色是指视频监控在遇到外界环境的强烈有色灯光干扰，或者其他外界无线电信号影响，可能会造成视频图像偏向与某一色系的情况。

本文采用了一种基于RGB三通道能量系数来诊断图像偏色的方法，通过RGB三通道能量占比系数来判断图像是否发生偏色现象。具体方法为：计算出图像的RGB三通道平均能量和整体平均能量；求出每个通道的能量系数；利用标准差公式得出RGB三通道在图像整体平均能量所占比例（即偏色系数），将偏色系数与设定阈值比较，判断该幅图像是否发生偏色现象。

下面以R通道为例给出偏色计算公式：

2.5 雪花干扰

雪花干扰是视频监控系统中出现频率较高的故障，主要是由于线路老化、传输故障、接触不良、电磁干扰等因素造成的视频图像叠加噪声，画面会出现雪花、条状、带状条纹干扰等现象。

本文采用了中值滤波法来诊断雪花干扰。具体方法为：通过对图像进行中值滤波得到清晰图像，与原图做帧差后得到疑似噪声图像；将疑似噪声图像分块（本算法中分为8×8块），统计每一块中的噪点数值，并求出64个分块噪点数值的均值和标准差；对原图进行canny算子的边缘检测，将边缘检测图像与疑似噪音图像求并集，得到由边缘而不是雪花产生的椒盐噪声图像；在疑似噪声图像中去除边缘噪声，得到最后的噪声图像；计算噪点占比，并将其与阈值比较，若超过阈值则认为此图像存在雪花干扰。

2.6 画面抖动

视频图像画面抖动主要是由于视频信号传输线路受强电干扰或供电不稳定等因素形成而非视频监控设备受振动影响而产生的画面抖动现象。

本文采用了基于图像灰度投影的运动估计方法。具体方法为：选择一帧图像作参考帧图像；将当前帧图像和参考帧图像作灰度投影，计算两者之间的互相关值，选取互相关值曲线的峰值为两帧图像的行列位移矢量值；根据此矢量绝对值判断两帧图像相对运动的程度，通过与设定阈值比较，判断是否发生图像抖动。

2.7 分类判据动态优化

在视频质量检测技术的实际应用中，各类检测算法无法做到百分之百的准确判断，因此本文开展了分类判据优化，以提高检测效果。具体方法为：设定初始分类判据，系统在检出视频异常事件后进行人工复核；将人工复核发现的机器误判事件特征向量及类别自动导入分类数据集，利用机器学习技术对模型进行再训练，得出新的分类判据。在视频检测的持续应用过程中，分类判据将自我学习与进化，持续提高检测精度。

3 实际应用

基于上述图像处理技术和人工智能技术，研发形成了一套视频质量诊断系统。系统采用分布式结构，利用视频诊断服务器实现视频诊断，利用Web服务器完成用户交互，利用数据库服务器存储诊断结果。系统的硬件架构如图2所示：

图2 硬件架构示意图

系统包含用户交互层、业务逻辑层和视频数据源三层。用户交互层可实现各种用户交互操作，包括用户登录、系统管理、摄像头管理、信息分析查询、视频诊断管理、故障处理等多个模块。业务逻辑层可实现视频数据接入、视频质量诊断、业务逻辑控制、分析结果存储等功能，包括Web服务、中央控制、逻辑控制、视频质量诊断、视频切换、数据库等模块。视频数据源提供用于进行视频质量诊断的视频数据。系统模块示意图如图3所示：

图3 软件模块示意图

系统自2017年起，于上海虹桥站和无锡站既有视频监控系统相继开展实际应用，共接入上千路摄像头。经长期运行结果统计，系统检测率≥98%，误报率≤3%，每100路视频通道状态巡检时间平均约为2 min。

4 结束语

视频质量诊断系统能够快速准确预警信号丢失、清晰度异常、亮度异常、偏色、雪花干扰、画面抖动等图像质量问题，可以及时预警工作人员进行处置，保障监控系统有效运行。同时，系统可以大幅度提高运维作业质量、效率，降低人工、时间成本，给大规模视频系统的运用维护带来极大便利，对于减员增效、保障铁路安全运营具有重要意义。