视频质量诊断系统的设计与应用

陈开活，罗晓波，李嘉良

（广州大学计算机学院，广州 510006）

视频质量诊断系统的设计与应用

陈开活，罗晓波，李嘉良

（广州大学计算机学院，广州 510006）

0　引言

随着现代社会视频监控业务的快速增长，视频监控系统的体量不断增大，视频监控系统暴露出在运维方面的不足。不少视频监控系统由于摄像头设备质量、设备寿命、运行环境、外部造成损坏以及传输线路等内部因素和外部因素，视频监控画面经常会出现不能高清还原实景的故障。这种情况视频监控系统面临着如下问题：

（1）如何管理大量摄像头，快速准确排查摄像头故障；

（2）如何以数字图像处理技术对摄像头画面质量进行智能分析；

（3）如何及时发现故障并报警，让维修人员及时处理，并且记录故障。

因此，基于数字图像处理技术的视频质量诊断系统应运而生。视频质量诊断系统应用于视频监控系统中，能够有效地对视频故障进行分析和预警，它通过摄像头传入的视频内容对视频图像进行分析处理，当出现视频信号缺失、视频清晰度异常、视频亮度异常、视频噪声、视频雪花、视频偏色、画面冻结、PTZ运动失控等常见故障时通过视频质量诊断算法对以上问题做出及时准确的判断并发出报警信息，这样不仅便于管理视频监控系统前端设备的运行情况，而且还能有效预防因硬件导致的视频图像质量问题，以及避免不必要的损失。

1　系统结构

视频质量诊断系统采用模块化的设计，包括五个模块：截取视频帧模块、OpenCV图像处理模块、图像异常检测模块、异常记录和显示模块、异常报警模块。

视频质量诊断系统的工作流程主要为：首先，从存储的监控视频中获取所需的视频帧，保存为Mat实体；其次，借助OpenCV图像处理技术，获取能够表示图像内容的空间域结构信息；最后，把经过OpenCV处理过的图像空间域结构信息交给设计好的针对不同故障的图像异常检测算法，实现对图像异常的自动化检测。视频质量诊断系统结构图如图1所示。

视频质量诊断系统各个模块的主要功能如下：

（1）截取视频帧模块：该模块的功能主要是截取存储过的视频图像帧，获取的彩色图像信号经分色、分别放大校正后得到RGB，并将图像基本信息和像素数据封装好，作为待检测的图像数据；

（2）OpenCV图像处理模块：该模块充分利用OpenCV所提供的图像处理函数库，对待检测的图像进行预处理，例如转换灰度图像、分割图像通道、色彩聚类、图像空间转化等，并获取图像像素通道值和其他所需的图像结构信息等；

（3）图像异常检测模块：该模块是整个视频质量诊断系统的核心模块，主要功能是检测经过OpenCV处理过后的图像数据信息，判断检测的视频帧是否出现异常，异常种类包括：视频信号缺失、清晰度、亮度、噪点、雪花、条纹、偏色、画面冻结、PTZ运动失控等异常。每种图像异常检测都是由独立的算法类完成，对输入的一组视频帧进行顺序检测，返回各种异常检测结果。

（4）异常记录和显示模块：该模块接受图像异常检测模块算法类的返回值，记录、具体化描述并存储到日志中，以便查询检测结果时调用。

（5）异常报警模块：该模块对检测结果进行反馈，对检测到异常图像的摄像机根据异常类型标记提醒，提醒维护人员及时的解决故障。

图1　视频质量诊断系统结构图

2　核心算法

视频质量诊断系统最为核心的模块是图像异常检测模块，其他模块只是常见的程序和数据的处理。所有传输进来的视频图像帧经过OpenCV处理过后，此模块的图像异常检测函数对图像帧进行顺序检测，并且每个异常检测函数都返回一个表示图像异常与否的值。

（1）视频信号缺失检测：该异常为前端摄像头工作异常、损坏或视频传输故障等问题而引起的间歇性或持续性的视频缺失现象。当视频信号缺失时，视频帧图像中某种颜色的像素点在图像中占绝大部分，所以视频信号缺失的检测算法从视频帧图像的像素点颜色含量和分布入手，计算颜色熵和颜色分布熵，进行视频信号缺失的识别。

（2）视频清晰度异常检测：该异常为前端摄像头由于自动变焦功能故障、镜头模糊或摄像头现场环境恶劣等问题而引起的视频画面清晰度下降，不能准确识别当前画面内容。当视频画面出现清晰度异常时，帧图像内容的边缘信息越稀少，即画面物体之间的轮廓不清晰，严重影响视频监控画面的质量。清晰度异常检测的主要方法是梯度的统计特征，通常梯度值越高，画面的边缘信息越丰富，图像越清晰。需要注意的是梯度信息与每一个图像本身的特点有关系，如果图像中本身纹理就很少，即使不失焦，梯度统计信息也会很少。因此对于清晰度异常检测需要人工标定条件，由人告诉计算机某个摄像头正常情况下的图像纹理信息是怎样的。

（3）视频亮度异常检测：由于摄像头自身故障、增益控制系统紊乱、照明条件异常或人为遮挡等原因引起的视频画面过亮或过暗的现象。当视频画面出现亮度异常时，画面物体的亮度与真实亮度有明显的偏差。截取视频帧得到待检测的图像的RGB空间模型后，计算图片在灰度图上的均值和方差，当存在亮度异常时，均值会偏离均值点，方差也会偏小。通过计算灰度图的均值和方差，就可评估图像是否存在偏亮或偏暗的问题，即过曝光或曝光不足的问题。

（4）视频噪点异常检测：由于传输信号线路受到干扰或摄像机CCD故障导致等导致的视频画面出现很多细小的噪声点，影响人眼观感。与雪花不同的是，噪点可能是彩色的异常像素点，雪花是灰度的异常像素点，黑白的居多。当视频出现噪点时，图像空间域中的通常体现为某个像素点的通道值与周围像素点的通道值相差较大，因此，可以计算每个像素点和与其紧挨着的像素点的噪点向量和，当某个像素点的噪点向量和大于一定阈值时，则可以判断该像素点为噪点。

（5）视频雪花异常检测：由于传输信号线路受到干扰或摄像机CCD故障导致等导致的视频画面出现很多细小的雪花状噪声点，影响人眼观感。与噪点异常不同的是，雪花通常以黑白噪声点的方式出现。当视频出现雪花异常时，图像空间域中的通常体现为灰度图像的某个区域的像素点的通道值与周围像素点的通道值相差较大，因此，可以根据像素点邻近区域的通道信息来判断是否出现雪花异常，方法与噪点异常检测类似，不同的是每个像素点要增大邻域的面积进行计算像素点的平均通道值和雪花向量和，并要针对边缘像素点进行减少误检的优化。

（6）视频条纹异常检测：由于传输信号线路受到干扰或摄像机CCD故障导致等导致的视频画面出现很多条纹状的干扰，影响人眼观感。与噪点异常和雪花异常都不同，条纹异常不是单个点状区域的噪声异常，是较为长条的带状噪声异常。当视频出现条纹异常时，图像空间域中通常体现为方向性条纹区域的像素点的通道值与周围像素点的通道值相差较大。检测条纹异常时，需要检测原图像的彩色条纹异常及其灰度图像的条纹异常，因为二者可能不同时发生。原图像也需要分割头像通道，分别检测R、G、B三个不同的单通道图像的条纹异常现象，因为不同通道的图像条纹异常也不同。检测条纹异常，通常根据像素点以及8个不同的角度计算同一排像素点的通道值，再计算与之平行的一排像素点的通道值，最后计算两排像素点对应位置上像素点通道值差的绝对和，若其该绝对和大于某个阈值，则可以判断此处出现条纹异常。

（7）视频偏色异常检测：视频画面偏色现象也可能是由于信号传输线路受到干扰或摄像机CCD故障导致的一种异常现象，表现为画面中的物体的颜色与其真实颜色有明显的偏差，通常为整个画面向某一种颜色的偏差。由于RGB颜色空间不能直观的表示图像的色度，因此利用图像空间变换，使用Lab颜色空间检测偏色异常，其中L*表示图像亮度，a表示图像红/绿分量，b表示图像黄/蓝分量。通常存在色偏异常的图像，在a和b分量上的均值会偏离原点很远，方差也会偏小，因此，通过计算图像在a和b分量上的均值和方差，就可检测图像是否存在色偏异常。

（8）视频画面冻结检测：由于视频传输系统出现故障而引起的视频帧不再更新的现象，即视频画面冻结的现象，导致监控画面得不到实时数据。当出现画面冻结异常时，由于视频帧不再更新，所以在一定时间段内视频帧的图像内容保持不变，画面冻结检测便可以利用这个特性。首先将图像转化为灰度图像，再计算相隔一段时间的两幅视频帧图像的像素点通道值差的绝对和，最后计算得两幅图像对应像素点通道值相同的个数N，以及图像像素数M，若N/M大于某一阈值，则表示2张图像对应像素点通道值相同的个数较多，2张图像的差异极小，可判断为视频画面出现冻结异常；否则，视频画面正常。

（9）PTZ运动失控检测：PTZ运动失控即前端摄像机云台因损坏或人为破坏引起的抖动或监控画面异常移动的现象。为了检测摄像机云台运动的状况，需要用到多帧的图像数据。PTZ运动检测的大致思路为：首先要向待检测的摄像机云台发出云台控制指令，并每隔一小段时间截取视频图像帧作为待分析图像；然后对待分析的图像进行特征提取并分析，得出图像画面的变化状态，确定待检测云台的变化状态；最后判断图像画面的运动状态和云台控制指令是否一致，据此判断待测云台是否工作正常。

3　实验分析

图像异常检测模块作为视频质量诊断系统的核心模块，为了保证此模块的正常稳定运行，需要对此模块的异常检测算法进行测试。这个部分我们会给出针对每个算法给出典型的测试样例和测试结果，以及用大量异常样片图像对每个算法进行算法准确性的测试，并给出各个算法测试的通过率和误报率。

3.1典型测试 样例

（1）视频信号缺失检测

图2　视频信号缺失测试图像

测试结果：

视频信号缺失计算值：

图2（a）0.012；

图2（b）0.996。

（非常接近1可判断为视频信号缺失，因为无信号时可能还会存在一部分文字说明，所以系统设定该数值大于0.900判断为视频信号缺失）

（2）视频清晰度异常检测

图3　视频清晰度异常测试图像

测试结果：

视频清晰度异常计算值：

图3（a）22.695；

图3（b）11.221。

（数值小于12为模糊，大于14为清楚，以这两个界限判定）

（3）视频亮度异常检测

测试结果：

视频亮度异常计算值：

图4（a）case=0.073，da=2.171；

图4（b）case=2.144，da=86.658；

图4（c）case=6.052，da=-92.284。

图4　视频亮度异常测试图像

（case值为计算出的偏差值，小于1表示亮度比较正常，大于1表示存在亮度异常；当case大于1时，再判断da值，da大于0表示过亮，da小于0表示过暗）

（4）视频噪点异常检测

图5　视频噪点异常测试图像

测试结果：

视频噪点异常计算值：

图5（a）0.086；

图5（b）0.665。

（数值越大，表示噪点越多，异常出现的可能性越大，系统设定该数值在0.400以下为人眼噪点可接受范围，大于0.400则判定为噪点异常）

（5）视频雪花异常检测

图6　视频雪花异常测试图像

测试结果：

视频雪花异常计算值：

图6（a）0.901。

（对于雪花异常的图片，检测出来的结果通常比较接近1，系统设定该数值大于0.800则判定为雪花异常）

（6）视频条纹异常检测

图7　视频条纹异常测试图像

测试结果：

视频条纹异常计算值：

图7（a）0.112；

图7（b）0.435。

（数值越大，表示条纹越多，异常出现的可能性越大，系统设定该数值大于0.4则判定为条纹异常）

（7）视频偏色异常检测

测试结果：

偏色异常计算值：

图8（a）cast=0.504，da=5.155，db=-0.031；

图8（b）cast=3.832，da=26.074，db=-42.419；

图8（c）cast=4.317，da=-38.577，db=35.409；

图8（d）cast=2.770，da=39.699，db=15.971。

（cast值为计算出的偏差值，小于1表示颜色比较正常，大于1表示颜色存在偏色；当cast值大于1时，再判断da值和db值。da值为红/绿色偏估计值，da大于0表示偏红，da小于0表示偏绿；db值为黄/蓝色偏估计值，db大于0表示偏黄，db小于0表示偏蓝）

（8）视频画面冻结检测

图9　视频画面冻结测试图像

测试结果：

画面冻结计算值：

对比图9（a）、图9（b）两张一样的图，可检测得两张图片对应像素点通道值相同的数量是一样的，因此检测得到的画面冻结计算值为1.0。

（为了避免画面冻结异常中短时间的不冻结情况使得对比的图像有小部分不一样的地方，该系统设定该计算值大于0.900则判定为画面冻结）

图8　视频偏色异常测试图像

（9）PTZ运动失控检测

图10　PTZ运动失控测试图像

测试结果：

PTZ运动失控计算值：先检测图10（a），再检测图10（b）图像，检测得到的计算中间角度值为148°，则可判判断摄像头向右移动一定角度，该结果可与摄像头移动指令进行对比，来判断PTZ运动是否失控。

（中间角度值：用平面直角坐标系衡量，-145°～-45°为向上移动，-145°～145°为向右移动，45°～145°为向下移动，-45°～45°为向左移动）

3.2各个算法测试通过率：

表1　视频质量诊断系统算法通过率

4　结语

视频质量诊断系统应用在大型监控系统中，通过系统提供的检测流程和检测功能，可自动分析前端摄像机的监控视频图像质量，当出现异常时发出警告，让运维人员进行监控系统的维护工作，满足对监控系统自动化检测的运维管理要求，为监控系统的正常运转提供保障。

［1］Gary Bradski Adrian Kaebler.学习OpenCV［M］.于仕琪，刘瑞祯译.北京：清华大学出版社，2009.

［2］任广杰.智能视频质量诊断系统在监控系统中的应用［J］.北京：电信技术杂志，2012.3，12～14.

［3］高扬.视频质量诊断算法研究与实现［D］.东北大学.东北大学理学院.计算数学，2011.

［4］欧阳伟.基于图像分析的监控视频图像异常诊断系统的研究与实现［D］.华中师范大学.教育技术学，2012.5.

［5］余燕飞.视频质量检测技术研究［D］.中国科学技术大学.信息科学技术学院.网络传播系统与控制，2012.5.

［6］邱铭杰.监控视频图像质量诊断方法研究及实现［D］.华东理工大学.数字图像处理，2013.12.

Video Quality Diagnose；Video Monitoring；Image Analysis

Design and Application of Video Quality Diagnose System

CHEN Kai-huo，LIU Xiao-bo，KI Jia-liang

（School of Computer Science,Guangzhou University,Guangzhou 510006）

1007-1423（2015）32-0050-07

10.3969/j.issn.1007-1423.2015.32.013

陈开活（1994-），男，汉族，广东阳西人，本科，研究方向为Web开发

罗晓波（1993-），男，汉族，广东梅州人，本科，研究方向为Web开发

李嘉良（1994-），男，汉族，广东广州人，本科，研究方向为Web开发

指导老师：綦科（1972-），男，湖南衡阳人，博士，教授，研究方向为信息安全及视频信息处理

2015-10-09

2015-11-10

视频质量诊断系统是一种智能化视频故障分析与预警系统，主要应用在大型监控系统的控制中心，通过控制监控中心矩阵主机的视频切换输出或连接数字视频流媒体管理服务器来获取前端所有摄像机的视频信号，为视频监控提供视频图像质量分析功能，对视频图像出现的噪点、雪花、模糊、偏色、画面冻结、信号缺失等常见摄像头故障做出准确判断及发出预警信息，并提供故障的解决方案，对摄像头产生及时保护的作用。

视频质量诊断；视频监控；图像分析

Video quality diagnose system is an intelligent analysis and early warning system against video image fault,mainly apply in the control center of a large monitoring system.The diagnose system provides video quality analysis for video monitoring by acquiring signals from the output of the matrix mainframe on monitoring control centers or from video streaming media servers.Aiming to protect video cameras, the diagnose system is able to offer accurate detections,early warning messages and fault solutions according to different video image faults such as noise,snowflake,fuzzy,color cast,image frozen and signal loss.