基于YUV色彩空间的烟雾区域提取方法

朱家辉 赵志瑛 贾静静

（太原师范学院 山西省晋中市 030619）

1 引言

目前现存主要烟雾检测方法可以分为传感器烟雾检测技术和计算机视觉烟雾检测技术，前者出现时间较早且技术较为成熟，广泛用于商业和民用消防领域，但实时性不足，很难对火灾规模进行估计。近些年视频监控技术的成熟，催生了基于计算机视觉检测的烟雾检测技术。目前基于计算机视觉的烟雾检测技术已经成为烟雾检测领域的主要研究方向。

在基于计算机视觉的烟雾检测技术中，大多数方法用到了早期的机器学习算法，例如支持向量机（Support Vector Machine, SVM）。这些算法在简单的分类或者回归问题上有着不错的表现，因此也被频繁拿来应用在烟雾检测领域。Miranda 等人[1]对多种颜色模型统计烟雾图像的像素值分布，通过Relief 特征分析烟雾在颜色模型的颜色分量，并进行烟雾检测；Chen[2]对小波方法中纯色物体造成的干扰进行修正，提出对比度图像的概念，对当前帧与背景帧进行小波变换，由高低频比检测运动区域是否为烟雾；Russo 等人[3]使用局部二值模式(Local binary patterns, LBP)提取烟雾纹理特征，使用机器学习方法对烟雾进行分类；Appana 等人[4]利用时空序列上的能量分析和Gabor 变换对帧间差分图像中的烟雾模式进行建模，但帧间差分的采样间隔依赖于烟雾本身的运动,很难自适应地指定采样间隔。

上述方法中，基于传统机器学习检测方法主要通过在像素空间中提取疑似烟区，然后使用机器学习方法对疑似区域进行检测。这种方法具有较高的实时性，所需要的计算量小，但泛化能力较差。有一些基于小波变换以及其变种的检测方法，所需时间复杂度较高，实时性较差。在现有检测方法的基础上，本文提出一种简单且适用性强的烟雾区域提取方法，主要可以分为两部分：运动区域提取和定位烟雾区域。监控视频在转储后首先进行运动区域提取，根据算法所能达到的实时性和视频采集帧数确定切割成帧的间隔，再对帧序列进行运动区域提取，最后对疑似烟区定位并从当前帧图片中裁剪下烟雾区域等待后续烟雾检测。

2 基于像素梯度的运动区域提取

本节主要研究如何通过像素梯度提取相邻帧中的运动区域。监控视频背景相对固定，极少出现全画幅的位移，所以相邻或者相邻时间段内监控画面中发生动态变化的区域就成为了运动区域。

上述公式中R、G、B 分别对应图像中RGB 三个色彩通道的值，值域[0,255]，Grey 值代表灰度，公式将整个图像转化为灰度图。然后根据灰度图求整个图像的像素梯度。图像像素梯度是指图像对应的灰度图中，某像素点的灰度值在x 和y 方向上的变化率，像素梯度经常用于图像锐化滤波以及图像的边缘检测，是特征提取的一个重要领域。在提取像素梯度时经常会用到一些微分算子，较常用的一阶微分算子有Roberts 交叉梯度算子、Prewitt 算子和Sobel 算子，二阶微分算子有Laplacian 算子和LOG 算子[6]。其中Sobel 算子常用来表达微分和梯度的一种操作，Sobel 算子核可以用迭代的方式去构造，通常使用3×3 的大小去计算像素梯度，在水平和垂直两个方向的算子核为：

图1：运动区域提取

图2：噪声去除

图3：YUV 空间的疑似烟区定位过程

图像中某一点像素的梯度可以表示为：

其中Sobel 为对应x、y 方向的算子核，Area 为以某一点为中心，大小为3×3 的灰度矩阵。可以根据这一点在x、y 方向上的像素梯度计算出边缘检测方向G 以及幅值Θ，其中

图像像素梯度矩阵提供在整个图片中所有像素点在领域中的梯度，这就为运动区域的检测提供了参考，对邻帧和当前帧的像素梯度矩阵使用帧差法，差分后得到的矩阵就是像素梯度差分矩阵[7]，矩阵中非零元素即是在帧间隔内发生变化的像素，非零元素的坐标即是图像中发生变化的像素坐标，如图1。

3 噪声处理

上述方法在理论上可以对此矩阵中非零元素区域做疑似烟雾区域定位，但在进一步的实验中发现许多干扰因素，例如随机噪声、环境光变化和采集设备本身的抖动，这些因素会使视频采集设备对静止场景采集产生的相邻帧带有微小的抖动误差，这种抖动误差往往使像素梯度差分矩阵中绝大多数元素非零。

表1：烟雾色彩在Y、U 通道的数值分布

表2：疑似烟雾定位的准确性验证

针对这种情况，本文选择采用高斯滤波预处理以及阈值过滤等手段来减少采集设备本身对运动区域提取造成的影响。高斯噪声普遍存在于数字图像中，图像在数字化和传递过程中会遭受到不同噪声的干预，这种干预不仅会影响人对于图像的观感，也影响图像复原、分割、特征提取、图像识别等工作的进行[8]。对噪声的处理工作主要有两方面，一方面是在计算梯度前对图像进行高斯滤波降噪，分别使用高斯滤波和中值滤波消除高斯白噪声和椒盐噪声；另一方面是学习在应用场景下的噪声在计算像素梯度矩阵时所产生误差均值的经验值，以此作为阈值过滤掉噪声所带来的影响。

在噪声过滤后，对前后两帧梯度矩阵的差分就可以大致提取出在采集两帧图像的时间段内发生变化的主要运动区域，如图2。

4 疑似烟雾区域定位

运动区域提取虽然提取到了相邻图像中运动的区域，但是对这样提取的运动区域直接进行目标检测无法产生理想的检测结果。因为这些运动区域有可能受到其他因素的干扰，比如摆钟和风扇等本身就运动的物体，还有人和宠物等动物走动也会产生运动区域，这些运动区域属于非烟雾区域。对这样包含大量“噪声”的运动区域进行目标检测不仅会消耗大量的计算资源[9,10]，而且会降低检测精度和实时性，所以需要进一步使用疑似烟雾区域定位运动区域中存在的疑似烟雾区域。

在谈及新能源混合动力汽车之前，先了解一下传统意义技术层面上对混合动力汽车的定义—混合动力汽车也被称为复合动力汽车，其动力输出部分或全部依靠车载的内燃机提供，并根据对其他动力源(如电动源)的依赖程度分为弱混、轻混、中混和重混(全混)，根据其动力输出的分配方式分为并联、串联和混联。

烟雾区域通常具有烟雾的可辨别特征，例如利用图像能量分布、纹理特征和颜色特征等方式区别烟雾区域与非烟雾区域。颜色是烟雾在视频信息中的重要特征，在火灾发生的初期，燃烧物的温度较低，烟雾一般呈白色或灰白色。计算机内大多数图像显示的颜色空间为RGB，这种颜色空间根据人眼识别的颜色定义，采用加法混色法对红绿蓝三原色不同比例的叠加来产生对应的颜色。RGB颜色空间是显示器系统中最常用的颜色空间，但是由于采用这种颜色空间的图片或者视频的色彩，亮度，饱和度三个量混合在一起，难以对图像进行数字化调整，所以在科学研究中一般不采用RGB颜色空间。YUV 颜色空间大多用于彩色电视系统中，其原理是对输入的彩色图像信号进行分色处理，计算出像素点的亮度信号Y和两个色差信号U、V。由于烟雾粒子对光线有阻拦作用，相较于RGB，在YUV 上进行烟雾检测能够同时统计颜色特征和光照强度特征，颜色信息和亮度信息相互独立，所以由YUV 统计的烟雾模型更准确[11]。

一般情况下RGB 转YUV 颜色空间的转换方式为：

经视频采集设备采集产生的图像通过上述方式转换为YUV 颜色空间的图像，其中Y 是亮度分量，U、V 是色度分量，烟雾的颜色特性导致大部分烟雾在YUV 色彩空间中具有显著特点。本文根据烟雾区域亮度分量与色度分量的关系总结出YUV 颜色空间的烟雾分布规则：

式中Scolor为烟雾分布矩阵，其中非0 的数值代表图像中的疑似烟区，SYUV(x,y)代表疑似烟雾点（x,y）处的YUV 颜色值，Y(x,y)、U(x,y)分别代表(x,y)处在亮度分量上的Y 值和在色度分量上的U 值，Tmax 和Tmin 分别代表阈值的上界和下界，在对现有数据集的不同烟雾进行对比后，得到常见烟雾色彩在YUV 颜色通道里的数值分布，如表1 所示。

根据不同色彩烟雾的分布适应性的选取阈值，以达到对不同的烟雾进行疑似烟区定位的效果。图3 表示上述方法在YUV 颜色空间对烟雾的定位效果。

5 实验结果分析及结论

实验所用计算机CPU 为AMD 3700X, 主频3.6GHz，内存为32GB DDR4 内存，内存频率3200MHz，显卡为NVIDIA RTX 3080，显存10GB。根据算法所实现的程序所需要的环境依赖为：Windows 10 x64 操作系统，Python3.6，OpenCV 4.2 等。

实验所使用数据集包含网络中搜集得到的总时长14 分钟的视频以及室内场景的30 分钟视频，按照25FPS 的帧率切割成帧，总计约51000 张图片。其中包含烟雾的视频占据总时长的60%，剩余则为无火焰和烟雾的正常监控视频。选取较符合室内监控图像质量和场景下，包含不同颜色烟雾的图片数据共计450 张，使用IOU验证算法的准确性，结果如表2 所示。在验证算法提取烟区准确率时，以定位烟区和人工标记烟区的IOU 大于0.75 为阈值，IOU 大于或等于此阈值的样本判定为定位成功，小于此阈值的样本则判定为定位失败。

根据表2 数据分析，本文提出的算法对不同颜色火焰的图像样本具有较高的准确率。结合机器学习高效、简单的特性，进一步提高了在计算机视觉方向上对烟雾的检测能力。