基于区域对比和随机森林的设备故障红外图像敏感区域提取

段礼祥，刘子旺，赵振兴，孔 欣，袁 壮

基于区域对比和随机森林的设备故障红外图像敏感区域提取

段礼祥1，刘子旺2，赵振兴3，孔 欣1，袁 壮1

（1. 中国石油大学（北京）安全与海洋工程学院，北京 102249；2. 北京首都国际机场股份有限公司，北京 100621；3. 中国石油塔里木油田分公司，新疆 库尔勒 841000）

基于红外图像的设备故障诊断需要从图像中选择敏感区域，由于红外图像具有干扰背景多、对比度低的特点，敏感区域提取过程中需要进行背景移除和图像分割，但常用的二值化分割算法在分割红外图像时易出现过分割问题。因此，本文提出了基于区域对比和随机森林的敏感区域提取方法。首先使用区域对比方法对红外图像进行显著性检测，以去除干扰背景；然后通过OTSU算法进行图像分割，实现敏感区域初步提取；最后结合随机森林分类结果对图像分割过程的阈值进行迭代优化，实现敏感区域的优化提取。经过转子实验台6种不同状态的红外图像数据验证，将本文方法提取出的故障敏感区域用于故障诊断时，分类的准确率提高了3.3个百分点，比人工选择的区域更加准确。

设备故障；红外图像；敏感区域提取；区域对比；随机森林

0 引言

红外监测具有非接触式、非入侵式、单台监测范围大等优点，被广泛应用于无损监测[1]、气象地质学[2]、医学[3]、建筑学[4]等。基于红外图像的故障诊断需要获取图像中的故障敏感区域（region of interest, ROI），目前获取ROI的方法主要有人工划分和图像分割算法两种[5]。设备的红外图像具有强度集中、对比度低、干扰背景多的特点，需要将干扰背景移除以便ROI的提取。人工选择ROI对专业知识和经验依赖较大，而用现有二值化方法对去除背景后的图像直接进行分割时，易出现过分割问题[6]。

视觉显著性检测方法可以在没有先验知识的情况下检测出图像中显著性区域[7]，去除图像中的干扰背景。Goferman等[8]对图像局部底层线索、视觉表层特征进行建模，突出显著性的物体。但这种方法基于区域局部的对比度，不能均匀地突出整个物体。Zhai[9]定义了基于某个像素和其余像素点对比度的像素级全局显著性；Achanta[10]提出一种频率调谐方法，用某个像素和整个图像的平均色差定义显著性；但是这些方法忽略了图像各部分间的空间关系。Cheng[7]提出的基于区域对比（region-based contrast, RC）的显著性检测方法，考虑空间因素的影响，在图像分割中取得了良好的效果。

随机森林（random forest, RF）用于多分类问题时具有不易过度拟合，容噪能力好，对参数依赖小的优点，在故障分类方面具有较强的优势[11]。因此，本文提出了基于区域对比的方法进行背景去除；然后根据随机森林的分类结果对图像分割阈值进行优化，用于解决设备红外图像分割问题，实现故障敏感区域的提取和故障诊断。

1 基于区域对比和阈值优化的敏感区域提取

图1为基于区域对比和阈值优化的红外图像敏感区域提取流程：①显著性检测，以去除图像中的干扰背景，包括分割图像、区域颜色直方图计算、区域对比度计算；②图像分割，包括计算分割阈值、二值化分割、敏感区域提取；③特征提取和故障分类，分割出敏感区域后，提取特征，组成特征向量输入到分类器中进行分类；④阈值优化，根据分类结果对分割阈值进行优化调整，循环迭代得到最佳的敏感区域。

1.1 基于区域对比的显著性检测

应用区域对比的检测方法对设备各种状态的红外图像进行显著性检测，实现干扰背景的移除。RC方法通过计算区域和整体图像的对比度差异来得到显著性值。首先将图像分割成区域，为每个区域分配显著性值，从而得到基于区域对比度的显著性图。每个区域显著性的值由全局对比度计算获得，全局对比度值是以当前区域相对于其它区域的对比度的空间距离来衡量。

1.1.1 基于直方图的对比度

图像中像素点的显著性通过它和其他像素的对比度来计算，图像中像素I的显著性为：

式中：(I,I)表示像素I和I在Lab空间的颜色距离。

相同颜色值的像素点显著性值也一样，对公式(1)进行变形，则每个颜色显著性值的计算方法为：

式中：l表示像素I的颜色值；表示图像中颜色的总数；f为c在图像中出现的概率。

直接用式(1)中的方法计算图像中每个像素点的显著性的时间复杂度为(2)。可以通过减少像素颜色总数提高计算效率，真彩色空间包括2563种颜色，将颜色量化到12个不同的值，这种量化等级对于色彩比较单一的红外图像是足够的。通过选择出现频率高的颜色，并保证这些颜色覆盖95%以上的像素，可以将颜色数目减少到85左右[7]，红外图像中色彩数量会更少，如图2所示。基于时间性能考虑，用简单的基于直方图的量化方法代替优化图像的特定颜色。

1.1.2 区域对比度

基于红外图像的设备诊断中，需要关注图像中与周围其他物体（图像背景等）相比对比度大的区域，即高温区域，这些区域可能是故障的发生部位。红外图像的显著性检测中相邻区域的对比度应该比较远区域的对比度更为重要，这样更利于检测出局部高温区域。因此本文运用RC方法将区域的对比度和空间的远近关系结合起来。

图1 基于区域对比和阈值优化的红外图像敏感区域提取流程

对每个区域r，通过计算与其他区域的颜色对比度来计算其显著性：

式中：(r)表示区域r权值；D(r,r)表示两个区域的颜色距离。两个不同区域r、r的颜色距离为：

式中：(c,)表示第个颜色c,p在第个区域r的所有n种颜色中出现的概率。

区域对比度空间加权算法中，通过加入空间权值增加区域的空间效果，来凸显红外图像中局部高温部位。临近区域对比度权重大于较远区域，具体计算方法如下：

式中：s(r,r)表示区域r、r之间的空间距离；s表示空间权值的强度。s的值越大，空间权值的影响越小，较远区域的对比度对于显著性的贡献越大。

两个区域的距离通过中心点的欧式距离计算。图3为转子实验台6种不同状态下红外图像的显著性检测结果。从图中可以看出，基于RC的方法可以增加转子实验台各部件的对比度，成功移除了干扰背景。

1.2 敏感区域初步提取

完成显著性检测后，就可以对图像进行分割，初步提取敏感区域。基于阈值的图像分割具有方法简单、效率高等特点，在实际图像处理中具有广泛的应用。OTSU算法[12]计算分割后各像素类的类间方差，其中类间方差最大的值即为阈值。

根据OTSU算法的分割结果存在过分割问题，如图4所示，只能分割出温度最高的部分（电机部分），分割结果不能直接用于图像的故障分类，还需要对分割阈值进行优化。因此本文提出基于故障分类结果的二值化阈值优化方法。

1.3 特征提取

红外图像中，温度值大小、分布范围变化引起的图像对比度、敏感区域的变化决定了诊断的结果，而直方图可以较好地反映这些信息，因此提取图像的灰度直方图特征用于故障诊断。

图2 转子实验台红外图和色彩直方图

图3 转子实验台6种状态下红外图像显著性检测结果

图4 OTSU算法分割后的图像

灰度直方图表征了图像中各个不同灰度级下像素点的个数，即不同灰度级下像素点出现的概率。以概率形式计算的公式如下：

式中：表示灰度级；()为图像中灰度级为的像素点的个数；为图像的总像素数；表示图像中灰度级的最大值。本文所用的直方图特征如表1所示。

1.4 基于分类结果的阈值优化

1.4.1 基于随机森林的故障分类

1.4.2 分割阈值优化

对于二值化后出现的过分割问题，本文采用迭代法寻找最佳分割阈值。根据初步阈值0进行图像分割后，使用提取出的敏感区域进行特征提取和故障分类，判断最后分类的准确率是否达到预期准确率，如果达到0即为最佳阈值，没有达到则进行迭代优化。具体迭代过程如下：

第二次迭代时，在第二阈值范围[F,F]内，以/2为步长，确定第二迭代阈值组为FÎ[F－¢,…, F－, F－/2]，且的大小为¢＝ë(F－F)/û；其中，F和F为第一迭代阈值组m中，对应故障分类器预测准确率最高的阈值的两个相邻阈值。

第三次迭代时，在第三阈值范围[F,s]内，以/4为步长，确定第三迭代阈值组为FÎ[s－²,…,s－,s－/2,s－/4]，且的大小为²＝ë(s－F)/û。其中：ri和s为第二迭代阈值组F中，对应故障分类器预测准确率最高的阈值的两个相邻阈值；

表1 灰度直方图特征值

依此递推，直至满足预设迭代终止条件为止。本文为得到最好的分类效果，设定预期准确率为100%。

2 故障诊断应用

2.1 实验设置

转子实验台如图5所示，由调速器、底座、电机、联轴器、转子系统组成。转子系统包括转轴、转子、轴承、联轴器、轴承支架。实验转速为3000r/min。红外热像仪连接电脑进行数据采集，与转子平台距离1.5m，室温20℃。

实验中设置了正常（normal state, NS）、不平衡（imbalance, IB）、不对中（misalignment, MA）、碰摩（rubbing impact, RI）、轴承座松动（bearing seat looseness, BSL）、碰摩和不对中耦合故障（rubbing-misalignment coupling fault, CFRM）6种状态。模拟不平衡故障时，在最左侧转子上加配重1g；模拟不对中故障时，在轴承座与底座接触面放置厚度0.5mm塞尺；模拟转子碰摩故障时，在底座的卡槽中固定一个塑料碰摩块，使其与最左侧转子轻微接触；将轴承座螺栓调松，用来模拟轴承座松动故障。每种状态下采集红外图像数据80组，共480组数据。其中360组作为训练数据，其余组为测试数据。

2.2 敏感区域提取及故障诊断

在图像分割中，由于6类状态红外图像的拍摄角度相同，可以将各种状态的敏感区域图叠加得到转子平台的故障敏感区域图。本文首先计算CFRM状态的分割阈值，然后用其阈值对所有状态的图像进行二值化，将各状态二值化图叠加，根据叠加结果对各图像进行分割，得到转子平台故障敏感区域；最后根据分类结果对分割的阈值进行迭代优化。

图5 ZT-3试验台和信号采集装置

注：1. 转速控制箱，2. 红外仪，3. 转子平台，4. 电脑

1. Speed control box; 2. Infrared instrument; 3. Rotor platform; 4. Computer

如图6(a)中是人工框选的敏感区域，图6(b)为根据优化后的二值化阈值提取的转子平台的故障敏感区域。本次实验设置的都是转子系统故障，所以不考虑电机部分的故障，故人工选择时未选择该部分。从图6可见，本文方法所提取的敏感区域比人工框选的敏感区域更加准确。

将提取出的最佳敏感区域用于故障诊断，并和其他故障分类方法对比。表2显示了各种方法的分类结果；最后一列为该种方法的平均准确率。表中D-SVM（direct-support vector machine）、D-RF（direct-random forest）为直接对原始图像特征分类的结果；ROI-SVM（regions of interest-support vector machine）为对人工提取敏感区域进行分类的结果；RC-RF（region contrast-random forest）表示用区域对比和OTSU算法进行ROI提取，然后进行分类的结果；RC-TO-RF（region contrast-threshold optimization -random forest）为用基于区域对比和阈值优化的ROI提取方法，然后进行分类的结果。

图6 人工选择的敏感区和本文方法提取的敏感区域

表2 各种分类方法对转子实验台故障诊断的结果

从表中可以看出利用原始图像进行故障诊断时，无论是SVM还是RF方法，准确率都比较低；进行人工或者使用区域对比结合OTSU算法进行ROI提取后，诊断准确率得到提高；本文提出的方法准确率最高，为95.8%，相较人工提取敏感区域的诊断方法（ROI-SVM）提高了3.3个百分点。

3 结论

1）基于区域对比的显著性检测方法考虑图像全局的对比度和空间因素的影响，将区域的对比度和空间的远近关系结合起来，均匀突出了红外图像中的敏感区域，达到了去除干扰背景的效果。

2）提出基于随机森林分类结果的二值化分割阈值优化方法，通过OTSU计算初步分割阈值，然后根据随机森林的故障分类结果对阈值进行迭代优化，实现故障敏感区域的优化提取。

3）将提出的基于区域对比和随机森林的敏感区域提取方法应用于转子平台6类状态的识别，与人工提取ROI相比，准确率提高了3.3个百分点。

[1] WEI W, WEI L, NIE L, et al. Using active thermography and modified SVM for intelligent diagnosis of solder bumps[J]., 2015, 72: 163-169.

[2] Hewison T J, WU X Q, YU F F, et al. GSICS inter-calibration of infrared channels of geostationary imagers using Metop/IASI[J]., 2013, 51(3): 1160-1170.

[3] Ring E F J, Ammer K. Infrared thermal imaging in medicine[J]., 2012, 33: 33-46.

[4] HA H, HAN S S, LEE J. Fault detection on transmission lines using a microphone array and an infrared thermal imaging camera[J].2012, 61(1): 267-275.

[5] Huda A S N, Taib S, Ghazali K H, et al. A new thermographic NDT for condition monitoring of electrical components using ANN with confidence level analysis[J]., 2014, 53(3): 717-724.

[6] 邹辉. 基于Fast-Match算法的电力设备红外图像分割[J]. 红外技术, 2016, 38(1): 21-28.

ZOU H. Infrared image segmentation for electrical equipment based on FAsT-match algorithm[J]., 2016, 38(1): 21-28.

[7] CHENG Mingming, Niloy J Mitra. Global contrast based salient region detection[J]., 2015.

[8] Goferman S, Zelnik-Manor L, Tal A. Context-aware saliency detection[C]//, 2010: 410-414.

[9] ZHAI Y, Shah M. Visual attention detection in video sequences using spatiotemporal cues[C]//, 2006: 815-824.

[10] Achanta R, Hemami S, Estrada F, et al. Frequency-tuned salient region detection[C]//, 2009: 1597-1604.

[11] 张钰, 陈珺. 随机森林在滚动轴承故障诊断中的应用[J]. 计算机工程与应用, 2018, 54(6): 101-104, 115.

ZHANG Y, CHEN J. Application of random forest on rolling element bearings fault diagnosis[J]., 2018, 54(6): 100-104.

[12] 李思嘉, 赵晓焱, 张继学. 基于OTSU算法的图像分割有效性研究[J]. 无线电通信技术, 2014, 40(5): 54-56, 85.

LI S J, ZHAO X Y, ZHANG J X. Research on image segmentation effectiveness based on OTSU algorithm[J]., 2014, 40(5): 54-56, 85.

Infrared Image ROI Extraction Based on Region Contrast and Random Forest

DUAN Lixiang1，LIU Ziwang2，ZHAO Zhenxin3，KONG Xin1，YUAN Zhuang1

(1.;,102249,; 2..,100621,; 3.,,841000,)

For the infrared image-based fault diagnosis, the region of interest (ROI) needs to be selected. Due to the characteristics of many interference background and low contrast in infrared image, it is necessary to remove the background and image segmentation to extract ROI. However, the common two value segmentation algorithm has the limitation of over-segmentation in the infrared image segmentation. Therefore, a method of infrared image ROI extraction based on region contrast and random forest is proposed in this paper. Firstly, the region contrast method is used to detect the infrared image significantly to remove the interference background. Then, image segmentation is conducted by applying OTSU algorithm in order to extract ROIinitially. Finally, aiming at realizing the optimal extraction of ROI, the threshold of image segmentation based on the results of random forest classification is iterated and optimized. Infrared images under 6 different conditions derived from the rotors test-bed are utilized for fault diagnosis, applying the ROI extracted by the proposed method to fault diagnosis, the accuracy of the classification increased by 3.3 percentage points, which is more accurate than that of the artificial selected area.

equipment failure, infrared image, ROI extraction, region contrast, random forest

TH17

A

1001-8891(2019)10-0988-06

2018-05-09；

2020-08-11.

段礼祥（1969-），男，教授，主要从事安全监测与智能诊断工程方向的研究。E-mail：duanlx@cup.edu.cn。

国家重点研发计划专题：罐区动力设备智能诊断及预测技术研究（2017YFC0805803）；国家自然科学基金项目：基于迁移学习的往复压缩机故障诊断机制及预测预警模型研究（51674277）。