电梯制动轮转角检测图像识别技术研究

冯双昌 刘曦晨 周奇才

1上海市特种设备监督检验技术研究院 上海 200062 2同济大学 上海 201804

0 引言

现有的制动器检测装置基于不同的工作原理，对能够反映制动性能的参数进行检测[1]。黄四彬[2]利用红外热成像仪检测制动器温度情况，从而判断电磁铁是否工作在正常温度范围内。若温度过高，电磁铁吸力会下降，电梯带闸运行将导致制动闸瓦严重磨损，制动性能下降。这种方法操作简单，但只能通过检测温度来间接判断制动器是否工作在正常状态。韩郡业等[3]采用高精度位移传感器来检测制动闸瓦间隙和制动轮磨损情况，得到的数据能够较为准确地反映制动器当前的磨损情况，从而判断当前的制动性能，但传感器安装要求较高，且需要定期调整传感器，以避免因安装松动导致精度下降。电梯钢丝绳在制动过程中的滑移量综合反映了电梯的制动能力和曳引能力，文中基于图像识别已经开展了电梯钢丝绳滑移量的检测[4]。

电梯在制动过程中的转动角度是反映制动器制动性能的重要参数，转动角度越小，制动性能越好。本文提出基于图像识别开展电梯制动轮转动角度检测技术研究，通过提取制动轮边缘点，对提取到的边缘点进行拟合，计算得到制动轮边缘在图像平面的方程。再结合制动轮在世界坐标中的方程和通过标定得到的相机内参，反解出相机的外参。通过检测制动轮边缘处贴好的标志，利用外参矩阵将标志的坐标变换到世界坐标，即可求出当前制动轮的转动角度，实现非接触测量。

1 检测系统的设计

该电梯制动轮转动角度检测系统由工业摄像机、工业路由器、计算机和监视器3部分组成。如图1所示，电梯制动器的控制柜发出制动信号后，不仅控制电梯制动器的制动，同时输入到计算机，通知计算机制动已经开始。计算机收到制动信号后发出控制信号，通过工业路由器，对工业摄像机发出控制信号，控制工业摄像机采集图像。工业摄像机采集到电梯制动过程中的图像信息，再通过工业路由器发送到计算机，由计算机进行缓存并开始计时。当超过指定的时间tmax时，计算机发出控制信号，控制工业摄像机停止采集图像。

图1 电梯制动轮转动角度检测系统

工业摄像机一般帧率较高，数据量较大，现有的图像处理算法难以对其进行实时处理，故上述过程中，工业摄像机采集到的图像首先进行缓存，而非直接进行处理。同时根据电梯的工作特点：电梯运行时并一直在制动，只在某些较短的时间段（制动时）数据量较大，因此，无需一直采集，可对采集到的数据先缓存、后处理。对于支持缓存的工业摄像机，无需考虑该过程。时间tmax指人为设定的最大图像采集时间，该时间一定要比制动器的最大制动时间长，可设置为最大制动时间的1.2倍。

使用图像识别技术对工业摄像机的摆放位置要求较低，只要使制动轮处于相机视野中央即可，无需使相机光轴和制动轮的圆轮廓面垂直，如图2所示，图中左侧为电梯制动器，右侧为工业摄像机。以制动轮转轴为z轴、水平方向为x轴、铅锤方向为y轴，建立坐标系，称为世界坐标系xw-yw-zw，该坐标系与制动器底座保持相对静止。以工业摄像机光轴为z轴，并以与光轴垂直于镜头中心的平面为x-y平面（x方向可任意选取，一般以相机结构轮廓为基准），得到一个坐标系，称为相机坐标系xc-yc-zc，该坐标系和相机保持相对静止，且跟随相机一起运动。

图2 相机与制动轮的相对位置和坐标系

2 图像算法

图像算法需要完成的功能包括：根据从工业摄像机采集到的图像数据，计算得到电梯制动轮在制动过程转动的角度。整个算法的处理过程大致分3步：轮廓提取与拟合、参数求解和转动角度计算。该算法首先提取图中制动轮边缘的轮廓，并使用椭圆方程拟合。再根据得到的椭圆方程，结合制动轮的真实尺寸、以及通过标定得到的相机内参，计算求解出相机外参。最后根据相机外参矩阵将图中识别到的标志物反变换回世界坐标，根据该世界坐标的变化从而求出制动轮当前的转动角度。

2.1 轮廓提取与拟合

制动轮轮廓提取与拟合是通过图像处理提取出制动轮外轮廓边缘点的坐标，并通过最小二乘法拟合得到制动轮轮廓在图像坐标系中的方程。该过程分为3步：轮廓提取、建立参数方程、最小二乘法拟合。

2.1.1 轮廓提取

以图3a所示的鼓式制动器为例，综合使用Sobel梯度算法、颜色过滤、梯度方向过滤、形态学处理等方法，可得到制动轮轮廓的厚边缘，再与Canny算法的结果求交集，得到制动轮轮廓的单像素边缘，完成轮廓提取。

使用Sobel算子，需先将图3a所示的图像转换为灰度图，然后进行高斯模糊，去除噪声的影响，得到图像I(u，v)分别进行u、v方向的梯度计算，然后将u、v方向的梯度组成梯度向量，求模。即

得到图像在任一点（u，v）处梯度的模后，对其规范化，使其值域落在[0，255]的范围内，便于后续筛选，即

式（2）中方括号代表高斯函数（向下取整）。对该函数取阈值T＜f(u，v) ＜Tmax，得到二值图Bgrad，如图3b包含了很多不属于制动轮边缘的点。对这个二值图中的点进行进一步筛选，对Bgrad中每个点在原图I(u，v)相同坐标处周围的颜色进行统计。对于Bgrad中的某个点A的坐标为（u0，v0），在I(u，v)中以（u0，v0）为中心n×n像素的区域内，若满足HLS颜色空间内颜色值在hmin＜h＜hmax且smin＜s＜smax范围内的点的数量大于nmin且小于nmax，则保留点A，否则从Bgrad中去除，得到一个新的二值图B1，如图3c所示。该二值图即为颜色、梯度阈值综合过滤的结果。其中n=13、hmin=17、hmax=255、smin=96、smax=104、nmin=30、nmax=120。 这 些参数的选择和相机参数以及制动器、现场条件影响，需根据实际情况进行测试得到。

根据第一步得到的B1，包含两条边缘线：制动器的内边缘和外边缘，两条边缘线上梯度的方向范围不同，通过梯度方向过滤，保留需要的外边缘。在u-v平面内，取B1中梯度方向角在(-arctank，arctank)范围内的点，即满足

得到一个新的二值图B2，如图3d所示，即为梯度方向过滤后得到的结果。

B2残留有不属于边缘的细小干扰点，可用算法去除这些细节：统计B2中所有不为零的点的邻域（例如以该点为中心13×13方形区域），计算该区域中不为零的点的数目，当数目大于一定的阈值（例如30）时，则这个中心点保留。当小于阈值时，该中心点去除（赋值为0），则可除去孤立的局部细节得到B2，如图3e所示。

Brm去除了B2中的非边缘细节，也去掉了一部分边缘点。需要通过式（4）进行边缘复原

迭代到Xfinal时，可较好复原边缘同时不会再次引入不需要的非边缘细节。该 final值可通过实际测试获得最佳效果，本例中使用的是15。

Xfinal中的边缘较厚，不利于计算，需要进行边缘细化。使用Canny边缘检测算法对I进行处理，得到整个图像的单像素边缘二值图Bcanny，最后，通过将X15和Bcanny求交集得到细化后的边缘二值图Bedge，如图3f所示。

图3 制动轮轮廓提取

2.1.2 轮廓拟合

进行轮廓拟合首先需要得出制动轮轮廓在图像坐标系u-v中所满足的参数方程。已知制动轮轮廓在世界坐标系xw-yw-zw下是一个圆。从世界坐标到图像坐标，需要经历2次变换：透视变换和仿射变换（不考虑相机畸变，因为畸变已经通过相机标定消除）。其中透视变换的公式为

相机仿射变换的公式为

其中仿射变换参数fx、fy、cx、cy只和相机自身的参数有关，与相机的位置无关，称为内参。

由于制动轮轮廓在世界坐标下的方程（圆方程）需要经过以上2次变换才能得到u-v平面内的方程，使参数方程变得十分复杂。而相机内参在相机标定期间就能确定，且不会随相机位置改变而改变，故可令

通过式(7)可将u-v平面内提取到的轮廓点集{(ui，vi)}变换为坐标点集{(pi，qi)}，然后计算p-q平面内满足的方程，可减小计算量。

设制动轮轮廓在世界坐标下满足的关系式为

通过式(5)和式(8)可求出p、q分别满足关系式

对式(9)进行变换，得

吕杨的故事，圈里面大家应该都听了不少，尤其是2017年8月20日，他登顶侍酒师大师的消息从伦敦传来，各个版本的报道和祝福纷至沓来，在圈中传为佳话。过去一年的各大酒展和活动中，也越来越多地见到他的身影。然而，成为大师这一年，他又有哪些变化？谁又最有机会成为我们中国热土上下的一位大师？

将式(10)合并，消去θ，得到Ap2+Bq2+Cpq+Dp+Eq=1的方程，为二次曲线，因二次曲线中的封闭图形只有椭圆，故该方程为椭圆。可以对该椭圆用最小二乘法进行拟合，求出A、B、C、D、E5个参数。

根据上述得到的{(pi，qi)}(i=1、2、…、n)，可得矛盾方程组为

即Ax=b形式，该方程的最小二乘解为x=A+b。图4a是将前面提取到的制动轮边缘点集{(ui，vi)}进行变换得到的{(pi，qi)}绘制在左边系中，横坐标为p，纵坐标为q。与图像坐标系有所不同，故轮廓方向与前面相差90°。图4b是对{(pi，qi)}进行轮廓拟合后的结果，可以看出，使用最小二乘法能较好地拟合这些点。

图4 轮廓拟合

2.2 参数求解

通过轮廓拟合，能求出A、B、C、D、E5个参数。需要使用这些参数，反解出相机外参矩阵（即式(5)中的矩阵T），T总共包含12个参数，但并非都是自由参数，其中所有rij组成一个旋转矩阵，为单位正交矩阵，只有3个变量。故T可写为

式中：Rx(α)、Ry(β)、Rz(γ)分别为坐标系绕自身x、y、z轴旋转括号中角度的旋转矩阵。在世界坐标下，制动轮的轮廓是一个椭圆，无论轮廓沿zw如何转动，最后在图像坐标系中都能得到相同的椭圆方程。因此，参数γ可以任取，这里取γ=0。将该矩阵中的参数分别代入式(12)、式(13)中的rij。

然后将得到的p、q关于α、β、γ和t1、t2、t3的表达式代入到Ap2+Bq2+Cpq+Dp+Eq=1中，得到新的二次曲线方程该二次曲线就是制动轮轮廓在世界坐标系下的方程，也就是半径为R的圆方程，其中A＇、B＇、C＇、D＇、E＇、F＇分别满足

通过椭圆的5个参数只能列出5个方程，求解出一组符合方程（14）的参数，可通过旋转变换获得γ在任意值下的通解。

通过式（14）反解出α、β、t1、t2、t3，需要求解一个非线性方程组，该方程组没有公式解。但可通过梯度下降法逼近参数，得到近似解。构造一个损失函数

并利用rmsprop梯度下降算法，进行梯度下降，直到En低于一个给定的阈值Tn，Tn可以根据实际情况测试获得满意的结果。计算出α、β、t1、t2、t3，的近似值后，可求出外参矩阵T＇。

为了测试这种方法的效果，可以使用T＇，利用式(5)和式(6)将制动轮在世界坐标下的方程变换到u-v坐标下，与原图像轮廓进行对比。但并不能很好地比较真实参数与计算参数之间的差异，因此，不使用原轮廓，而是在的圆周上取等距的点，使用程序模拟的真实外参矩阵T和计算得到的T＇，将其变换到u-v，得到2组点，并对比这2组点的差异。如图5所示，图5a是所有点的图像，图5b是取图5a中一部分放大得到的，使用真实参数T将圆上等间距点变换到u-v上的点形状为o，而使用T＇变换得到的点形状为x。通过图5a可以看到2个参数计算得到的点基本处于同一椭圆轮廓上，而通过图5b可以看到，2参数计算得到的点还会有偏差。该偏差正如前述，是使用γ=0造成的角度偏差。

图5 真实参数与计算参数的差异对比

对T＇中旋转矩阵参数部分再进行沿z轴方向的旋转可消除该偏差，设T＇的旋转矩阵为R＇，T的旋转矩阵为R，则有

根据式(12)可知R12=0，因此有计算得到γ，代入式(16)得到的Rc就非常接近事先给定的参数T的旋转矩阵R，利用Rc得到Tc，再重复前面的比较过程，将圆周上等距的点分别以T和Tc作为外参矩阵，变换到u-v平面。如图6所示，经过调整后，两参数矩阵变换得到的点几乎重合（o形点是T变换下的点，x形点是Tc变换下的点）。

图6 调整后两参数矩阵的差异对比

实际的计算过程中，T无法事先得到，因此不可能通过计算γ来调整T＇，但这一步并不是必须的，γ不同只是角度的基准不同，而对于圆轮廓而言，角度基准可任取，只需要在一次计算过程中，使用相同的角度基准就能得到正确的转角。

3 转角计算

1）识别标志物坐标

在进行角度计算时，首先要在制动轮上接近边缘的地方做一些等间距的标记，有些制动轮自带可识别的标志物，如图7所示，制动轮边缘的螺钉可以作为标志物。

图7 制动轮上的标志物

最简单的标志物识别方法是使用带特殊颜色的标志物，通过颜色识别定位出标志物在图中的坐标。因制动轮并不是完全处于相机视野下，会出现部分遮挡的情况，需要设定多个标志物。标志物间距的确定需要根据制动轮的转速和相机的帧数，为满足采样定理，2个标志物出现在同一个标志物所经的实际内，相机至少要拍摄2帧以上。一般可设定4个标志，每2个标志之间相隔1/4圆弧。

2）计算旋转角度

得到标志物在图像中的坐标后，首先使用式（7）和T＇的逆矩阵T＇-1，将图中所有标志物在图像坐标系u-v下的坐标(ui，vi)变换成世界坐标系xw-yw-zw下的坐标(xi，yi)。然后根据

计算得到当前帧夹角θ（设当前帧为第k帧），由于每帧可能不止检测到一个标志物，故得到夹角的集合Sk={θk,i:i=1,2,…}，同样，对于第k+1帧，得到另一个集合Sk+1={θk+1,i:i=1,2,…}，构造一个新的集合

因标志物相隔1/4圆弧，相邻2帧制动轮转角必须小于1/8圆弧，从集合Ak,k+1中找出所有小于π/4的值。这些角近似相等，都等于相邻2帧的转角，对这些筛选出的角度求平均值，作为第k帧到第k+1帧的转角Δk，k+1，假设制动过程总共有n帧图像，总转角为

4 结语

本文结合多种图像处理方法，提出了提取制动轮边缘的算法，并根据相机成像模型，对圆轮廓的相机成像方程进行推导，并结合梯度下降法，提出了方程参数优化的方法。每次制动轮制停结束后，该系统都要通过新提取到的轮廓边缘对参数重新进行优化，使得该系统能适应环境的变化。使用非接触测量使制动器不需要通过破坏性的改装即可安装本系统。但制动轮边缘提取依赖于制动轮上特定的颜色。对不同的制动轮，可能需要手动调整阈值才能使用。该系统可用于电梯制动性能的长期监控，并且能保证不会因为位置的微小变化而降低精度。