基于运动分析的运动目标实时跟踪系统

鞠升辉， 李杨民

(1.天津理工大学 机械工程学院 天津市先进机电系统设计与智能控制重点实验室，天津 300384; 2.澳门大学 科学与技术学院 机电工程系，澳门 999078)

设计与制造

基于运动分析的运动目标实时跟踪系统

鞠升辉1， 李杨民2

(1.天津理工大学 机械工程学院 天津市先进机电系统设计与智能控制重点实验室，天津 300384; 2.澳门大学 科学与技术学院 机电工程系，澳门 999078)

机器人的视觉伺服是机器人领域重要的研究方向。着力于提高机器人视觉反馈系统的实时性，提出了基于运动分析的的运动目标实时跟踪方法。该方法采用形态学方法标记连通域，并基于最小二乘法拟合运动轨迹曲线，预测下一时刻位置，设定连通域搜索范围，从而提高搜索速度。仿真结果表明：该方法处理效果良好，能满足后续系统实时性要求。

实时跟踪； 视觉伺服； 位置预测； 运动分析

0 引 言

视觉图像蕴含丰富的信息，从中提取本文作者感兴趣的研究对象，分析其位置、形状、颜色等特征，并将其用于视觉伺服[1,2]，从而实现对运动目标的跟踪和反馈。在工业领域，如基于视觉传感的仪表自动读数系统[3]，微小群孔检测[4],地铁隧道变形检测[5]等。Magana M E利用视觉图像，从中提取倒立摆中小车和摆杆的特征点，计算运动参数，并结合模糊控制，从而实现了对直线倒立摆的稳定性控制[6]；Petrovic I在一个横梁和可以自由滚动的小球构成的实验平台上，采用边缘检测从图像中分离出横梁的角度和小球的位置，实现了小球和横梁相对位置的精确定位[7]。

这些研究虽然均能够实现对运动目标的精确控制，但是处理速度却不够理想，图像速度最大仅仅15～20帧/s。

对于实时性要求更苛刻的运动目标，这些方法很难满足应用要求。因此，针对性工作很快展开并取得一系列进展。李盛阳[8]提出了基于网格的图像快速处理方法，将闲置的计算机组成局域网，分割任务，并行处理，实现了速度的大大提升；黄文杰[9]提出图像快速处理的积分图方法，显著地加速空间域图像的处理速度；吴叶兰[10]在运动目标的跟踪中，提出了用局部模版来缩短模版匹配时间。

本文研究中，提出了一中基于运动分析的目标预测和跟踪方法，即：依据历史位置，采用最小二乘法拟合出一条运动轨迹曲线，根据运动轨迹曲线得到运动物体在下一个时刻的位置，同时，依据历史预测的精度来推断出适当的搜索范围，从而减小搜索的区域，准确快速的定位运动物体的实际位置。

1 最小二乘法的曲线拟合理论

在曲线拟合中，运用最小二乘法[11,12]，也即：使拟合数据与原始数据的偏差平方和最小。最小二乘法原理为极小值原理。记

(1)

多元函数存在极值的必要条件是

αnφn(xi)]=0,k=0,1,2,…,n

(2)

(3)

对任意函数h(x)和g(x)，引入

(4)

用向量内积形式表示，可得

α0(φk,φ0)+α1(φk,φ1)+…+αn(φk,φn)=(φk,f), k=0,1,2,…,n

(5)

即

(6)

即为求α0,α1,…,αn的法向方程组，其矩阵的形式为

(7)

(8)

若

φ(x)=α0+α1x+α2x2+…+αnxn

(9)

则

(10)

(11)

最小二乘法的法方程为

(12)

根据上式可得α0,α1,…,αn，由此，可得到描述运动目标的轨迹曲线。

2 目标检测基本原理

2.1 运动目标的提取和分离

本文采用连续差分法[13]提取运动目标，即：分别将当前帧与前一帧、下一帧与当前帧分别进行图像的差分运算，即可得到差分后的两幅图像。然后对差分图像进行二值化，从而将运动目标从差分图像中分离出来。

2.2 运动目标连通分量提取与实现

在二值图像中提取连通分量是许多自动图像分析应用中的核心任务。提取连通分量的过程实际上也是标记连通分量的过程，本文做法是，给原图像中的每个连通区分配一个惟一代表该区域的编号，在输出图像中该连通区内的所有像素的像素值就赋值为该区域的编号，即所谓的标记图像[14]。采用形态学的膨胀操作提取联通分量(如图1和图2所示)，算法如下：

初始化：B0=连通分量A1中的某个点

循环：doBi+1=(Bi⊕S)∩A

untilBi+1=Bi

图1 含有两个联通分量的图像AFig 1 Image A containing two connected components

图2 A的连通分量标注Fig 2 Labeling of connected components of A

2.3 图像处理

噪声来源分析：数据会被噪声和形变影响。这些影响来自真实世界的变化(天气、光线、反射、运动)，镜头和机械结构的不完美，传感器长时间感应(运动模糊)，从而在图像上形成明显易见的拖拽阴影。传感器和其他电子器件上的电子噪声，以及图像采集后的图像压缩引入的变化[15]。这也是为什么背景完全相同的图像，通过连续差分法获得图像、二值化处理并对连通域进行标记之后，连通域除了运动目标一处之外，却另外还有50多处的原因。

图3 原始图像Fig 3 Initial image

图4 二值化后图像Fig 4 Image after binarization

规律分析： 由图3与图4分析可得，噪声点较多，且噪声的分布规律呈现一定的随机性；噪声点的形状较小，比作为研究对象的运动目标小的多；本文研究对象中，对于影响较大的白光，其形状呈现长条形，与运动目标的圆形区别明显。

噪声处理与运动目标提取： 在对运动目标进行检测时，首先，通过拟合的曲线预测下一时刻运动目标可能的坐标，然后，以该预测的坐标为中心设定连通域的搜索范围，最后，比对标记连通域的索引值和搜索范围，落在搜索范围内的，且形状为圆形的最大连通域即为运动目标。

搜索范围确定[11]： 由于最小二乘法本身的误差和图像的畸变，预测的坐标和实际坐标之间的误差是不可避免的。此外，目标有一定大小，应该在以预测坐标为中心的一个范围内进行搜索。分析可知，越接近本次预测的历史位置坐标对预测精度的影响越大；反之,越小。于是，采用1～m的自然数作为加权值，如下式所示

(13)

(14)

式中 Dx和Dy分别为搜索区域宽度和高度的半径，b为常数，m为参考位置数目。

为了严谨，将搜索半径与预测误差进行对比，如图5所示，由于本文m取值为5，所以，前5个搜索半径无法预测，为了安全起见，取值较为保守为20，这是图表中搜索半径的起始部分为线段的原因。

系数的评估： 参考的历史位置数量m、拟合曲线的最高次数n和权值b直接影响位置精度。表1列出了m和n的不同取值时的针对单幅图像的仿真结果，仿真的硬件环境为E8400 3.00GBZPC，图像为320像素×240像素，软件环境为MATLAB12.0。 与 要根据实际情况选择合适的赋值，文中选择m=5,n=3,b=0.3。

2.4 算法性能比较

文献[16]采用了粒子滤波方法，单个目标跟踪时处理速度不大于10帧/s。文献[17]采用卡尔曼滤波在类似的实验条件下对运动目标的跟踪速度为20帧/s。表2为分别采用运动分析法、粒子滤波法[18]和卡尔曼滤波法[17]对Y方向实际坐标位置进行预测的结果。视觉采样的速率较慢，典型采样频率为30 BZ[1]。因此，本文方法可满足实时性要求，图6分别为第1,11,24帧时的跟踪图像。

表2 算法性能比较Tab 2 Performance comparison of different algorithms

图6 基于运动分析的运动目标实时跟踪方法下的目标图像Fig 6 Target image by moving object real-time tracking method based on motion analysis

3 结 论

本文提出了一种基于运动分析的运动目标实时跟踪算法，通过连续差分法提取运动目标，并标记连通域，依据历史位置信息确定搜索范围，从而准确快速地提取出运动目标的坐标位置信息。仿真实验可知，处理每帧图像的时间平均为25 ms。与卡尔曼滤波以及粒子滤波等方法比较，本文所采用的方法计算量小，实时性较好。然而，本文没有选择添加窗口，设定感兴趣区域(region of interest,ROI)的方法，而是全局扫描并标记连通域方法，因此，算法的潜力没有得到充分挖掘。接下来的工作中，会考虑设置ROI区域的方法，进一步优化算法，加快运算速度。

[1] 田梦倩,罗 翔,黄惟一.视觉伺服机器人对运动目标操作的研究[J].机器人,2013,25( 6):548-553.

[2] Hutchinson S,Hager G,Corke P I.A tutorial introduction to visual servo control[J].IEEE Trans on Robotics and Automation,1996,12(5):651-670.

[3] 郭永彩,刘丽君,高 潮.基于图像传感器的仪表自动读数系统[J].传感器与微系统,2012,31(11):115-121.

[4] 张剑剑,朱 荻,李寒松.基于数字图像处理技术的微小群孔快速监测系统[J].传感器与微系统,2009,28(6):73-79.

[5] 赵 炯,朱海涛,屈剑平,等.基于OpenCV的圆心定位在地铁隧道变形检测中的应用[J].传感器与微系统,2013,32(11):139-145.

[6] Magana M E,Holzapfel F.Fuzzy-logic control of an inverted pendulum with vision feedback[J].IEEE Transactions on Education,1998,41(2):165-170.

[7] Petrovic I,Brezak M,Cupec R.Machine vision based control of the ball and beam[C]∥International Workshop on Advanced Motion Control,Piscataway, NJ,USA:IEEE,2002:573-577.

[8] 李盛阳,李爱军,朱重光,等.基于网格的遥感图像快速处理[J].计算机工程,2007,33(6):35-37.

[9] 黄文杰,陈 斌.一种快速图像处理的积分图方法[J].计算机应用,2005,25(12):266-268.

[10] 吴叶兰,杨 飞,刘 阳,等.基于显微视觉的微小型零件跟踪系统[J].传感器与微系统,2015,34(2):95-98.

[11] 钟建冬,苏剑波.基于视觉预测的运动目标实时跟踪系统[J].机器人,2010,32(5):516-520.

[12] 海 啸,朱志杰.最小二乘法和三次样条曲线拟合的比色测温误差修正对比分析[J].激光杂质,2015,36(6):72-76.

[13] 杨 蕊,张泾周,李 荣,等.基于帧差法与边缘信息的红外目标检测算法研究[J].科学技术与工程,2012,12(26):25-28.

[14] 张 铮,王艳平,薛桂香.数字图像处理与机器视觉—Visual C++与Matlab实现[M].北京:人民邮电出版社,2010.

[15] Gary Bradski,Adrian Kaehler.学习OpenCV(中文版)[M].北京:清华大学出版社,2009.

[16] 程 建,周 越,蔡 念,等.基于粒子滤波的红外目标跟踪[J]．红外与毫米波学报,2006,25(2)：113-117.

[17] 李鹏飞,喻建平,李良群.基于模糊自适应α-β滤波的机动目标跟踪[J].系统工程与电子技术,2008,30(11):2138-2141.

Real-time tracking system of moving object based on motion analysis

JU Sheng-hui1, LI Yang-min2

(1.Tianjin Key Laboratory for Advanced Mechatronic System Design and Intelligent Control,School of Mechanical Engineering,Tianjin University of Technology,Tianjin 300384,China；2.Department of Electromechanical Engineering,Faculty of Science and Technology,University of Macao,Macao 999078，China)

Robotic visual servo system is an important research direction in the field of robotics.To enhance performance of real-time of robotic visual feedback system,method for realtime tracking of moving target based on motion analysis is proposed.The method uses morphological way to label connected domain,and fits trajectory curve based on least square method,predict position of the next and set searching scope of connected domain,so as to improve searching speed.Simulation results show that the approach is effective and can meet the requirements of real-time of system.

real-time tracking; visual servo; position prediction; motion analysis

10.13873/J.1000—9787(2016)07—0058—04

2015—11—05

TP 391

A

1000—9787(2016)07—0058—04

鞠升辉(1989-)，男，河南平顶山人，硕士研究生，主要研究方向为机器人视觉、自主导航。