基于视频的果蝇求偶行为识别和运动轨迹跟踪预测

谢忠红,于 乐,梁敬东,李 飞,王翠花

(1.南京农业大学信息科学技术学院，江苏 南京 210095；2.南京农业大学植物保护学院，江苏 南京 210095)



·计算机软件理论、技术与应用·

基于视频的果蝇求偶行为识别和运动轨迹跟踪预测

谢忠红1,于 乐1,梁敬东1,李 飞2,王翠花2

(1.南京农业大学信息科学技术学院，江苏 南京 210095；2.南京农业大学植物保护学院，江苏 南京 210095)

针对人工检测果蝇求偶行为效率低、果蝇轨迹跟踪困难的问题,提出一种基于视频的果蝇求偶行为识别和运动轨迹跟踪预测的方法。首先采用Ostu法实现图像分割，并使用外接椭圆锁定果蝇目标，根据果蝇位置关系和差值图像灰度均方差进行求偶行为误判筛除；然后提取果蝇轮廓的形状特征(面积，周长，似圆度等)和7个不变矩特征，并依据特征信息实现果蝇求偶行为的识别；最后采用卡尔曼滤波和特征匹配的轨迹跟踪方法实现运动果蝇的跟踪预测。实验结果表明，该方法能够准确识别果蝇的求偶行为和运动跟踪预测。

果蝇；求偶行为；跟踪；卡尔曼滤波

求偶行为是动物与生俱来的复杂行为，果蝇作为理想的模式生物被广泛地用于求偶行为的研究[1]。果蝇求偶时，雄果蝇的行为呈现固定模式：朝向雌蝇，拍打雌蝇，跟随雌蝇，振动一侧翅膀对雌蝇唱“求偶歌”，舔雌蝇尾部，试图交尾和交尾[1-3]。传统果蝇求偶行为的观测方式是人工观测，但这种方法的效率和准确率都非常低；因此，急须一种新的方法代替。利用计算机视觉技术[4-17]实现果蝇求偶行为的自动识别不仅能节省人力、物力还有助于观察果蝇的动作细节，深入探究果蝇求偶行为的奥秘。吴伟忠等[4]使用微机技术对黑腹果蝇求偶歌节律进行测量，首次测量出黑腹果蝇ipi节律周期平均值约为53 s。后来的研究结果表明，这一节律仅表现在部分果绳的求偶歌中[3，5-6]。梁敬东等[3]探讨了基于图形图像处理技术的果蝇求偶行为的微机检测与识别的方法，设计了求偶果蝇检测算法，该方法具有较高的效率和可靠性。谢元澄等[1]设计了一种机器学习分类算法，实现对果蝇求偶行为的自动识别，检测正确率达到了(91.6±0.036)%，其中正样本的漏检率为(3.0±0.023)%，负样本的误检率为( 9.75±0.041)%。从已有的文献资料看，利用机器视觉技术对果蝇求偶行为的研究才刚刚起步，研究工作主要集中在求偶瞬间的果蝇动作上。本文利用机器视觉技术实现果蝇运动轨迹的自动跟踪，以再现果蝇运动轨迹和求偶行为。

1 果蝇运动轨迹再现试验平台

1.1 视觉检测平台

在南京农业大学植物保护学院试验室，选择直径为35 cm的封闭且透明的昆虫玻璃培养平皿，并将其倒扣在无菌操作台上，使用OLYMPUS SZX10体视显微镜拍摄，其图像采集装置如图1所示。试验主要处理工作分为2步：1)选取多只在玻璃培养皿(倒扣、封闭、透气、透明) 中的运动果蝇为研究对象[3]，采集果蝇活动视频，设计轨迹跟踪算法实现果蝇运动轨迹的自动跟踪；2)使用乙醇气体持续不断地作用于玻璃培养皿(倒扣、封闭、透气、透明) 中的同性果蝇，使雄性果蝇之间在168 h内持续不断地发生同性求偶行为[1]，采用摄像机拍摄其活动视频，探讨计算机自动检测果蝇求偶行为的算法。

图1 图像采集装置

1.2 研究的技术路线

为能够从视频中识别出果蝇的求偶行为，本次研究的基本流程是：首先采用摄像机拍摄果蝇活动视频；然后从视频中按时间顺序获取帧，保存为连续图像序列，对每帧图像进行预处理(增强、去噪)后，分割出果蝇目标；接着提取目标对象的位置、形状、灰度等相关特征；最后基于这些特征进行行为判别和轨迹跟踪。具体的技术路线如图2所示。

图2 技术路线图

2 果蝇求偶行为检测

2.1 生成背景和刷新背景

果蝇为运动目标，并不是长时间停留在某个点，因此图像中每个素点的灰度值在多数时刻为背景灰度。为此，可利用第k帧及其后面连续多帧的图像(k+1、k+2、…)生成Δt时间内的背景图像。具体步骤如下。

1)令背景生成的时间间隔为Δt，初始化计时器Time=0。

2)选取当前帧记为Framek， Back′(i,j)也记为第k帧的图像，令视频第1帧开始时刻为t1,Time=0，Time开始计时。

3)计算Framek的灰度直方图，找到所有果蝇目标，共n个 ，用外接矩形标记所有果蝇，外接矩形左上角(x1,y1),右下角(x2,y2)，依据第k帧和k+1、k+2、…、k+m的连续帧序列，计算出新的背景图像 Backk(i,j)。

4)s=1。

5)在Framek选择第s只果蝇目标，设外接矩形区域中的像素点坐标为Rectk,s(i,j)，依据式(1)计算该矩形区域的背景图像为B-Rectk,s(i,j),将B-Rectk,s(i,j)与已生成的背景Back′(i,j)合并生成新的Back′(i,j) 。

B_Rectk,s(i,j)=max frequency(Rectk,s(i,j))。

(1)

式中frequency 函数表示像素点(i,j)在k、k+1、k+2、…、k+m连续帧中出现次数最多的灰度值。

6)如果∑|Back(i,j)-Back′(i,j)|<θ，则该时间片背景生成结束转到步骤7)，否则s=s+1, Back(i,j)= Back′(i,j) 转到步骤5)。

7)若视频已是最后1帧，则算法结束；若Time=Δt，则转2)；若Time！=Δt，则 Time继续计时，转步骤7)。

生成背景图像的过程，如图3所示，(a)为第k帧图像，(b)—(g)为去除背景中间图像，(h)为生成的背景图。

(a)

(b)

(c)

(d)

(e)

(f)

(g)

(h)

2.2 轮廓提取

首先将灰度图Gray与背景图Back相减得到对应的差值图像Diff；然后通过大津法计算差值图像Diff的分割阈值T，实现图像二值化；接着对二值图像进行多次腐蚀操作减少果蝇躯干轮廓的粘连、重叠，其过程如图4所示。

(a)灰度图像

((b)差值灰度图

((c)二值躯干图

2.3 求偶行为预筛

2.3.1 果蝇间相对位置的预筛选

果蝇的求偶行为表现为单侧振翅和尾随，因此2只果蝇须满足一定的位置关系，如图5所示。图5中A、B2点为2只果蝇对应拟合椭圆的中心，L1和L2分别为2个椭圆的长轴方向的直线，A、B之间的的直线为L3。假设单只果蝇躯干的平均长度为L(L=10 pixel),则2只发生求偶行为的果蝇具有如下特征：中心点A、B之间的距离应该在[L，2L]之内，2只果蝇躯干所在轴线L1、L2间的夹角范围为[0，π/2]，并且L3与L1之间的夹角范围为[0，π/4]。

位置预筛的基本步骤为：1)计算A和B之间的距离，并记为D；2)计算L1、L2间的夹角，并记为θ2；3)计算L3与L1间的夹角，并记为θ1；4)计算D∈[L，2L]&&θ2∈[0，π/2]&&θ1∈[0，π/4]的结果，若为假就判定为不是求偶行为，提前筛除。

图5 求偶果蝇间的位置关系

2.3.2 基于差值图像灰度均方差的预筛选

果蝇图像可分为3类：第1类果蝇数目多且拥挤，人工识别求偶行为非常困难，应提前筛除该类局部图像，如图6所示；第2类果蝇翅膀在局部图像中所占区域较小，甚至完全收拢，不可能发生求偶行为，也应筛除，如图7所示；第3类果蝇翅膀在局部图像中所占区域较大，其中部分果蝇张开了单侧翅膀，可能发生求偶行为，如图8所示。

(a)

(b)

(c)

(d)

(a)

(b)

(c)

(d)

(a)

(b)

(c)

(d)

图像的灰度均方差是衡量图像质量和均匀度等的重要指标。在本研究中，为提前筛除第1类和第2类果蝇，定义了差值图像的灰度均方差Diff_Mse，为

(2)

表1 果蝇差值图像的灰度均方差

为有效减少检索范围，本文采用基于差值图像灰度均方差的筛除方法：1)若Diff_MseT2(T2=1.3)时，果蝇翅膀所占比例过小，不可能发生求偶行为，也提前筛除。

2.4 求偶行为识别

1)几何形态识别。

选择单侧振翅果蝇和未振翅果蝇各30只，计算出各几何参数的取值范围，如表2所示。通过多个几何参数的计算发现，单侧振翅的果蝇与未振翅果蝇在轮廓面积、周长和似圆度上差距较大，其他几何参数无明显差距，如图9所示。图中(a)—(c)为单侧振翅，(d)—(f)为未振翅。基于此，通过多次实验得到最佳的参数取值范围是：面积(220.00,350.00)、周长(70.00,100.00)、似圆度(0.25,0.50)。

(a)

(b)

(c)

(d)

(e)(f)

果蝇类别形状特征面积/pixel周长/pixel似圆度长轴/短轴单侧振翅224～34678～970．33～0．492．44～3．33未振翅1306～23159～780．44～0．582．46～3．42

2)不变矩。

不变矩具有平移、缩放以及旋转不变性，被广泛地应用在模式识别中。Hu提出p+q≤3的7个不变矩对平移、旋转、镜面以及尺度变换均具有不变性[18]，因此，本研究以7个不变矩作为果蝇轮廓的特征参数，如表3所示。研究中分析了30幅果蝇求偶图片，计算了具有求偶行为的果蝇的7个不变矩参数的绝对值取值范围，为：φ1(1.2,1.5，)、φ2(3.8，4.5)、φ3(7.3,8.1)、φ4(8.9,9.6)、φ5(17.3,18.3)、φ6(11.5,12.5)、φ7(17.9,18.5)。

表3 图9中6只果蝇的7个不变矩特征值

通过2次预筛选后，剩下来的果蝇图像可能就是有求偶行为的图像，再计算图像中果蝇目标的几何形态特征和7个不变矩特征，即可找出发生求偶行为的果蝇。

在多样本中，通过本文方法判断识别出4种情况为果蝇求偶行为，其位置如图10所示，均方差及相关的特征信息如表4所示。

(a)

(b)

(c)

(d)

特征值图编号(a)(b)(c)(d)均方差0．980．941．040．92面积325．2270．3324．3320．1周长94．290．394．793．6似圆度0．450．370．440．45φ1-1．3-1．4-1．5-1．3φ2-4．2-4．1-4．1-4．2φ3-7．7-7．7-7．4-7．6φ4-9．4-9．4-9．3-9．4φ5-17．8-17．9-17．9-18．1φ6-12．0-11．7-11．8-11．9φ7-18．2-18．1-18．0-18．1

3 基于卡尔曼滤波的果蝇运动轨迹跟踪预测

3.1 基于卡尔曼滤波的果蝇跟踪算法原理

卡尔曼滤波器是一种基于线性最小均方差预测的最优线性递归滤波方法[14-15]，卡尔曼滤波器的解为：

(3)

式中：Xk和Xk-1为k和k-1时刻的状态向量；Zk为k时刻的观测向量；Fk为系统状态转移矩阵；Hk是观测矩阵；Wk-1为系统噪声；Vk为观测噪声；Wk-1和Vk均是零均值。

选择运动果蝇的质心P(a,b)和外接椭圆(长轴h、短轴s)，进行跟踪。质心P的运动矢量为(vx, vy)。设果蝇运动状态向量为X和观测向量为Z, 系统的状态转移矩阵为F和观测矩阵为H。

X=(a,b,h,s,vx,vy)T；

(4)

Z=(a,b,h,s)T；

(5)

(6)

(7)

果蝇的初速度和外接椭圆的变化初速度均为0。 对第k帧中所有果蝇利用邻域轨迹预测判断其在第k+1帧中应该出现的区域，计算该区域中果蝇的个数n。

若n=1，利用k+1帧中该果蝇的位置进行运动轨迹的Kalman滤波估计，修正滤波中的状态估计值。

若n>1,说明出现轨迹交联,先用Kalman滤波预测目标的位置，然后与n个目标位置进行对比，运用特征匹配和公式(8)找出δ2最小的位置(xp,yp)，更新为果蝇位置，并继续修正状态估计值。

δ2=(x-x′)2+(y-y′)2。

(8)

式中：(x,y)表示预测的果蝇位置；(x′,y′)果蝇当前真实的位置。

若n=0,说明跟踪区域内果蝇可能丢失，使用Kalman滤波预测出该区域内的原来跟踪的果蝇在第k+1帧中应该出现的位置，同时更新为该果蝇位置，继续预测 ，设定连续预测的次数不大于T(T取值为3)，若3次预测后该区域中果蝇的个数n依然为0，则判定该果蝇已经完全丢失,放弃跟踪。

最后对第k+1帧中存在的果蝇目标区域到其对应的前一帧(第k帧)中寻找匹配的果蝇，如果没有找到果蝇则说明不存在相应的匹配果蝇，反之说明该区域对应着第k+1帧中新增果蝇并记录着这果蝇的位置信息。

3.2 果蝇轨迹跟踪预测结果

对视频中果蝇的跟踪过程如图11所示。绿色和深绿色2只果蝇分别记为1号果蝇和2号果蝇，对2只果蝇在每帧中的坐标信息进行记录，绘制其轨迹,如图12所示，并对10 s内果蝇对象的实际坐标和预测坐标进行定量比较：1号果蝇实际坐标和预测坐标x方向的平均误差为 4 pixel,y方向的平均误差为5 pixel，如图13所示；2号果蝇实际坐标和预测坐标x方向的平均误差为 5 pixel,y方向的平均误差为6 pixel，如图14所示。图中(x,y)为实际位置，(x′,y′)为预测位置。

(a)初始状态图

(b)跟踪状态图

(c) 跟踪过程中状态图

(d) 跟踪最终的状态图

(a)1号果蝇轨迹跟踪图

(b) 2号果蝇轨迹跟踪图

图13 1号果蝇的卡尔曼滤波预测坐标与实际位置对比

图14 2号果蝇的卡尔曼滤波预测坐标与实际位置对比

4 结论

本文提出一种基于视频的果蝇求偶行为识别和运动轨迹跟踪预测方法。首先根据果蝇位置关系和差值图像灰度均方差对图像进行筛选，然后提取果蝇轮廓的形状特征(面积、周长、似圆度等)和7个不变矩特征，并依据特征信息识别果蝇求偶行为，最后采用卡尔曼滤波和特征匹配预测运动果蝇的轨迹。

研究中还存在问题，需投入更大的精力进行研究。1)在图像预处理模块，因为果蝇的翅膀呈半透明，且经常处于振动状态，这就使得翅膀与背景差异小，分割结果有一定误差；培养皿有时存在刻痕和污渍，也会引入误差。 2)基于卡尔曼滤波的多目标跟踪算法是基于数据关联的，当果蝇数目较多时，计算量巨大；在果蝇发生遮挡、运动方式突然发生变化时跟踪会不稳定，甚至丢失跟踪目标。

[1]谢元澄，梁敬东，王书平,等.基于特征选择集成学习的果蝇求偶行为识别[J].南京农业大学学报,2011,34(6):82.

[2]苗雪霞,黄勇平.果蝇求偶行为的影响因素及其分子基础[J].昆虫知识,2008,45(1):5.

[3]梁敬东,余倩倩,谢元澄,等.果蝇求偶行为计算机检测识别方法[J].江苏农业学报,2011,27(1):209.

[4]吴伟忠,陈暨耀,蔡怀新,等.用微机技术测量黑腹果蝇(Drosophila melanogaster)求偶歌节律[J]．复旦学报(自然科学版),1988,27(4):402．

[5]陈暨耀,吴伟忠,蔡怀新，等.用新的计量方法研究黑腹果蝇的求爱歌[J]. 动物学研究,1988,9(2):133.

[6]孙吉祥,梁敬东,谢元澄,等.一种自适应的运动目标模糊边缘检测方法[J].计算机与数字工程,2012,40(10):126.

[7]Ojala T， Pietikinen M， Harwood D.A Comparative Study of Texture Measures with Classification Based on Feature Distributions[J]．Pattern Recognition，1996，29(1):51.

[8]杨耿.运动目标的图像识别与跟踪研究[D]. 镇江:江苏大学，2005.

[9]刘晓丽.基于机器视觉的异常行为检测[D]. 鞍山:辽宁科技大学,2011.

[10]蒋恋华，甘朝晖，蒋旻.多目标跟踪综述[J].计算机系统应用,2010,19(12):10.

[11]邵春福,李娟,赵熠,等.行人交通的视频检测方法综述[J].交通运输系统工程与信息,2008(4):23.

[12]刘轩.基于图像处理的行人运动微观行为特征实验研究[D].合肥：中国科学技术大学，2009.

[13]沈涛.基于视频检测的行人交通参数提取技术研究[D].北京:北京交通大学,2011.

[14]Blanding Wayne R，Wille Peter K, Bar-Shalom Yaakov. Multiple Target Tracking using Maximum Likelihood Probabilistic Data Association[C]//IEEE Aerospace Conference Proceedings, 2007 IEEE Aerospace Conference Digest. Big Sky, MT: IEEE,2007：416-445.

[15]皮燕妮,史忠科,黄金.智能车中基于单目视觉的前车检测和跟踪[J]. 计算机应用,2005,25(1):220.

[16]谢忠红,姬长英. 基于颜色模型和纹理特征的彩色水果图像分割方法[J]. 西华大学学报(自然科学版),2009,28(4):41.

[17]谢忠红,苏坚,郭小清,等. 自然场景下树上桃子生长形态的识别[J]. 西华大学学报(自然科学版),2015,34(2):6.

[18]张明恒，韩月林，赵一兵，等.基于改进Hu不变矩的路面交通标识识别[J].大连理工大学学报，2012，52(6):908.

(编校：饶莉)

Drosophila Movement Trajectory andCourtship Behavior Reappearance Based on Video Processing

XIE Zhonghong1,YU Le1,LIANG Jingdong1， LI Fei2,WANG Cuihua2

(1.College of Information Technology, Nanjing Agriculture University, Nanjing 210095 China；2.CollegeofPlantProtection,NanjingAgriculturalUniversity,Nanjing210095China)

A method of drosophila movement trajectory and courtship behavior reappearance based on video processing is proposed to increase the manual detection efficiency of drosophila courtship behavior and track the drosophila movement trajectory more easily. After the image was segmented with Ostu algorithm, the drosophilas were located in circumscribed ellipses. Then shape characters(area, perimeter and roundness) and 7 moment invariant characters were achieved, and fake courtship drosophilas were deleted according to positional relation and gray mean variance of the difference image, and drosophila courtship behavior was recognized with the shape characters and moment invariant characters. Finally Kalman filter and feature matching method were used to predict drosophila movement trace. The experiment result shows that the method presented in this paper could recognize courtship behavior of drosophila and stalk moving drosophila accurately.

drosophila；courtship behavior；movement trajectory；Kalman filter

2016-01-21

中央高校基本科研业务费项目(KYZ201670)；国家转基因生物新品种培育重大专项(2009ZX08001-002B)。

谢忠红(1977—)，女，副教授，博士，主要研究方向为计算机图像处理、模式识别、农业机器人视觉。E-mail：xiezh @njau.edu.cn

TP391.41

A

1673-159X(2016)05-0018-7

10.3969/j.issn.1673-159X.2016.05.004