基于融合图像与运动量的奶牛行为识别方法

顾静秋 王志海 高荣华 吴华瑞

(1.北京交通大学计算机与信息工程学院, 北京 100044; 2.国家农业信息化工程技术研究中心, 北京 100097)

基于融合图像与运动量的奶牛行为识别方法

顾静秋1,2王志海1高荣华2吴华瑞2

(1.北京交通大学计算机与信息工程学院, 北京 100044; 2.国家农业信息化工程技术研究中心, 北京 100097)

为从海量监控视频中快速、准确识别影响奶牛繁殖与健康的行为，以小育成牛舍与泌乳牛舍中400头奶牛为研究对象，分析了奶牛在活动区与奶厅匝道的运动行为，提出了一种基于图像熵的奶牛目标对象识别方法，通过最小包围盒面积计算与目标对象轮廓图，实时捕获奶牛爬跨行为与蹄部、背部特征，融合被识别奶牛连续7 d的运动量，判断影响奶牛健康繁殖的异常行为。试验结果表明，利用本文方法对监控视频内奶牛目标对象、运动行为进行实时监测，有效监控识别奶牛发情、蹄病行为准确率超过80%，发情漏检率最低为3.28%，蹄病漏检率最低为5.32%，提高了规模化养殖管理效率。

奶牛行为； 目标分割； 图像熵； 图像矩； 运动量； 智能分析

引言

奶牛有其自身的生活习性和行为特点，奶牛养殖过程中，奶牛繁殖检测和奶牛健康保证在牛群繁殖管理中具有重要地位，及时发现奶牛发情有利于健康奶牛的及时受孕、产犊并延长泌乳期，提高奶牛养殖的经济效益。正确了解、掌握奶牛的行为，对奶牛的健康生理状况进行实时监控，对在实际生产中掌握奶牛的疾病预防、诊断、治疗，做好繁殖和饲养管理工作，提高生产效率，获得最大生产效益具有极大的意义。因此，奶牛养殖过程中不同生育期的生理健康行为的实时感知及智能识别与分析，对提高养殖场产量起着重要作用。奶牛在不同生理发育期需要重点监测的行为主要包括发情、蹄病。

目前，依靠人工观察再依靠经验判断的奶牛识别方式已逐渐显露出识别不准确的弊端。“第六届中国奶业大会暨中国奶业展览会”公布的数据显示：截至2014年底，全国奶牛存栏量已经达到1 460万头，其中存栏量100头以上的奶牛规模养殖比重达到45%，人工主观观察方法无法实现快速、精确的奶牛行为监测，且需要大量的劳动力。为解决人工观测的不足，国内外学者利用物联网技术，在奶牛身体不同部位安装三轴加速计、蓝牙设备等自动监测设备，实时监测奶牛在不同生育期的体征和行为，具有较好的识别效果[1]；但侵入式采集方式容易因环境污染造成信号传输偏离，间接影响到奶牛正常行为，影响到对奶牛行为的正确判断。

物联网技术已经在国外奶牛养殖中得到大量应用，大大提高了奶牛养殖的精准化、信息化水平，使奶牛养殖产业产生了质的飞越[2-7]。国内对动物行为视频动态监控与智能分析研究起步较晚，但随着物联网技术的广泛应用，取得了若干研究成果[8-18]。

上述技术和系统都具有较高的交互性和灵活性，研究者在对动物行为分析中，能够解决基本的体态识别，但是在动物目标自动跟踪和视频行为分析方面仍然存在局限性[19]：大多数研究只是对动物位置、运动轨迹、速度、距离等定量参数的一个运动模式分析过程，缺少对海量监控视频的实时分析，丢失了动物外观表现的特殊行为特征；即便是引入了视频分析的内容，也只是对动物移动、静止休息等最基本的行为模式进行识别，且识别背景为实验环境下的单一背景，动物间交互行为分析的方法较少；大多数利用神经网络对动物行为识别的方法，前期需要数据学习过程，识别的过程较长，而且对动物体态行为分类数量比较少，很难实现所有动物行为的准确识别；智能互联网在畜牧养殖业中的渗透，使得图像分析技术逐步应用于禽类等小型养殖领域[20-23]，但在猪牛羊等大型畜牧类养殖中的应用还比较少。本文以奶牛发情、蹄病行为为监控对象，通过高清摄像头实时捕获奶牛在活动区内的运动行为与奶厅匝道中的蹄部、背部特征，同时结合奶牛最近7 d的运动量，及时对奶牛发情、蹄病行为进行预警，以期减少由于漏判造成的配种不及时与蹄病延误等现象，提高养殖管理者工作效率，提升奶牛年产奶量以及整个奶牛养殖产业的持续发展。

1 材料与方法

1.1 试验对象

以河北省丰宁县银河牧场生态养殖基地养殖的荷斯坦奶牛为研究对象，通过高清摄像头与牛只运动量检测设备，实时采集2015年全年小育成牛舍与泌乳牛舍400头牛只行为视频数据与运动量数据。

1.2 试验设备

试验采用海康威视DS-2CD2155F(D)-I(W)(S)、500万像素日夜型半球网络摄像机，实时采集奶牛行为监控视频，确保奶牛行为图像特征足够清晰，为后续图像处理试验提供基础。

同时，试验利用天津市海辰博远软件有限公司的HEATTAG-002型计步器设备，该计步器固定在奶牛四肢并与牛只标号一一对应，能够得到每只奶牛运动量。计步器采用加速度传感器，当奶牛四肢活动时，传感器产生前后、上下、左右3个方向的加速度周期性变化，该加速度变化被加速度传感器所感知而产生数字信号，数字信号经过放大、滤波和二值化处理，可分离出连续运动步伐的波形数据，通过识别软件对波形数据进行处理，获得奶牛日常采食、运动等累计步伐数量。奶牛运动量监测系统由佩戴在奶牛腿部的传感器模块(计步器)、数据接收系统和计算机分析软件组成，通过对奶牛运动量的检测，获得奶牛的运动情况。每头奶牛每分钟的活动数据都储存在计步器中，当奶牛进入挤奶操作间时，门口的接收器便会读取数据，并传送到服务器，计算机系统会对比某时段运动量与历史上同时段运动量的平均值，若奶牛运动量远远大于过去同时段数值，则该头奶牛很可能发情；而患蹄病的牛只，由于自身疫病造成运动量降低，所以若奶牛运动量小于过去同时段数值，则该奶牛有可能患有蹄病，需及时进行干预治疗。

1.3 试验方法

1.3.1 不同生育期奶牛养殖动态监测内容

奶牛养殖过程中，按照不同生长阶段进行数据采集与管理，根据奶牛不同生长阶段需要重点监测的内容不同，以奶牛发情与蹄病行为为实例，主要对奶牛活动区与挤奶匝道牛只行为进行实时监测，从大量的视频监控内容中，自动抽取发情、蹄病行为视频关键帧，如图1所示，并结合配备在奶牛右后肢上的计步器监测运动量，判断预警奶牛的蹄病与发情行为。

图1 佩戴在奶牛右后肢上的计步器Fig.1 Pedometer on cow limb

1.3.2 奶牛行为智能分析方法

奶牛行为识别可以定义为测试视频序列与预先标定的典型行为参考特征的匹配程度，通过实时跟踪目标奶牛对象行为，挖掘奶牛发情、蹄病等行为规则，判断被跟踪奶牛健康与繁殖方面是否存在异常。

为实现奶牛行为的实时监控，对奶牛养殖场布设的高清摄像头采集到的监控视频内容进行分析，首先提取视频内容中的奶牛对象，然后对其进行动态跟踪，得到连续的运动行为，根据蹄病、发情行为模型匹配，对奶牛养殖过程中出现的上述异常行为进行提示预警，有效节省养殖人员的时间，提高规模化养殖管理效率，图2为奶牛行为识别过程。

图2 奶牛行为分析方法 Fig.2 Cow behavior analysis method

2 试验结果及分析

为验证蹄病与发情行为监测的实用、可靠性，于2016年3月—10月，将摄像头视点固定在奶牛活动区域，实时监控奶牛的日常行为，平均每10 min对当前监控视频的画面进行抓取，另存为一张.jpg格式的图片，单幅图像大小约为45 KB，共获取32 100幅图像数据。对15 000幅图像(发情行为3 476幅，蹄病行为5 217幅，正常行为6 307幅)进行人工识别后再对其进行自动识别。同时，在每头奶牛的右后肢位置绑定计步器设备，实时采集该牛只的运动量数据。

2.1 奶牛目标对象提取

奶牛是群体养殖的动物，若想实现对单个奶牛行为的有效分析与识别，必须首先从海量监控视频内容中提取出需要定位的奶牛对象，而奶牛是一个运动的对象，如何从图像序列中将变化区域从背景图像中提取出来是首先需要解决的问题。

熵能够描述某一图像灰度分布的聚集特性，但不能反映相应的灰度分布空间特征，故本文将聚类算法与熵结合，求取灰度级为[0,L]、尺寸为M×N的图像灰度概率

(1)

式中ni——灰度i的像素数Pi——灰度i的概率

设定阈值T1、T2、T3，将图像灰度分为目标对象O、天空S、地面G3个区域。3个区域的平均相对熵为

(2)

(3)

(4)

其中

式中EO——目标对象区域的平均相对熵ES——天空区域的平均相对熵EG——地面区域的平均相对熵PT1——灰度T1的概率PT2——灰度T2的概率

图像熵为

(K=3)

(5)

其中

将式(5)分别代入式(2)～(4)得到最佳阈值T1、T2、T3为

(6)

为实现奶牛目标对象的有效分割，按照某种相似度量，对图像欧氏空间内的特征向量进行聚类，如上所述，聚合成3个分离开的子集XO、XS、XG，xl、xm、xn为图像中任意特征向量

(7)

则必须满足

(8)

式中vO、vS、vG——子集XO、XS、XG的均值

根据上述最佳阈值，对视频关键帧截取到的图像进行分析，抽取奶牛目标对象，为典型行为识别提供数据支撑。

利用上述基于图像熵的分割方法，对奶牛目标进行分割，得到奶牛目标对象如图3b所示，背景图像如图3c所示。

2.2 奶牛典型行为识别

2.2.1 基于图像的奶牛蹄病行为智能分析

奶牛蹄病是奶牛养殖过程中最易患的疾病之一，仅次于乳房炎和繁殖系统疾病，蹄病虽是慢性过程，不致死亡，但是肢蹄健康是奶牛高产、健康的基础，蹄部疾病不仅会造成奶牛产奶量下降，而且会造

成牛只高淘汰率，增加奶牛养殖成本。

本文采用轮廓图模型结构方法，将奶牛形体轮廓分割为头部、腹部、四肢、臀部、背部5部分，并采用无向图G=(V,U)表示各部分之间的关系，U为轮廓边集合，V为点集合，V={v1,v2,…,v7}，vi(i=1,2,3,4,5,6,7)对应奶牛轮廓的5部分如图4所示。若vi与vj相连，则有(vi,vj)∈U。

图4 奶牛形体轮廓分割图Fig.4 Contour segmentation of cow1.奶牛头部轮廓 2.奶牛腹部与颈部轮廓 3.奶牛蹄部轮廓 4.奶牛臀部轮廓 5.奶牛背部轮廓

蹄病表现出来的特征是：背部弯曲，主要体现在背部的弯曲程度；明显跛行，主要体现在蹄部与地面的夹角。牛只行走过程中蹄部与地面夹角为α，如图5所示。按照背部弯曲程度、蹄部与地面的夹角可以将蹄病分成4种等级，如图6所示。

图5 牛蹄与接触地面的夹角Fig.5 Angle between cow hoof and ground

图6 4种程度蹄病示意图Fig.6 Sketches of four degrees of hoof disease

因蹄部与地面的夹角易受到周边遮挡，很难通过视频图像获取，本文主要通过背部弯曲程度对应牛只蹄病等级进行监测。

2.2.2 基于图像的奶牛发情行为智能分析

奶牛发情后的12～24 h是最佳受孕时期，典型特征是爬跨(前蹄动作)与活动量变大，伴随进食量与产奶量的下降。一般要在发情12 h后才会出现明显特征性动作，现有监测依靠人工监视，无法保证白天长时间的连续监测，更无法解决夜间发情监测。

奶牛爬跨行为比较明显，相比较奶牛在一起的其他正常行为图像而言，具有爬跨行为的奶牛包围盒面积有所不同，本文在利用上述图像熵方法对奶牛目标对象识别基础上，计算奶牛对象最小包围盒之间的相交面积，如图7所示，判断发情行为如下：

奶牛目标对象最小包围盒面积可以通过图像矩计算得到，令0阶矩M00为奶牛目标对象最小包围盒的面积

(9)

式中I(x,y)——最小包围盒内任意像素点l、w——包围盒的长和宽x、y——像素点横、纵坐标值

则矩形的重心坐标xc、yc分别为

(10)

当监控视频内的奶牛对象相互重叠时，分别计算奶牛对象的最小包围盒中心点[(x1,y1)、(x2,y2)、(x3,y3)、(xQ,yQ)],最小包围盒的宽分别为w1、w2、w3、wQ，取

叶圣陶先生说：“预习是训练阅读的最重要的阶段。”由此可见，预习非常重要。如何指导高年级学生自主、高效预习课文呢？我认为，可以从以下几个方面进行落实。

(11)

式中Q——奶牛对象头数

当

R

则奶牛疑似发情。

2.3 试验分析

2.3.1 奶牛发情行为试验分析

在3 476幅发情行为图像中，随机选取1 800幅作为训练集，以奶牛腹部中间位置为中心点，计算牛只的最小包围盒，并获取大于1个包围盒的最小相交面积，分析比较后确定发情判断的最小相交面积的范围。其中wi(i=1,2,3,4)为包围盒的最短边，li(i=1,2,3,4)为包围盒的最长边，A、B、C、D分别为4个包围盒，R为2个包围盒中心点(R1,R2)的距离。

图8 不同情况下牛只最小包围盒相交示意图Fig.8 Sketches of minimum bounding intersection

图8a与图8b为包围盒A与包围盒B相交的最小包围盒，其中图8a中2个最小包围盒的最短边为w1，w1R。图8c中A与B、D 2个最小包围盒相交，其中包围盒的最短边为w1=w2，且w1=w2

根据R

2.3.2 奶牛蹄病行为试验分析

为有效捕捉奶牛蹄病行为，在奶牛进入奶厅匝道处安装高清摄像头，近距离实时观察每头奶牛的背部与蹄部特征。

利用图像熵分割方法，将摄像头监控的关键帧内的奶牛目标对象进行分割，并参照上述方法，将奶牛的轮廓分为5部分，并将牛只背部弯曲程度与4种级别蹄病等级进行匹配，实现蹄病预警，并匹配相应蹄病等级。

由于没有考虑蹄部与地面的夹角，因此仅仅通过背部弯曲程度判断蹄病等级的方法还有所不足，本文在背部弯曲程度判断的基础上，结合牛只的运动量，若奶牛发生蹄病，运动量在7 d内会明显下降，通过图像背部特征与奶牛运动量特性进行融合，可以在蹄病初期就能很好的监测到，及时进行防治，防止蹄病恶化，影响奶牛的产奶量。

利用上述方法对河北省丰宁县银河牧场的200头泌乳牛与200头小育成牛的发情行为和蹄病行为进行自动识别，并将识别准确率、漏检率与人工识别结果进行对比分析，验证本文方法的鲁棒性，如表1、表2所示。

表1 准确率对比分析

表2 漏检率对比分析

通过表1、2可以看出，由于奶牛发情、蹄病图像特征会因为遮挡、光照等原因，造成特征提取误差，自动识别奶牛发情与蹄病的准确率为80%以上，而由于人的经验丰富，使得人工识别奶牛发情行为与蹄病的准确率能达到95%以上。虽然发情与蹄病自动识别准确率比人工识别略低，但是，自动识别的方法可以实现每天24 h的不间断监测，避免了人工无法长期观察的弊端。通过对视频监控图像进行分析识别，奶牛发情与蹄病行为的漏检率不超过6.3%。而人工会随着长时间从事某一监测，造成视觉与体力疲劳，导致比较大的漏检率。因此，综合分析本文的方法，能够提高奶牛发情与蹄病行为识别的效率。

3 结束语

对不同生育期内重点监测的蹄病、发情行为的监控视频进行了分析，研究了基于图像熵的奶牛目标检测、体态分类与识别等关键技术，提取奶牛目标对象，同时采用最小包围盒面积计算方法，实时捕获奶牛在活动区内的爬跨行为和背部弯曲度，并借助计步器采集到的运动量，对奶牛养殖过程中出现的蹄病、发情等异常行为进行提示预警，有效节省养殖人员的时间，使得奶牛发情、蹄病的识别准确率均超过80%，发情漏检率最低为3.28%，蹄病漏检率最低为5.32%，提高了规模化养殖管理效率和奶牛健康繁殖的科学研究水平，具有重要的应用价值。但文中并未考虑监控视频的前后帧的相关性，在今后的研究中，需要结合奶牛行为的时间相关性，抽取某一时间段内奶牛的行为特征模型，提高行为识别的准确性；同时进一步研究蹄病与发情行为视频关键帧与具体牛只编号的对应关系，以精确定位到发情、患病牛只。

1 温长吉,王生生,赵昕,等.基于视觉词典法的母牛产前行为识别[J/OL].农业机械学报,2014, 45(1):266-274. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?flag=1&file_no=20140141&journal_id=jcsam. DOI：10.6041/j.issn.1000-1298.2014.01.041. WEN Changji, WANG Shengsheng, ZHAO Xin, et al. Visual dictionary for cows sow behavior recognition[J/OL]. Transactions of the Chinese Society for Agricultural Machinery,2014,45(1):266-274. (in Chinese)

2 NOLDUS L, SPINK A J. Tegelenbosch ethovision: a versatile video tracking system for automation of behavioral experiments[J]. Behavior Research Methods, Instruments & Computers, 2001，33(3): 398-414.

3 Med Associates Inc. Homecage video tracking system[M/OL]. (2007-11-01)[2016-03-01].http:∥www.med-associates.com/new_prod/video.htm.

4 LEROY T, VRANKEN E.A computer vision method for on-line behavioral quantification of individually caged poultry[J]. Transactions of the ASABE,2006,49(3):795-802.

5 BIOBSERVE G. Trackit system family[M/OL].(2007-11-05)[2016-03-01]. http:∥www.biobserve.com/products/trackit/index.htm.

6 TUCHER B, KHAN Z, VELOSO M. Automatically tracking and analyzing the behavior of live insect colonies[C]. AGENTS’01, 2001: 521-528.

7 SHAO Bin,XIN Hongwei.A real-time computer vision assessment and control of the themal comfort for group-housed pigs[J].Computer and Electronics in Agriculture,2008,62(2):15-21.

8 王举,陈晓江,常俪琼,等.基于压缩感知的被动式移动目标轨迹测绘[J].计算机学报,2014,37(74):1-15. WANG Ju, CHEN Xiaojiang, CHANG Liqiong, et al. Compressive sensing based device-free moving target trajectory depiction[J].Chinese Journal of Computers,2014,37(74):1-15. (in Chinese)

9 纪滨,朱伟兴,刘波,等.基于脊腹线波动的猪呼吸急促症状视频分析[J].农业工程学报,2011,27(1): 191-195. JI Bin, ZHU Weixing, LIU Bo,et al. Video analysis for tachypnea of pigs based on fluctuating ridge-abdomen[J]. Transactions of the CSAE,2011,27(1):191-195. (in Chinese)

10 赵凯旋,何东健,王恩泽.基于视频分析的奶牛呼吸频率与异常检测[J/OL].农业机械学报,2014, 45(10):258-263. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?flag=1&file_no=20141040&journal_id=jcsam. DOI:10.6041/j.issn.1000-1298.2014.10.040. ZHAO Kaixuan, HE Dongjian, WANG Enze.Detection of breathing rate and abnormity of dairy cattle based on video analysis[J/OL]. Transactions of the Chinese Society for Agricultural Machinery,2014,45(10):258-263. (in Chinese)

11 刘波,朱伟兴,杨建军,等.基于深度图像和生猪骨架端点分析的生猪步频特征提取[J].农业工程学报，2014,30(10):131-137. LIU Bo, ZHU Weixing, YANG Jianjun, et al. Extracting of pig gait frequency feature based on depth image and pig skeleton endpoints analysis[J]. Transactions of the CSAE,2014,30(10):131-137. (in Chinese)

12 朱伟兴,浦雪峰,李新城,等.基于行为监测的疑似病猪自动化识别系统[J],农业工程学报,2010,26(1): 188-192. ZHU Weixing, PU Xuefeng, LI Xincheng, et al.Automatic identification system of pigs with suspected case based on behavior monitoring[J]. Transactions of the CSAE,2010,26(1):188-192. (in Chinese)

13 宋杰伟,王金一,南凯,等.基于Web的鸟类视频监控系统研究与实现[J].计算机应用与软件, 2011,28(3):86-88. SONG Jiewei, WANG Jinyi, NAN Kai, et al.Study on Web-based video monitoring system for birds and its implementation[J].Computer Applications and Software,2011,28(3):86-88.(in Chinese)

14 段延娥,李道亮,李振波,等.基于计算机视觉的水产动物视觉特征测量研究综述[J].农业工程学报，2015,31(15):1-11. DUAN Yan’e, LI Daoliang, LI Zhenbo,et al. Review on visual attributes measurement research of aquatic animals based on computer vision[J]. Transactions of the CSAE,2015,31(15):1-11. (in Chinese)

15 庞超,何东健,李长悦,等.基于RFID与WSN的奶牛养殖溯源信息采集与传输方法[J].农业工程学报，2011,27(9):147-152. PANG Chao, HE Dongjian, LI Changyue, et al. Method of traceability information acquisition and transmission for dairy cattle based on integrating of RFID and WSN[J]. Transactions of the CSAE,2011,27(9):147-152. (in Chinese)

16 尹令,刘财兴,洪添胜,等.基于无线传感器网络的奶牛行为特征监测系统设计[J].农业工程学报，2010,26(3):203-208. YIN Ling, LIU Caixing, HONG Tiansheng, et al. Design of system for monitoring dairy cattle’s behavioral features based on wireless sensor networks[J]. Transactions of the CSAE,2010,26(3):203-208. (in Chinese)

17 田富洋,王冉冉,刘莫尘,等.基于神经网络的奶牛发情行为辨识与预测研究[J/OL].农业机械学报,2013,44(增刊1):277-281. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?flag=1&file_no=2013s1 50&journal_id=jcsam. DOI：10.6041/j.issn.1000-1298.2013.S1.050. TIAN Fuyang, WANG Ranran, LIU Mochen, et al. Oestrus detection and prediction in dairy cows based on neural networks [J/OL]. Transactions of the Chinese Society for Agricultural Machinery,2013,44(Supp.1): 277-281. (in Chinese)

18 柳平增,丁为民,汪小旵,等.奶牛发情期自动检测系统的设计[J].测控技术,2006,25(11): 48-51. LIU Pingzeng, DING Weimin, WANG Xiaochan, et al. Design of automatic system to detect cow oestrus[J]. Measurement & Control Technology, 2006,25(11): 48-51. (in Chinese)

19 耿丽微,钱东平,赵春辉.基于射频技术的奶牛身份识别系统[J].农业工程学报，2009，25(5)：137-141. GENG Liwei, QIAN Dongping, ZHAO Chunhui. Cow identification technology system based on radio frequency[J]. Transactions of the CSAE, 2009, 25(5): 137-141.(in Chinese)

20 STEM U, HE R, YANG C H.Analyzing animal behavior via classifying each video frame using convolutional neural networks[J]. Scientific Reforts,2015,5:1-13.

21 NILSSON M, HERLIN A H, ARDO H, et al. Development of automatic surveillance of animal behaviour and welfare using image analysis and machinee learned segmentation technique[J]. Animal, 2015,9(11):1859-1865.

22 沈明霞,刘龙申,闫丽,等.畜禽养殖个体信息监测技术研究进展[J/OL].农业机械学报,2014,45(10):245-251. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?flag=1&file_no=20141038&journal_id=jcsam. DOI：10.6041/j.issn.1000-1298.2014.10.038. SHEN Mingxia, LIU Longshen, YAN Li, et al. Review of monitoring technology for animal individual in animal husbandry[J/OL]. Transactions of the Chinese Society for Agricultural Machinery,2014,45(10):245-251. (in Chinese)

23 劳凤丹,滕光辉,李军,等.机器视觉识别单只蛋鸡行为的方法[J].农业工程学报,2012,28(24):157-163. LAO Fengdan, TENG Guanghui, LI Jun, et al. Behavior recognition method for individual laying hen based on computer vision[J]. Transactions of the CSAE,2012,28(24):157-163. (in Chinese)

Recognition Method of Cow Behavior Based on Combination of Image and Activities

GU Jingqiu1,2WANG Zhihai1GAO Ronghua2WU Huarui2

(1.SchoolofComputerandInformationTechnology,BeijingJiaotongUniversity,Beijing100044,China2.NationalEngineeringResearchCenterforInformationTechnologyinAgriculture,Beijing100097,China)

Due to the application of internet of things (IoT) to large-scale cow breeding, mass of multi-scale data and multi-divisional sensor data and video monitoring data of cow individuals were collected. Therefore, it is significant to dig out useful information about features of healthy reproduction behavior for development of scientific large-scale breeding measures and improve economic benefits from cow breeding. For the rapid and accurate identification of cow reproduction and healthy behavior from mass surveillance video, totally 400 head of young cows and lactating cows were taken as the research object and cow behavior from the dairy activity area and milk hall ramp was analyzed. The method of object recognition based on image entropy was proposed, aiming at the identification of motional cow object behavior against a complex background. Calculation of a minimum bounding box and contour mapping was used for the real-time capture of rutting span behavior and hoof or back characteristics. Then, by combining the continuous image characteristics with movement of cows for 7 d, abnormal behavior of dairy cows from healthy reproduction can be quickly distinguished by the method, which improved the accuracy of the identification of dairy cows characteristics. Cow behavior recognition based on image analysis and activities was proposed to capture abnormal behavior that had harmful effects on healthy reproduction and improve the accuracy of cow behavior identification. The experimental results showed that through target detection, classification and recognition, the recognition rates of hoof disease and heat in the reproduction and health of dairy cows were greater than 80%, and the false negative rates of oestrus and hoof disease reached 3.28% and 5.32%, respectively. This method can enhance the real-time monitoring of cows, save time and improve the management efficiency of large-scale farming.

cow behavior; target segmentation; image entropy; image moment; activities; intelligent analysis

10.6041/j.issn.1000-1298.2017.06.019

2017-02-24

2017-05-02

国家自然科学基金面上项目(61571051)

顾静秋(1977—)，男，博士生，国家农业信息化工程技术研究中心副研究员，主要从事农业大数据分析与智能决策研究，E-mail： gujq@nercita.org.cn

王志海(1963—)，男，教授，博士生导师，主要从事机器学习研究，E-mail： zhhwang@bjtu.edu.cn

S823.9+1； TP391.4

A

1000-1298(2017)06-0145-07