基于视频分析的鱼类运动目标提取

张胜茂，赵 申，张 衡，杨东海

(1. 中国水产科学研究院东海水产研究所 农业部东海与远洋渔业资源开发利用重点实验室，上海 200090；2. 上海理工大学 光电信息与计算机工程学院，上海 200090)

基于视频分析的鱼类运动目标提取

张胜茂1，赵 申2，张 衡1，杨东海1

(1. 中国水产科学研究院东海水产研究所 农业部东海与远洋渔业资源开发利用重点实验室，上海 200090；2. 上海理工大学 光电信息与计算机工程学院，上海 200090)

中国是一个水产养殖大国，渔业养殖产业不但具有一个很大的基数而且增量也是相当可观。因此传统依靠人工对渔业进行病害防治的方法过于低效，也不能提供较高的可靠性；在图像处理和计算机视觉技术快速发展的基础上，选择使用视频监控的手段，利用计算机对图像进行分析进而得出对鱼类行为的判断结果，满足高效、稳定等要求。本文提出了基于监控视频分析进行鱼类运动捕捉的方法，首先对视频图像进行灰度化处理，利用高斯模板对图像进行平滑处理，最后选择对视频帧使用高斯混合模型的方法进行建模得到背景模型，进而得到运动的前景目标，提出了对前景轮廓进行合理性分析提高检测正确率的方法，并且通过实验验证得到了较好的效果。

计算机视觉； 视频分析； 运动检测； 高斯混合模型

在水产品养殖业中，通过鱼类运动的活跃程度分析可以判断鱼的健康状况；通过对鱼类在水层中聚集位置的分析可以推测水质状况；当鱼类感染寄生虫时也会表现出特定的行为动作，因此对鱼类的各种行为进行分析一直是研究人员关心的问题。最开始的鱼类行为研究是由人工观察记录数据，存在任务繁重、记录不准确、观察不全面等诸多缺陷。随着技术的发展，开始出现了自动记录的方式，如对鱼群的活动检测采用回声探测技术[1]；对鱼的生理行为分析采用声音测量的方式[2]；随着计算机视觉技术的发展和硬件计算能力的不断提升，鱼类行为的研究开始进入了以视觉信息为基础的自动分析阶段[3,4]。1996年，以金鱼的行为作为研究对象，Kato等[5]开发出了一个计算机图形处理系统；2004年，Kato等[6]借助计算机和图像处理技术，开展了对斑马鱼行为的研究；2003年，Suzuki等[7]利用计算机视觉技术进行了不同大小的鱼类群体行为的差异性研究；2009年，Wang等[8]对鱼类在拥挤环境中的活动行为进行了建模分析。在国内，也有卢焕达等[9]利用计算机视觉技术，设计鱼类行为监控系统完成对鱼群的自动监控工作；近些年，由于人们对环境污染检测意识的逐步提高，鱼类的运动状态在一定程度上反应了水质的状况，设计基于视觉的方法进行鱼类运动分析来反映水环境质量也成为了研究的热点问题[10]。

利用计算机视觉技术进行鱼类行为的分析对鱼的正常活动不产生影响，与声波和光电的测量手段相比，不会使鱼类产生应激反应，不改变鱼类生活的环境，属于一种非接触测量方式，能够真实地反映出鱼类在自然环境下的活动状态。一般的鱼类行为视频监控系统包含视频图像的获取、图像的预处理、鱼类运动捕捉、鱼类行为分析。其中获取鱼类准确位置，是后续运动状态跟踪、轨迹生成、行为分析的基础，因此对运动检测至关重要，其好坏在很大程度上影响了后续处理的质量，本文首先对获取的图像进行灰度化处理，利用高斯模板对图像进行平滑处理，在一定程度上滤除图像获取和传输过程中噪声带来的影响，利用高斯混合模型的方法对背景进行建模获得运动目标，能够抑制水面缓慢小幅度波动及水底水草的摇摆带来的影响，得到前景模板之后进行形态学操作分割出完整的轮廓，最后本文引入对轮廓目标的合理性分析提高目标检测的准确率。

1 系统组成

本文所述方法由图1所示的硬件实验平台进行验证，该实验装置包括鱼类运动容器、前端摄像头采集装置、PC端图像处理装置。采集视频分辨率为1 920×1 080像素，帧率为25帧/s。如果考虑鱼类运动的三维物理位置，可以增加摄像头数目，利用多摄像头进行实时数据融合分析。该视觉系统相机数据传输通过USB接口实现，相机输出图像为RGB三通道彩色图像。

图1 鱼类行为检测系统

软件系统包含图像获取、图像灰度化预处理和高斯平滑、背景建模得到运动的前景目标、对获取的前景形态学操作后得到轮廓、对轮廓进行合理性分析得到所要检测鱼类目标。其处理流程如图2所示。

图2 系统软件流程图

2 鱼类运动检测

鱼类在水中常表现为运动状态，因此通过对运动检测可以有效地得到鱼体轮廓和状态，为进一步的行为分析提供了数据支撑。计算机视觉中常用的运动检测方法有帧差法、光流法、背景建模法等。帧差法[11]是利用连续帧的像素值进行差分，将新生成的图像进行阈值化处理得到运动目标，帧差法对光线变化不敏感、更新较快，较为简单，但是对较大的目标分割效果较差；光流是在1950年由Gison[12]提出的，光流法是依靠像素点建立的二维速度矢量场进行运动分析，对背景是否为静止状态没有要求，常见的求解光流的方法有Horn-Schunck[13]方法和Lucas-Kanade[14]方法等，但都存在计算量大的缺点；背景建模法能够有效地抑制背景中干扰像素，比较适合现实场景中使用。

2.1 图像灰度化预处理和高斯平滑

一般情况下，对鱼类行为的观察数据为彩色视频图像资料，彩色图像的每一个像素都是由R、G、B三个分量决定的，每一个像素点的颜色变化范围有1 600多万(255×255×255)种。灰度图像是R、G、B三个分量相等(R=G=B)的一种图像，每一个像素点的值(灰度值)的变化范围是255种。灰度图像中涵盖大量的信息而且数据量较小，为了加快处理速度，通常需要将图像进行灰度化处理，在系统中采用如式1所示的方法进行灰度化处理。

Gray=0.72169×B+0.715160×G+0.212671×R

(1)

在图像的获取过程中，摄像头采集硬件和图像数据传输过程往往引入噪声，为了改善质量，需要对图像进行平滑处理，常见的平滑方法有均值滤波、中值滤波、高斯滤波、频域滤波，在本系统中用二维高斯函数(式2)对图像进行了高斯平滑。

(2)

式中，x和y分别为图像中像素的行与列的二维坐标，σ是标准差。

二维高斯函数具有旋转不变性，滤波器对图像平滑过程中没有方向性；高斯函数是单值函数，对模板中心很远的像素点的影响较弱，不会造成图像失真的现象；高斯滤波器的平滑程度可以由参数σ决定。在对图像进行滤波处理时往往采用模板的方式在图像上进行卷积操作，系统采用如图3所示的模板进行平滑操作。

图3 高斯平滑模板

2.2 运动目标检测

在运动目标的提取过程中一般的噪声干扰为水面和水中藻类的波动，而这些变化的分布常常可以使用高斯函数进行描述，所以采用高斯混合模型对背景进行建模能够有效的滤除噪声提取运动的前景目标[15]。高斯分布是一种重要的概率分布，又称为正态分布，生活中的随机变量都符合高斯分布的特征，其在很多领域都有着重要的作用。高斯概率密度函数数学表达式为式3。

(3)

式中，x为随机变量，μ是高斯分布期望，σ为高斯分布的方差，自然情况下的随机变量，很大一部分都分布在3σ范围以内。关于高斯混合模型对背景建模，Porikli等[16]取得了较好的结果。对采用RGB色彩模型的图像，对图像中的每个像素的三个通道分别进行建模；对灰度图像每个坐标位置的灰度值进行建模，系统中为了增加系统的稳定性，这里选择2.5σ作为一个阈值。

在使用单个高斯模型对背景建模时，无法排除水面较为严重的波动和水中水草和其它物体的晃动。因此采用混合高斯模型，采用多个高斯模型对背景进行建模。如果采用K个高斯模型对像素X进行建模，那么其在t时刻的概率应为式4。

(4)

式中，wk(t)为权重值，表示第k个高斯模型的权重，且满足权重累计和为1；μk(t)为分布期望。

定义一个阈值δw来判断模型的稳定程度，稳定模型满足式5。

(5)

此时的权值应该由大到小排列，满足上述条件，即认为第k以上的模型是稳定的，其占了总比重的δw以上的比例。利用下式6来区别前景信息和背景信息，满足条件的判定为背景信息，否则认为是前景。

|X(t)-μk(t)|<2.5σk(t)

(6)

在区分出前景背景信息时，需要对模型进行更新处理，按照以下规则(式7、8、9)进行：其中α值越大，背景的更新速度越快，同样β也决定着更新的速率。更新的过程让与背景匹配度较高的模型权重不断增加，减小匹配度较低的模型的权重。

wi,t+1=(1-α)wi,t+α

(7)

μk,t+1=(1=β)μk,t+βXt

(8)

(9)

当遇到没有模型可以进行此时的匹配时，这里引入新的模型，应设置其权值较少，方差较大，当前图像帧的像素数值作为均值。当模型不满足稳定模型的条件时，将这些模型舍弃处理。

2.3 形态学操作

对于高斯混合模型建模得到背景后分割出的前景图像中的目标往往含有大量的空洞，对于应属于背景的区域也往往含有许多孤立的噪声点，为了改善这种状况，一个比较简单的方法是对得到的图像进行形态学操作。

基本形态学操作包括膨胀和腐蚀。膨胀是将一些图像(或图形的部分区域)A与核B进行卷积。其中用来进行卷积的核的形状和尺寸可以是任意形式和大小，但在多数情况下选择使用中间带参考点的实心正方形或圆盘。进行卷积的过程，可以看成是利用以卷积核为模板在图像中求局部最大值的操作过程。而腐蚀操作可以看作是膨胀的反操作，它是一种求解局部最小值的过程。膨胀操作示意如图4a所示，腐蚀操作示意如图4b所示。

图4 形态学图像操作

在本文中先对图像进行一次腐蚀操作，然后再进行多次膨胀操作，用得到的结果图像和前景图像进行“与”操作，就实现孤立点的删除。

2.4 轮廓分析

在得到分割好的前景运动目标后，根据目标的轮廓就能得到外接矩形相关信息。在获得鱼类大小和形状等先验知识的情况下就可以对得到的轮廓和外接矩形进行合理性分析，滤除与所要观察的目标相关性较小的序列进一步提高系统的准确性，通过实验验证了此方法能够有效保证目标检测的正确率。

在本文中主要考虑了目标的长宽比b、轮廓面积a两个因素进行相关性比较，在获取相机与观察目标的距离和目标大小的情况下，能够确定出两个参数需满足式10，其中bmin、amin分别是相关参数的设定最小值， bmax、amax分别是相关参数的设定最大值。

bmin

(10)

3 结果与讨论

利用上文中的硬件构建实验平台进行测试。将摄像头架设在鱼缸的合适位置，以能够获得较好的视野且引入最小的干扰为目标，通过USB接口从摄像头读取的连续两帧彩色图像如图5所示。

图5 摄像头获取的彩色图像(A为前一帧，B为后一帧)

对于彩色图像直接使用帧差法进行运动检测有图6所示的结果，可以看出虽然能够得到鱼所在位置的大致信息，但对噪声的鲁棒性不强，对噪声的抑制能力较弱，不能得到较为完整的边缘。对上述图像进行灰度化后使用帧差法得到如图6所示的结果。

图6 图像灰度化进行帧差(A,B为连续帧，C为结果图)

对帧差后的图像进行彩色化处理后得到如图7a所示的结果，可以看出存在大量噪声；对于含有噪声的图像进行二值化处理得到了如图7b所示的结果。

图7 噪声去除

使用文中的高斯混合模型的方法对背景进行建模获取运动目标，并对图像进行形态学操作得到了如图8所示的结果，通过与帧差法的结果进行对比可以看出，通过本模型得到的结果对噪声的干扰有较好的抑制作用，对表现较为严重的水面波动在实验结果基本得到滤除，也能够得到鱼类的大致轮廓信息，但存在边缘不连续的缺点。

图8 高斯混合模型分割结果

为了验证本文中所引入的轮廓合理性分析的有效性，对含有大量噪声的如图9a所示的图像进行处理，获取鱼体轮廓，然后得到轮廓的外接矩形，如图9b所示的结果，此方法可以达到较好的预期效果，能够有效地提取目标。

4 结论

通过以上实验结果可以看出，通过简单的方法能够有效地得到运动目标的主要信息，但是存在着大量的噪点，不能得到目标的完整形状、外观。使用高斯混合模型对背景进行建模的方法，虽然抑制了大量噪声的干扰，但是计算复杂度较大，边缘存在缺失的部分。通过大量实验发现，分割出目标的主体部分较容易，但对鱼尾等颜色较浅的透明组织存在一定难度，考虑在以后的分割过程中引入模板的方法，对目标的各部分进行精确分割，引入跟踪的方法，将跟踪的结果反馈到分割过程。

图9 目标提取

[1] ABAID N, PORFIRI M. Collective behavior of fish in one-dimensional annular domains [C]. American Control Conference, Marriott Waterfront, Baltimore, MD, USA, 2010, 63-68.

[2] CONTI S G, ROUX P, FAUVEL C,etal. Acoustical monitoring of fish density, behavior, and growth rate in a tank [J]. Aquaculture, 2007, 251(2-4):314-323.

[3] CHA B J, BAE B S, CHO S K,etal. A simple method to quantify fish behavior by forming time-lapse image [J]. Aquacultural Engineering, 2012(51):15-20.

[4] STIEN L H, BRATLAND S, AUSTEVOLL I,etal. A video analysis procedure for assessing vertical fish distribution in aquaculture tanks[J]. Aquacultural engineering, 2007, 37(2): 115-124.

[5] KATO S, TAMADA K, SHIMADA Y,etal. A quantification of goldfish behavior by an image processing system [J]. Behavioural brain research, 1996, 80(1): 51-55.

[6] KATO S, NAKAGAWA T, OHKAWA M,etal. A computer image processing system for quantification of zebrafish behavior [J]. Journal of neuroscience methods, 2004, 134(1): 1-7.

[7] SUZUKI K, TAKAGI T, HIRAISHI T. Video analysis of fish schooling behavior in finite space using a mathematical mode[J]. Fisheries Research, 2003, 60(1): 3-10.

[8] WANG X, MA X, GRIMSON W E. Unsupervised activity perception in crowded and complicated scenes using hierarchical Bayesian models[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(3): 539-555.

[9] 卢焕达，刘鹰，余心杰等. 基于计算机视觉技术的运动与检测算法[J]. 农业工程学报,2011,38(1)：19-23.

[10] MA H, TSAI T F, LIU C C. Real-time monitoring of water quality using temporal trajectory of live fish[J]. Expert Systems with Applications, 2010, 37(7): 5158-5171.

[11] PARAGIOS N, DERICHE R. Geodesic active contours and level sets for the detection and tracking of moving objects[J]. IEEE Transactions on pattern analysis and machine intelligence, 2000, 22(3): 266-280.

[12] GIBSON J J. The perception of the visual world [M]. Westport: Greenwood Press, 1950.

[13] HORN B K P, SCHUNCK B G. Determining optical flow [J]. Artificial Intelligence, 1981, 17(1):185-203.

[14] LUCAS B D, KANADE T. An iterative image registration technique with an application to stereo vision[C]. Proceedings of Imaging Understanding Workshop. Vancouver, British Columbia, 1981, 81(1): 674-679.

[15] STAUFFER C, GRIMSON W E L. Adaptive background mixture models for real-time tracking[C]. Computer Vision and Pattern Recognition, 1999. IEEE Computer Society Conference on. IEEE, 1999, 2.

[16] PPRIKLI F, TUZEL O. Human body tracking by adaptive background models and mean-shift analysis[C]. IEEE International Workshop on Performance Evaluation of Tracking and Surveillance. 2003: 1-9.

Study on fish moving object extraction based on video analysis

ZHANG Sheng-mao1, ZHAO Shen2, ZHANG Heng1, YANG Dong-hai1

(1.KeyLaboratoryofEastChinaSea&OceanicFisheryResourcesExploitationandUtilizationofMinistryofAgriculture,EastChinaSeaFisheriesResearchInstitute，ChineseAcademyofFisherySciences,Shanghai200090,China; 2.SchoolofOpticalandComputerEngineering,UniversityofShanghaiforScienceandTechnology200090,China)

China is a superpower aquaculture country. The aquaculture industry not only has a considerable large base but also shows a very high speed increase. The traditional ways in fisheries disease prevention are very inefficient and perform a low reliability. With the rapid development of image processing and computer vision technology, the method of video monitoring is chosen to analyze the image by computer, and then to judge the results of fish behaviors. Firstly, the color image is converted into gray image. Then, Gaussian template is used to smooth the images. Finally, Gaussian Mixture Model (GMM) is used to obtain the background model. It is used to get the images of moving fish. It also provides the way of getting more stable result by analyzing the outline of targets. The methods herein have been verified by experiments. Application of video analysis techniques will increase the aquatic production level of automation and fine processing capacity.

computer vision; video analysis; motion detection; Gaussian Mixture Model

2016-10-29

2016-12-31

中央级公益性科研院所基本科研业务费专项资金项目(东海水产研究所2016T01)；上海市自然科学基金项目(15ZR1450000)

张胜茂(1976-)，男，副研究员、博士。研究方向：渔业遥感，地理信息系统，图像处理。 E-mail：ryshengmao@126.com。

2095-3666(2017)01-0044-07

10.13233/j.cnki.fishis.2017.01.008

TP 751.1

A