基于联动扩展神经网络的水下自由活蟹检测器研究

2020-10-10 07:07赵德安孙月平阮承治
农业机械学报 2020年9期
关键词:检测器河蟹特征

赵德安 曹 硕 孙月平 戚 浩 阮承治

(1.江苏大学电气信息工程学院, 镇江 212013; 2.武夷学院机电工程学院, 武夷山 354300)

0 引言

河蟹是重要的养殖水产品,其营养丰富,经济价值高。目前全国河蟹养殖总产值超过550亿元,养殖区域以长江中下游为主,产量占全国总产量的80%以上,现已成为我国渔业生产中发展最为迅速、最具有潜力的产业[1-2]。但是,河蟹养殖严重依赖人工,其集约化程度低、机械化自动化水平低,由于人工粗放喂养冰鱼、螺蛳等饲料的随机性,严重影响了河蟹养殖效益,甚至导致池塘水质恶化。因此,为了适应河蟹的养殖需求,节约占养殖总成本60%以上的饵料成本,迫切需要提高河蟹养殖的自动化及智能化水平[3]。目前,围绕河蟹自动投饵船的导航定位和均匀投饵等方面已有相关研究[1-3]。针对自动化领域中视觉引导智能化机械进行精准作业的潜在市场[4-5],考虑到传统投喂决策主要取决于人工经验和简单定时控制的局限性[6-7],采用机器视觉技术,由水下河蟹视频、图像来获取并提供池塘螃蟹的形态位置和数量分布信息,以进一步指导自动投饵船进行精确的变量投喂。

河蟹一般活动于0.5~2.0 m浅水池塘的底部和水草丛生的水域,水中含有杂质,由于透射光线的衰减导致水下采集的图像模糊、清晰度较低。同时,透射光也会由于吸收和散射随着距离和深度的增加呈指数衰减,导致波长最短的蓝光在水中传播时间最长,从而使水下图像主要呈现蓝绿色,并且不均匀[8]。研究发现,基于稀疏表达的图像降噪算法[9]和基于色彩理论的图像色彩校正增强算法[10]可在无需先验环境知识的情况下完全抽象出图像形成过程,可保证图像信息的可靠性,比图像恢复技术更简单、有效[11]。

河蟹尺寸小、肢体姿态差异大,蟹螯和蟹腿关节相似,且形状异常,使得传统的目标识别方法难以满足水下自由活蟹的检测需求[12-13]。基于方向梯度直方图 (Histogram of oriented gradient, HOG)[14]、尺度不变特征转换[15]等方法,已逐渐转变为采用卷积神经网络(Convolutional neural networks, CNN)。提取抽象的高维特征、进行更加复杂的目标检测[16],比如在鱼类[17]、贝类[18]、海参[19]、果实[20]、牲畜[21]等目标的分类、定位、检测方面。YAO等[19]利用空洞卷积和残留结构优化MobileNet-SSD (Single shot multibox detector)的主干网络,将水下海参的检测速度提高到43.65 f/s。LI等[17]通过Faster R-CNN (Regions with convolutional neural networks)共享CNN特征,以获取几乎免费的区域候选对象,加速了鱼类的检测和识别。MAZZIA等[16]利用“Edge AI”的云端聚合服务解决嵌入式设备野外实时苹果检测需求,但这对网络通信要求较高,且云端服务价格昂贵。上述检测目标大都是形状相对规则的,并未涉及独立不规则的活蟹检测。而且,由于存储空间和功耗的限制,上述神经网络模型在移动设备中的存储和计算依然存在困难。赵德安等[7]采用YOLOv3 (You only look once)在通用配置的微型计算机上实现了10.67 f/s的河蟹识别速度,但其识别模型的大小和参数量不是普通移动设备所能承受的。为了设计工业级轻量化的神经网络模型,可以考虑在保证或略微牺牲检测精度的前提下,从人工设计网络计算方式、神经网络架构搜索 (Neural architecture search, NAS)、卷积神经网络深度压缩和基于AutoML的自动模型压缩4方面[22]为移动设备部署小型轻量的神经网络模型。

根据自主开发的自动投饵船对池塘自由活蟹分布的统计需求,本文首先利用分解式并行降噪和色彩校正增强算法,对低质量图像进行简单有效的预处理,确保图像信息的可靠性,使其易于理解和分析;然后,采用基于联动扩展的EfficientNet作为活蟹检测器的主干网络,该主干网络分别从人工设计的MBConv基本计算模块、神经网络架构搜索的网络结构和伴随运算量约束的深度裁剪压缩3方面,构建能够限制目标计算量和存储空间的神经网络模型;最后,引入复合缩放因子,对高效融合的特征网络和类别/边界框预测网络进行全局的联动扩展,以构建适用于有限资源的精确、高效的活蟹检测器。

1 材料与方法

1.1 视频采集

实验图像采集自江苏省常州市长荡湖河蟹养殖基地。为适应河蟹夜间摄食习惯,避免过早投入的饵料因水浸泡而散开,不能被河蟹充分摄取而导致饵料浪费和水体污染,本文分别于傍晚和凌晨选取3个池塘进行视频采集。每个池塘水深0.5~2.0 m,占地面积16.7 km2,每0.7 km2投放约1 000只河蟹。图像采集设备1为HB-HZSJC-YB型便携式浑浊水下视频监控系统(图1a),配有辅助照明光源LED灯。将其安装在自动投饵船上通过无线网络和有线连接方式采集能够反映池塘水下自然生活状态的活蟹视频(图1b),视频分辨率为1 920像素×1 080像素。图像采集设备2为配备5个高亮LED辅助照明灯的便携式水下浑浊摄像机(图1c),主要用于从俯视视角采集处于隐匿环境的河蟹,弥补设备1的摄像头难以进入深水区进行平视拍摄的不足。图1e和图1f为傍晚时刻河蟹开始活动觅食时视频采集工作的现场。

图1 视频采集系统Fig.1 Video acquisition system

1.2 数据集的制作与使用

数据集在很大程度上决定了训练的深度网络模型识别检测性能,其中数据的样本数量直接影响河蟹的检测精度。但真实的池塘环境复杂多变,使得水下河蟹图像采集的难度很大。本文通过逐帧方式处理采集的河蟹觅食视频,共选取4 125幅目标相对清晰且具有差异性和代表性的真实环境下的河蟹图像,用于模型的训练和测试。但是这样依然难以满足网络训练的需求,需要更大量的数据样本,否则依然会出现过度拟合的“高精度假象”。所以针对特定河蟹检测场景下数据集有限的情况,采用特定图像处理方式(几何角度:翻转、旋转、裁剪、缩放等;像素角度:亮度调节、对比度调节、噪声添加、通道变换等)来增加数据样本的数量与多样性,进一步提高模型的鲁棒性与泛化能力。最终建立了具有20 625幅水下河蟹图像的样本数据集。之后用LabelImg软件对最终完善后的数据集进行检测目标的矩形包围框标注。但是考虑到螃蟹有一对特征鲜明的蟹螯和4对特征相似的蟹腿,如果将它们全部框选,会使得矩形框标注的区域包含大量复杂各异的无用背景特征,从而在一定程度上干扰模型的训练、影响模型的性能。因此,在人工标注河蟹时,本文主要考虑河蟹的身体及一对特征鲜明的蟹螯,适当会包含部分蟹腿,标注情况如图2所示。最后按照通用数据集划分策略,将数据集随机分配成训练集(70%)、测试集(25%)和验证集(5%)。并将它们各自转换为只需一次性加载的TFRecord格式存储,这样能够有效加速数据读取,大幅提高数据处理效率。

图2 河蟹鲜明特征的标记方式Fig.2 Special annotation way of river crab characteristics

1.3 活蟹检测器系统概述

图3 活蟹检测器系统结构图Fig.3 System structure of efficient live crab detector

图3为活蟹检测器的系统结构。首先,对呈现蓝绿色且伴随强烈不均匀色彩的输入标签图像进行分解式并行降噪和色彩校正增强。然后,将预处理后的标签图像映射到采用联动扩展网络深度、宽度和分辨率方式实现精度和效率协调的EfficientNet-B0主干网络,提取不同尺度的特征图像。接着,选取其中5层特征图作为堆叠双向特征金字塔网络(Bi-directional feature pyramid network, BiFPN) 的输入来获取更高级别的融合特征图像。最后,将这些特征图输入堆叠三层卷积模块的类别/边界框预测网络以生成各种锚框。同时利用正交Softmax预测各种尺寸和纵横比锚框的坐标位置偏移量及其相关的置信度,从而得到预测边界框。图3中,P表示金字塔融合特征图像分辨率级别,C表示MBConv Stage输出特征图像分辨率级别。之后再将生成的所有预测边界框集合起来,通过设置重叠率阈值,采用非极大值抑制方法去除冗余重复的预测边界框。最终筛选保留比阈值具有更大置信度的需要输出的预测边界框,从而实时准确地获取包含河蟹类别、置信概率和边界框坐标的检测结果,如图4所示。

图4 河蟹检测的详细参数Fig.4 Detailed parameters of crab detection

2 图像降噪与色彩校正

图5 图像通道分解及融合过程Fig.5 Image channel decomposition and fusion process

图6 图像降噪与色彩校正过程Fig.6 Image denoising and color-correction enhancement process

为确保图像信息的可靠性,提高水下河蟹的识别检测精度,对水下光学成像及照明环境特点进行分析,发现水下图像中纹理、边缘、细节等有用信息含有高频分量,同时噪声虽以高频分量为主但也会掺杂低频成分。 这种在频率上的重叠特性是传统图像降噪方法无法有效去除噪声的主要原因,也是传统图像增强方法无法避开噪声干扰进行图像增强的主要原因[11]。因此,本文所提算法将RGB彩色原始图像(图5a)分解为R、G、B三通道图像(图5b),逐个提取R、G、B通道图像以进行有效去噪和颜色校正增强(图6a)。在去噪和颜色校正增强过程中,首先应用形态成分分析[9]将一维通道图像按照不同的能量稀疏分解为含噪高频纹理图像和低频结构图像。然后按照不同频率图像的信息组成特点,应用K-SVD (K-singular value decomposition)算法[9]对含有大部分噪声的高频纹理图像进行有效降噪,以较好保留河蟹纹理、边缘等有效信息。同时考虑到图像伴随着强烈不均匀的色彩现象,应用能够同时针对图像的动态范围压缩、边缘增强和颜色恒常进行平衡的Retinex算法[10],对几乎无噪的低频结构图像进行有效的增强和颜色校正,并且保证其目标结构不失真。对去噪和校正后的图像进行加性还原获得一维灰度通道分量(图6b)。最后将处理后的R、G、B一维灰度通道图像融合恢复获得RGB彩色图像(图5c)。图像清晰度显著提高,从而有利于图像理解与分析。颜色不均匀的区域相对原图有了明显的改善,避免了其对后续识别检测产生的干扰。

3 两阶段联动扩展的活蟹检测

在计算量有限的移动嵌入式平台上,目前先进的检测网络往往不能达到实时性效果。极少数类似Tiny YOLO的网络能满足实时需求,但这类网络检测精度不高,同样不能达到需要的精度要求。本文在各类资源受限的条件下,局部联动扩展平衡所有维度信息的轻量级EfficientNet网络的基础上,采用全局联动扩展平衡检测器的主干网络、特征网络和类别/边界框网络,构建更加高效、更加精确的可收缩扩展检测器。

3.1 基于联动扩展的轻量级EfficientNet主干网络

图7 网络深度、宽度和分辨率的三维联动扩展结构Fig.7 Three-dimensional compound scaling structure of network depth, width and resolution

扩展网络的深度(卷积层的数量)、宽度(卷积层的通道数)和分辨率(输入特征的尺寸)中的任一维度都可以提升精度(图7),但常规扩展单一维度的模型会随着模型的增大,精度增益变小。为了获得协调的精度和效率,在神经网络扩展过程中综合平衡所有的维度信息是关键,所以EfficientNet[23]引入了扩展系数θ来联动统一扩展网络的深度、宽度和分辨率。

(1)

式中d——网络深度

w——网络宽度

r——网络分辨率

α——网络资源的深度分配系数

β——网络资源的宽度分配系数

χ——网络资源的分辨率分配系数

θ——用户指定的模型资源扩展系数

图8 MBConv基本单元架构Fig.8 MBConv architecture of basic unit

其中,α、β、χ通过网络搜索暴力枚举得到最优解,θ可根据模型可用资源进行调节,同时也表明资源的可用范围。α增加一倍,浮点运算次数FLOPs随之增加2倍;β和χ增加一倍,FLOPs随之增加4倍。最终联动扩展操作使FLOPs变为原来的2θ倍。之后再以MobileNetV2[24]中的反向残差结构和压缩-激励优化[25]构建的MBConv(图8)作为基本模块。通过神经网络架构搜索方式,在限制目标FLOPs和存储空间的情况下,搜索得到一系列网络EfficientNet B0~B6。本文采用EfficientNet-B0网络作为模型的主干网络,网络参数如表1所示。在stem stage层考虑到小模型对前期底层特征的依赖性,未使用最大池化,而采用步长为2的卷积操作,可有效减少信息的丢失。其中多个stage都采用5×5的卷积核,这是因为MBConv 5×5的浮点运算次数FLOPs5比2个

MBConv 3×3的浮点运算次数FLOPs3小,而且大卷积核比小卷积核的效率高。

(2)

式中H——输入/输出特征图的高度

W——输入/输出特征图的宽度

Mi——输入特征图的通道数

No——输出特征图的通道数

最后,某些stage特征图的分辨率和不规则的通道数都未改变,这是MnasNet[26]在搜索网络结构时因运算量约束而形成的。

表1 轻量级EfficientNet-B0 主干网络参数Tab.1 Lightweight EfficientNet-B0 backbone network parameters

3.2 二次联动扩展优化的小型检测器

EfficientNet-Detector是EfficientNet网络的延续和发展,在各类资源受限的条件下,能构建一系列更加高效、更加精确的可扩展检测器[27]。完整的检测模型一般由backbone网络、特征网络和类别/框预测网络组成。在一次局部联动扩展EfficientNet主干的基础上,又从构建高效多尺度融合的BiFPN[27]和模型全局的二次联动扩展两方面出发,显著提高检测器的准确率,协调检测器的效率。

(1)高效多尺度融合BiFPN

图9 BiFPN搜索的不规则拓扑结构图Fig.9 Irregular topology map of BiFPN search

(2)检测器模型的全局联动扩展

为了追求更高的检测精度,一般检测器模型的扩展大都只关注主干网络,往往忽略特征网络和类别/边界框预测网络的扩展。为此EfficientNet-Detector引入了一个简单的全局复合因子ψ来二次统一联动扩展模型的3个构成部分[27]。具体而言,就是直接采用局部联动扩展后的最小型EfficientNet-B0作为主干网络。其次,线性增加BiFPN结构网络的深度,指数增加BiFPN结构网络的宽度。最后,保持类别/边界框预测网络的宽度与BiFPN结构网络的宽度相一致,只线性增加类别/边界框预测网络的深度。本文根据实时高效的检测需求,取全局复合因子ψ为0,即堆叠BiFPN 层2次、类别/边界框预测网络中的卷积模块3次。

dbi=2+ψ

(3)

wbi=64×1.35ψ

(4)

wc/b=wbi

(5)

dclass=dbox=3+ψ/3

(6)

式中dbi——BiFPN的深度

wbi——BiFPN的宽度

wc/b——类别/边界框预测网络的宽度

dclass——类别预测网络的深度

dbox——边界框预测网络的深度

(3)小样本正交Softmax分类层

深度学习可以通过大规模的图像样本取得巨大成功,但在许多实际问题中很难获取大规模数据。比如在池塘河蟹检测中,获取大规模可用于训练的水下图像数据不现实。所以采用小样本分类进行检测是最科学合理的做法,即只需要将样本粗略预测分类为河蟹和背景。但是在类别/边界框预测网络之前会经过很多个非线性层,这些层组成的深层神经网络会形成一个巨大的函数空间,在遇到小样本数据时会导致过拟合和不稳定的问题。为了减轻小样本分类检测过程中的过度拟合问题,需要从小样本数据中学习更多的区分特征。而利用正交Softmax层[31]替代完全连接的分类层,便能够找到一个可以轻松获取较大决策余量[32]并能学习高度区分性特征的神经网络子空间。具体来说,就是通过在输出分类层中减少一些连接,并在训练和测试过程中使不同类别的权重向量保持正交来获取较大的决策余量(图10)。这是因为分类层中权重向量间的角度越大,泛化能力越好。最终由于减少了连接、增加了不同类间的角度,正交Softmax层可以减轻网络的协同适用,增强网络的辨识能力,从而有效缓解小样本检测的过拟合问题,大幅提高网络的泛化能力,增强检测器的鲁棒性。

图10 样本分类层的网络子空间连接的比较Fig.10 Comparison of network subspace connections in sample classification layer

4 实验

4.1 活蟹检测器训练与测试

检测模型的训练和测试硬件环境为Intel E5 CPU, 64 GB RAM,4 NVIDIA 1080 Ti GPUs,采用Python3编程语言和PyTorch深度学习框架实现。以图像为中心对高效活蟹检测器模型进行训练。检测器的各项训练超参数设置如表2所示,通过修改网络类别索引将检测器设置为仅保留河蟹类别的二分类检测模型。在训练过程中采用两种训练方式,一种是未做任何微调的直接训练,另一种是基于Pre-training和Fine-tuning的迁移训练。本文采用的迁移训练方式主要分为两阶段:第1阶段下载并加载Pre-training的权重,冻结主干网络训练;第2阶段冻结批归一化层,其余层开始训练。在第2阶段过程中,参数较大时依然可以冻结部分主干网络不让其全部参与训练。对河蟹检测器模型训练迭代了12 900次,这意味着将损失函数反向传播了12 900次,来调节网络各层的权值。训练损失值如图11所示,从图中可以明显观察到迁移训练的损失值相较于直接训练可以很快地趋于稳定的小值,并且损失值的毛刺波动较小。图12进一步证明了迁移学习能提高训练效率。最终本文采用迁移学习训练出了精确的检测器。

表2 检测器的训练超参数Tab.2 Training parameters of detector

图11 训练损失值曲线Fig.11 Training loss curves

图12 两种训练的平均准确率Fig.12 Average accuracy of two training methods

4.2 图像降噪与颜色校正效果分析

图13 图像降噪与颜色校正前后的矩形边界框检测结果Fig.13 Rectangular-bounding box detection results before and after image denoising and color-correction

为了验证采用K-SVD和Retinex算法进行降噪和颜色校正增强的效果与性能,对比处理前后的图像,发现处理后的图像整体更加清晰,这表明所用降噪方法进行了有效降噪且未破坏纹理信息;同时图像中河蟹与背景有了相对鲜明的对比,颜色不再呈现强烈不均匀,表明所用增强方法对图像进行了适当的颜色校正且未造成结构失真(图13a、13b)。另一方面,分别利用预处理前后的数据训练检测模型并对测试集进行检测。两个模型的客观边界框检测数据显示,预处理前训练的模型针对多目标且相互遮挡的河蟹目标会出现漏检的情况(图13b)。而预处理后训练的模型应用于各种场景时很少出现漏检和误检的情况(图13d)。并且表3第2行所示降噪、颜色校正增强后的平均交并比Iou相较第1行预处理前增加了8.01个百分点。单值Iou更加地接近于1,甚至出现某些矩形边界框的检测范围包含于标记的真值框(图13e)。此外,表3显示预处理后河蟹检测精度提高了约5个百分点,误检河蟹数量明显减少。这些进一步证明了利用本文方法处理图像后,其特征信息易于计算机理解与分析,河蟹识别准确率更高。

4.3 检测器可靠性分析

为了测试EfficientNet-Detector对水下河蟹检测的可靠性,利用包含2 192只河蟹的1 032幅测试图像,分别从一次联动扩展的EfficientNet主干网络对特征的专注性和二次全局联动扩展的EfficientNet-

表3 联动扩展和正交Softmax层对检测模型性能的影响Tab.3 Effects of compound scaling and orthogonal Softmax layer on performance of detection model

图14 梯度加权的类激活图Fig.14 Gradient-weighted class activation maps

Detector对检测精度和速度的协调性两方面进行了分析。最后验证了正交Softmax分类层对模型泛化能力的作用。为了准确地分析、验证检测器的性能,需要采用多种客观评价标准从各个方面对其进行评判。评价指标为交并比Iou,用于衡量数据集上目标检测器的准确性,如果其值大于50%则认为检测结果可信。之后由查准率P、查全率R和戴斯系数Dc对检测结果进行全面评估。戴斯系数Dc是查准率P和查全率R的调和平均值,是评估检测器检测准确性的标准化度量。上述指标的取值范围都在0~100%之间,并且其值越大越好。而对于检测效率的评估除了评估图像的平均检测时间FPS,还从模型的FLOPs、参数量Para和模型内存Ms进行了全面评估。

(7)

(8)

(9)

(10)

式中OA——标记真值框与检测边界框的交集

OU——标记真值框与检测边界框的并集

TP——正确检测的河蟹数量

FP——错误检测的河蟹数量

FN——在规定范围内未检测到的河蟹数量

通过对图14的分析发现,类激活显著性灰度图(图14b)是通过河蟹全局的像素点感知图像类别的。而由图14c可以看出,蟹螯部分的类激活强度很高,河蟹其他部分的类激活强度平稳。这表明模型主要是通过图像中蟹螯部分的像素点实现河蟹目标的分类,进一步验证了矩形框标记蟹螯做法的正确性。最后图14d验证了在经过扩展系数θ=1联动扩展后,参数量和FLOPs小一个数量级的情况下,EfficientNet主干模型可以更加显著地专注于更多目标的细节和更相关目标的图像区域。即便是相似的蟹腿也受到显著关注,这能够有效缓解活蟹不规则形状特征提取困难的问题。表3展示了联动扩展和正交Softmax层对检测模型的性能影响。通过对比表3中第2行和第6行数据发现,当全局整体联动扩展的复合因子ψ大于等于1时,检测器的精度检测指标都有约2%的提升。但也伴随着模型内存的增大以及检测时间的增加,不过这为具有不同有限资源的移动设备提供了灵活的选择需求。而考虑到自动投饵船的成本效益和资源限制情况,选择联动扩展程度最低的EfficientNet-B0和整体联动扩展复合因子最小的EfficientNet-Det0最合理,既适合投饵船移动端的需求又可获得较高的检测精度。最后对比表中数据发现,将检测器的分类层替换为正交Softmax层后,进一步增强了小样本网络的辨识能力。在仅需15 MB存储内存的情况下,检测模型Dc为95.53%。在普通配置的GPU和CPU上,单幅图像检测延迟分别仅为10.6、35.0 ms,能够满足水产养殖系统对现代设备平台处理频率(10 Hz)的实时需求。

4.4 检测器实用性分析

为了测试高效活蟹检测器EfficientNet-Det0对水下河蟹检测的实用性,将其与YOLOv3[7]、Faster R-CNN[17]、SSD[8,11,19]算法以及传统的HOG+SVM (Support vector machine)[14]检测方法进行比较,结果见表4。

表4 不同检测算法的检测参数比较Tab.4 Comparison of detection parameters for different detection algorithms

通过表4数据分析发现,EfficientNet-Det0采用BiFPN的拓扑快速特征融合机制,其查准率比YOLOv3高1.37个百分点。虽然与Faster R-CNN算法的查准率存在一定的差距,但EfficientNet-Det0的查准率与模型性能可以通过主干网络EfficientNet的扩展系数θ和模型的联动扩展复合因子ψ进行有效的优化、权衡和取舍。相较于YOLOv3算法,FLOPs减少至其1/15、运行速度是其3倍的情况下,本文算法实现了查准率96.21%和查全率94.86%。相较于SSD-VGG16和SSD-MobileNetV1算法,EfficientNet- Det0在模型存储空间上分别约为其1/9和5/7。这是因为SSD-VGG16和SSD-MobileNetV1算法仅从多尺度特征网络和人工设计主干网络计算方式(深度可分离卷积)方面单一地提升网络性能。而EfficientNet-Det0是从构成模型的3个主要部分共同提升,并且在提升的过程中采用了人工设计网络计算方式(MBConv单元)、神经网络架构搜索(MnasNet搜索)、卷积神经网络深度压缩(裁枝)3种轻量化设计思想。相较于HOG+SVM方法,EfficientNet-Det0在各方面都有着显著的优势,这是因为HOG+SVM方法提取的方向梯度直方图特征仅适合规范且具有方向性的目标,而河蟹姿态各异、形状不规则。此外,河蟹的这类特点也进一步加剧了SVM高维分类的困难。EfficientNet-Det0采用的是卷积神经网络,能够学习、提取输入数据的局部区域特征,比如颜色、纹理、形状等低维特征。最重要的是能够学习、提取输入数据的深层抽象特征,比如图像中目标的属性、轮廓、位置等高维信息。而这类深层次的特征对图像中目标的形状、位置、大小、姿态、方向等并不敏感,所以能够确保面对独立不规则的复杂河蟹目标依然可以具有很高的识别检测率,从侧面验证了EfficientNet-Det0具有较高的鲁棒性。所以综合检测精度、计算速度、模型内存和鲁棒性来看,EfficientNet-Det0对于计算资源有限的移动设备具有很好的实用性,是一种可靠的适合搭载在自动投饵船上进行水下河蟹检测、指导河蟹均匀投喂的算法。

5 结论

(1)利用分解式并行降噪和色彩校正算法对呈现蓝绿色且伴随强烈不均匀色彩的低质量图像进行了简单有效的预处理,显著提高了图像的清晰度,缓解了色彩不均匀性,保证了图像信息的可靠性,使其易于分析。

(2)采用局部联动扩展的EfficientNet-B0作为活蟹检测器的主干网络,采用拓扑且快速特征融合的BiFPN 作为特征网络,采用基于锚框的类别/边界框作为预测网络。对模型进一步采用全局联动扩展,构建适用于有限资源的一系列高效检测器。通过建立的20 625幅图像数据集对模型进行训练和性能测试,在此过程中,针对小样本数据的过拟合问题,采用正交Softmax层进行了优化。训练的模型在仅需15 MB存储内存的情况下,实现查准率96.21%和查全率94.86%,单幅图像检测延迟分别为10.6 ms(GPU)和35.0 ms(CPU)。

(3)实验对比了3类6种不同的检测算法,从检测精度、计算速度、模型内存和鲁棒性4方面验证了所训练的检测器的可靠性和实用性。本文算法相较于YOLOv3算法,浮点运算次数FLOPs减少至其1/15,CPU运行速度是其3倍,戴斯系数为95.53%。

猜你喜欢
检测器河蟹特征
Neoadjuvant transcatheter arterial chemoembolization and systemic chemotherapy for the treatment of undifferentiated embryonal sarcoma of the liver in children
河蟹池塘高效混养新模式探析
北方地区湖泊河蟹养殖技术探讨
离散型随机变量的分布列与数字特征
参数可调的联合子空间目标检测方法 *
智能精准投饵 河蟹吃饱吃好
基于交通诱导的高速公路交通检测器布设方案研究
抓特征解方程组
不忠诚的四个特征
否定选择算法中高性能检测器的生成