海产品智能分拣装备与系统设计

金宗毅 陶学恒,2 金 艳 冯怡然 王慧慧 张 旭

(1. 大连工业大学机械工程与自动化学院，辽宁 大连 116034；2. 国家海洋食品工程技术研究中心，辽宁 大连 116034)

中国作为一个海洋大国，海洋面积达到473万m2，拥有广阔的海洋牧场。但目前中国所捕捞海产品的后续分拣工作仍处于初级阶段，主要依靠人工操作和相关配套设备协作完成，加工水平远远低于国外。近年来，机器视觉技术迎来了飞速发展，在各个领域的应用层出不穷。将计算机视觉技术应用至水产行业，对海产品进行识别、定位和后续分类，既能在保证海产品质量的同时提高生产效率，也能减少对劳动力的需求。

朱蓓薇等[1]发明了一种具有分级功能的海参加工生产线装置，包括上料带传送机构和喷淋装置；上料带传送机构的末端接有内脏清理单元，上输送带传送机构的上输送带上顺着传输方向隔成多级输送通道；所述上输送带的末端接有物料清洗单元，而后送至质构控制主机，最后由物料箱接收加工好的海参。实现一体化生产，节省了人力成本，减少了污染环节，达到高效生产的目的。陶学恒等[2]提出了一种海产品自动称重分拣装置，包括第一输送带、图像识别系统、步进电机、拨料板、支撑板、第一输送带电机、第二输送带电机、称重传感器、支撑台、支腿、台面、滑块和滑台；将以往静态称重速度提高了3倍，整体称重速度达到动态称重设备的平均速度，实现了静态称重引入动态机构，大大降低了制造工本，同时保证了高速度，高精度。胡泽军等[3]设计了一种根据灰度变化设定ROI区域的计算方法，针对黑夜与白天的行车区域与非行车区域分离。对霍夫直线检测出的直线，增加对分割图像内 HOG(Histogram of Oriented Gradient)特征提取后利用 SVM(Support Vector Machines)分类检测的方法，为车道线检测提供一种高拟合度的鲁棒性算法，能够有效地进行弯道和直道的识别。谢为俊等[4]通过图像色调下饱和度和明度的明显差异识别青头：不同颜色范围匹配不同结果；根据形状差异判断胡萝卜断裂与否：将待检胡萝卜的最小外接矩形与标准匹配模板通过Hu不变矩进行图像适配，得到两个图像匹配系数，根据匹配系数判别是否断裂。相比之下，将机器视觉应用到海产品分拣处理方向的研究则较为缺失。

试验拟利用装备机械结构对物料进行分级，通过系统算法完成物体分类，构建一个基于机器人的海产品智能分拣装备，以期实现海产品的高效、快速、智能分拣。

1 海产品智能分拣系统生产线的系统构成与工作原理

1.1 海产品智能分拣系统构成

海产品智能分拣系统由机器人分拣系统、物料输送系统、称重分级系统、视觉识别系统等构成，工作过程皆由PLC编程控制完成，其系统布局如图1所示。

图1 海产品智能分拣装备系统总体布局图Figure 1 General layout of seafood intelligent sorting equipment system

1.2 海产品智能分拣装备与系统的工作原理

基于机器人的海产品智能分拣装备与系统，以分拣鱼、虾、贝类等海产品为主。鱼、虾、贝类等海产品经传送带输送到智能识别摄像头下方，机器人通过机器视觉识别技术，分辨出鱼、虾、贝类的品种；当确定识别结果为目标品种(鱼、虾、贝类)时，启动输送线上的拨叉装置将目标品种(鱼、虾、贝类)推送至传送带旁的电子称重台进行自动称重(分级)，根据不同重量规格将同一目标品种(鱼、虾、贝类)分为不同的重量等级；与电子称重台连接的计算机接收到反馈信号后、启动机器抓取机构将目标品种(鱼、虾、贝类)分拣至分拣仓。工作流程如图2所示。

图2 海产品智能分拣系统总体流程图Figure 2 General flow chart of seafood intelligent sorting system

1.3 海产品智能分拣装备系统各结构组成

分拣装备系统主要由机器人分拣系统、物料输送系统、称重分级系统、视觉识别系统4个子系统组成。4个子系统通过计算机网络进行信息传递，通过示教器和控制台可以实现人工操作和自动操作并行处理，能够实现人机交互进而构成一个完整的闭环测控分拣系统。

1.3.1 分拣机构的选用 分拣机构是海产品智能分拣装备的核心结构，需要实现对海产品进行一系列的分拣操作。参考国内外先进分拣机构，并结合使用要求，确定分拣机构采用六自由度的结构形式。为减轻机构质量及提高各组成部分受载能力，其结构材料选用铝合金材质。

如图3所示，该分拣机构由底座、肩部、大臂、肘部、前臂和手腕组成。机构对应6个关节分别为腰部旋转一轴(S)、肩部旋转二轴(L)、肘部旋转三轴(U)、手腕偏转四轴(R)、手腕仰俯五轴(B)和六轴末端执行器[5]。智能分拣机构的6个关节处各有一个交流伺服电机，每个关节的动作都由电机分别控制。各关节电机带动一个谐波减速器或RV减速器。分拣机构通过底座固定在传送带旁边。

图3 分拣机器人机器臂轴结构Figure 3 Sorting robot arm shaft structure

根据分拣动作的要求，确定了智能分拣机器人的操作技术方案，机器人应能够将称重台上的海产品快速抓取并输送至对应的分拣仓。

末端执行器采用气动式机械夹爪(如图4所示)，气缸筒为无油自润滑装置，具有高速度、低摩擦、自润滑、高寿命等优点。执行器性能可靠，操作安全，该气动式机械夹爪适用于贝类夹取。分拣机构有效负载7 kg，工作范围703 mm，具有结构紧凑、机身小巧、易于集成、经久耐用等优点。

图4 末端执行器手爪三维建模图Figure 4 3D modeling of end-effector claw

1.3.2 物料输送装置及系统 上料输送装置由电动机及传送皮带滚道组成，电动机采用YS7124三相异步电动机，级数4级，额定功率370 W，额定转速1 440 r/min，满足使用要求。

1.3.3 称重分级装置及系统 称重分级系统采用Mettler Toledo电子台秤。最大秤量6 kg，最小秤量0.04 kg，实际分度值2 g，工作温度范围-10～40 ℃。

1.3.4 物料存储仓 物料存储仓有4个不同仓位，分别接收各个路径不同种类物料的单元(如图5所示)。

图5 物料存储仓Figure 5 Material storage bin

2 基于机器视觉的海产品智能识别技术

2.1 海产品智能识别算法(Faster R-CNN)

基于计算机视觉的贝类检测与识别技术是典型的图像分析、理解和分类问题[6-9]。文章探讨了一种基于贝类特征进行修改的新型Faster R-CNN算法。Faster R-CNN算法最大的特点是将特征抽取、proposal提取、bounding box regression三者融合于同一网络架构中，其综合处理能力大，检测速度快[10-11]。

其基本原理：将任意的P×Q特征图缩放至M×N并送至Conv layers网络(13个conv层，13个relu层，4个pooling层)固定变为(M/16)×(N/16)大小，使得Conv layers生成的feature map与原特征图对应。后进入RPN：候选检测框生成网络(Region Proposal Networks)，RPN网络分为两条线，一条通过softmax计算anchors获得positive和negative分类，一条针对anchors的bounding box regression偏移量作出计算，获得精确的proposal。其输出的positive anchors和通过bounding box regression偏移量取得proposals综合汇集至Proposal层，并在去除不符合条件的proposals后送至RoI Pooling层。RoI Pooling层同时接收通过Conv layers层的feature maps和通过RPN输出的proposals综合计算出最终用于Classification层的proposal feature maps，使用full connect层和softmax将各proposal分类(如贝类、鱼类等)，输出概率向量cls_prob；并再次利用bounding box regression获得各proposal的位置偏移量bbox_pred，最终提高目标检测框精准度[12-14]。算法框架如图6所示。

图6 Faster R-CNN架构Figure 6 Faster R-CNN architecture

2.2 改进的Faster R-CNN算法

针对贝类分类和检测利用DenseNet作为基本特征提取网络改进方案。DenseNet网络继承自ResNet网络，相比于ResNet网络，DenseNet的网络机制更为激进，其将所有的层都互相连接，每一层都与前面的所有层进行连接，构建了一个极为密集的网络机制。ResNet网络仅仅是通过元素级相加的方式将层与前面几个层相连接。DenseNet却是将层前面的所有层都在channel维度上连接起来，一起作为下一层的输出。并且由于DenseNet直接连接了其他所有层，使得其可以任意调用其他层的特征，减少了计算浪费，极大地提高了效率[15]。DenseNet网络机制如图7所示。

图7 DenseNet密集连接机制Figure 7 DenseNet dense connection mechanism

传统网络在L层输出：

xl=Hl(xl-1)。

(1)

Resnet网络在L层输出：

xl=Hl(xl-1)+xl-1。

(2)

DenseNet网络在L层输出：

xl=Hl([x0,x1,…,xl-1])。

(3)

对于DenseNet网络，块之间的密集连接可以有效利用浅层和深层特征以确保其效率和狭窄性，并能够减少其复杂性和计算负担。采用4个121层的密集块构成特征提取网络，在去除完全连通层和分类层之后，通过连接RPN和RoI池化层进行目标识别和定位。

2.3 改进的Faster R-CNN算法试验结果

为了验证Faster R-CNN算法的有效性，采集了贝类数据集。贝类数据集分为4个物种(海螺、扇贝、贻贝和蛤蜊)，共包含8 436张图像(见表1)。数据具有不同的光照强度、遮挡、复杂背景以及多个目标，以确保检测模型涵盖了现实生活中常见的贝类。其中90%用作训练集，10%用作测试集。

表1 贝类外观形体识别训练与测试集Table 1 Training and testing set for shellfish appearance and body recognition

迭代训练仍使用Conv Layers提取feature maps。整个网络使用Loss函数：

(4)

该Loss函数分为两部分：

(1)cls loss：用于分类anchors为positive与negative的网络训练。

(2)reg loss：用于bounding box regression网络训练。

实际过程中Ncls和Nreg差距较大，引入参数λ平衡二者，使总体网络均匀计算两种Loss。计算公式：

(5)

(6)

(7)

实际卷积损失过程及训练过程的测试准确率如图8所示。经过大约2 000次卷积后，总体损耗可以迅速降低并稳定在0.1～0.2，测试精度也稳定在80%左右。

图8 损失训练过程及识别准确性测试Figure 8 Loss training process and identification accuracy testing

评价指标为平均精度(AP),即PR曲线下的面积。在P—R曲线上，P代表精度、准确率：预测结果为真的样本中真正为真的比例。R代表召回率：预测结果召回了多少真正的真样本。其计算公式：

(8)

(9)

mAP:多个AP的平均值，计算公式：

(10)

式中：

NTP——真阳性样本数；

NFP——假阳性阴性样本数；

NFN——假阴性阳性样本数；

AP——单个种类识别精度。

分别使用ResNet和DenseNet作为基本特征提取网络进行训练，并使用测试集对网络模型进行评估。表2列出了获得的各种贝类的AP值。

从表2可以看出，使用DenseNet进行特征提取，mAP值高达83%，比ResNet高出近4%。3种贝类(蛤蜊、扇贝和贻贝)的检测结果大大改善，验证了利用DenseNet改进的Faster R-CNN在检测准确率上优于前网络。

表2 不同网络模型的测试结果Table 2 Test results of different network models %

3 结论

研发了一种基于机器人技术的海产品智能分拣装备与系统，构建了一个能够实现智能、高效、自动分拣海产品的机械装备系统；提出一种基于Faster R-CNN深度学习的海产品外观品级的识别算法，能够有效利用人工神经网络的浅层和深层特征，并可大大改善海产品检测的准确性。鉴于海产品种类的多样性，后续将在此装备系统基础上继续研发针对不同海产品的末端专用夹具，以满足实际生产需求。