基于卷积神经网络和组规范化的垃圾图像分类研究

裴健 黄进

[摘    要]为了解决社会中的垃圾分类的问题，提出了一种基于卷积神经网络和群体标准化的垃圾图像分类方法。不需要输入复杂的图像处理，网络模型可以根据生成算法来提取图像的特征由集团标准化和网络模型的每一层之间的合作，克服传统分类算法的缺点，实现垃圾图像的准确分类。实验表明，该方法具有较高的准确率，能够识别出不可进行回收处理垃圾和可回收垃圾。

[关键词]卷积神经网络;组规范化;图像分类;机器学习

[中图分类号]TP183 [文献标志码]A [文章编号]2095–6487（2020）10–00–04

Research on Garbage image Classification based on Convolutional

Neural Network and Group Normalization

Pei Jian ，Huang Jin

[Abstract]In order to solve the problem of garbage classification in the society， put forward a kind of based on convolutional neural networks and groups standardization of spam image classification method， no need to input the complex image processing， network model can be generated according to the characteristics of the algorithm to extract image by group collaboration between standardization and network model of each layer， overcome traditional classification algorithms shortcomings， realize accurate classification garbage image. Experiments show that this method has high accuracy and can identify non-recyclable and recyclable garbage.

[Keywords]Convolutional neural network; Group normalization; Image classification; Machine learning

垃圾分类是垃圾终端处理设施运转的基础，实施生活垃圾分类，可以有效改善城乡环境，促进资源回收利用。应在生活垃圾科学合理分类的基础上，对应开展生活垃圾分类配套体系建设，根据分类品种建立与垃圾分类相配套的收运体系、建立与再生资源利用相协调的回收体系，完善与垃圾分类相衔接的终端处理设施，以确保分类收运、回收、利用和处理设施相互衔接。只有做好垃圾分类，垃圾回收及处理等配套系统才能更高效地运转。

近年来，人口老龄化加快，我国出现清洁工招人困难，服务行业用工成本攀升等问题。包括清洁工在内的服务行业缺少劳动力成为了行业普遍面临的瓶颈问题。少子化也让更多人不愿做重复枯燥的清洁工等工作。在消费水平提升、需求增长等多方面共同推进下，垃圾清理机器人将会成为机器人领域的热点，我国的垃圾清理机器人将迎来巨大的机遇和发展空间。加大垃圾清理机器人的研究可以使得机器人技术更快服务于人类社会。

1 相关深度学习方法

深度学习在图像进行处理领域的主要通过网络经济结构包括：深度神经网络、深度信念网络、循环神经网络、生成对抗网络和卷积神经网络。以垃圾图像分类为例。在输入阶段，硬件设备通过系统采集垃圾图像的光学信息，经过预处理、特征提取和分析将冯世华的数据输入算法进行计算和输出。卷积神经网络经过在公安、军事、农业等领域的多次应用，在机器视觉领域发展有着一个非常优异的性能，因此已经被应用在各种解决方案中。

1982年福岛等人首次提出了深度學习模型，但没有得到重视。直到2012年，Krizh等人提出了一种新的深度结构和Dropout方法，该方法成功赢得了计算机视觉Imagenet竞赛，CNN正式进入人们的视野。神经网络在 2012 年崭露头角，Alex Krizhevsky 凭借它们赢得了那一年的 ImageNet 挑战赛（大体上相当于计算机视觉的年度奥林匹克），他把分类误差记录从 26 % 降到了 15 %，在当时震惊了世界。自那之后，大量公司开始将深度学习用作服务的核心。Facebook 将神经网络用于自动标注算法、谷歌将它用于图片搜索、亚马逊将它用于商品推荐、Pinterest 将它用于个性化主页推送、Instagram 将它用于搜索架构。

1.1 卷积神经网络

卷积神经网络是一种典型的深度学习算法，一种具有深度结构和卷积计算的前馈神经网络算法。它是多层感知器的一个变体模型。时滞神经系统网络和Lenet-5是最早的卷积进行神经通过网络。卷积神经网络仍然是一个层次网络，但层次的功能和形式发生了变化，这是对传统神经网络的改进。典型的卷积进行神经系统网络由输入层、卷积层、池化层、全连接层和输出层组成。从本质上讲，卷积神经网络是一种通过输入-输出映射。它可以学习输入和输出之间的大量映射关系，而无需输入和输出之间的精确数学表达式。卷积网络的思想是将局部接收场、权重分担和时空二次抽样三种结构思想结合起来，以获得一定程度的位移、尺度和变形不变性。卷积神经网络只要用已知的模式进行训练，网络就具有对应输入和输出对应的映射学习能力。

1.2 组规范化

总结来说，Group Normbalization（GN）是一种新的深度学习归一化方式，可以替代BN。众所周知，BN是深度学习中常使用的归一化方法，在提升训练以及收敛速度上发挥了重大的作用，是深度学习上里程碑式的工作，但是其仍然存在一些问题，而新提出的GN解决了BN式归一化对batch size依赖的影响。

BN全名是Batch Normalization，其是一种归一化方式，而且是以batch的维度做归一化，那么问题就来了，此归一化方式对batch是independent的，过小的batch size会导致其性能下降，一般来说每GPU上batch设为32最合适，但是对于一些其他深度学习任务batch size往往只有1～2，比如目标检测，图像分割，视频分类上，输入的图像数据很大，较大的batchsize显存吃不消。导致分组（group）的因素有很多，比如频率、形状、亮度和纹理等，HOG特征根据orientation分组，而对神经网络来讲，其提取特征的机制更加复杂，也更加难以描述，变得不那么直观。另在神经科学领域，一种被广泛接受的计算模型是对cell的响应做归一化，此现象存在于浅层视觉皮层和整个视觉系统。如图1所示。

2 垃圾分类方法设计

卷积神经系统网络是深度合作学习的代表算法技术之一，是一种发展具有卷积计算和深度结构的前馈神经通过网络传统的卷积神经网络算法主要由卷积层、汇聚层和全连接层组成。与传统模型相比，RESNET模型引入了残差函数的概念，同时通过引入dropout算法来解决过拟合分析问题。我们希望对每个神经元，激励函数都能尽量区分出z值变化，这样每个神经元的表达能力更强，但sigmoid明显在|z|>4的区间的梯度就不够看了，即它的梯度消失了。相比之下，ReLU输出就很稳定，因为他z>0区间就是一个线性函数！不存在sigmoid的梯度消失的问题。另一个ReLU很给力的地方就是稀疏度问题。就是我们希望每个神经元都能最大化的发挥它筛选的作用，符合某一个特征的中间值，使劲儿放大;不符合的，一刀切掉。算法流程如图2所示。

2.1 resnet模型

对于资源网络模型，引入了残差元素，加入身份映射，ResNet使用两种残差单元。对应的是浅层网络和深层网络。对于短路连接，当输入和输出维度一致时，可以直接将输入加到输出上。但是当维度不一致时（对应的是维度增加一倍），这就不能直接相加。有2种策略：（1）采用zero-padding增加维度，此时一般要先做一个downsamp，可以采用strde=2的pooling，这样不会增加参数;（2）采用新的映射（projection shortcut），一般采用1×1的卷积，这样会增加参数，也会增加计算量。短路连接除了直接使用恒等映射，当然都可以采用projection shortcut。也就是说，f（X）=h（X）-x。Resnet更适合于训练学生深度学习卷积神经系统网络。由于lamp的增加和训练样本较小，会发生过拟合。为了解决这一问题，采用dropout丢弃算法。

2.2 dropout丢弃算法

由于RESNET可以训练较深的卷积神经网络，误差较小，随着时间卷积层数量的增加，会出现过拟合分析问题。现在过拟合表： 模型在训练数据中的损失函数值小，预测精度高。丢弃算法是提高模型泛化能力的一种方法。神经系统网络单元可以根据企业一定的概率暂时从网络中丢弃。但在试验研究数据中，损失函数值比较大，預测模型精度要求较低。为了减少过拟合现象，bn与Dropout同时引入，在一定影响程度上达到了一个正则化效果，增加了迭代次数。原理是随机将某些神经元的输出设置为 0，概率为 0，不参与正向影响传播，也不参与反向进行传播。

2.3 特征提取

于己而言，特征是某些突出性质的表现，于他而言，特征是区分事物的关键，所以，当要对事物进行分类或者识别，实际上就是提取‘特征，通过特征的表现进行判断。卷积神经系统网络的卷积检查应该是作为一个学生接受域，使得每个神经元不需要感知全局图像，只需要感知局部图像数据区域。然后，在更高的层次上，结合不同感知区域的神经元，可以获得全局信息。2个3×3堆叠卷积层的有限接收场为5×5，三个3×3叠加卷积层的接收场为7×7。因此，小卷积层的叠加分析可以通过提升大卷积层的点，而感知场的大小保持不变。这里，左卷积的核大小是3：3。

2.4 群组归一化

导致分组（group）的因素有很多，比如频率、形状、亮度和纹理等，HOG特征根据orientation分组，而对神经网络来讲，其提取特征的机制更加复杂，也更加难以描述，变得不那么直观。另在神经科学领域，一种被广泛接受的计算模型是对cell的响应做归一化，此现象存在于浅层视觉皮层和整个视觉系统。 Bn有许多学生优点，例如，加快进行训练发展速度，缓解梯度扩散，等等，但Bn层接近批量大小，如果数量太小会太多的干涉，因为每次计算一批均值和方差时，如果体积太小，则均值和方差的计算不足以表示整个数据分布。可以看出BN对批量大小有很强的依赖性。

2.5 relu激活函数

当将 ReLU 函数引入神经网络时，也引入了很大的稀疏性。稀疏是指数量少，通常分散在很大的区域。在神经网络中，这意味着激活的矩阵含有许多 0。当某个比例（比如 50 %）的激活饱和时，就称这个神经网络是稀疏的。这能提升时间和空间复杂度方面的效率——常数值（通常）所需空间更少，计算成本也更低。Yoshua Bengio 等人发现 ReLU 这种分量实际上能让神经网络表现更好，而且还有前面提到的时间和空间方面的效率。

Softmax函数分析又称归一化指数进行函数，它是在多分类中促进sigmiod，其目的是以概率的形式表达多分类的结果训练进行回归分析模型后，softmax可以同时通过数据输入任意样本基本特征的图来预测输出类别的概率。在多分类管理过程中，将多个不同神经元的输出映射到[0，1]区间，进行多分类。Softmax回归也是一个单层神经网络，输出层相当于全连接层。以预测概率最高的类别作为神经网络的最终输出类别，从而实现图像分类。

3 实验与结果分析

选择的图像数据集是garbage image Collection，它对厨余垃圾、可回收垃圾、不可回收垃圾和其他国家垃圾问题进行分析分类。图像分为灰度图像和彩色图像。灰度图像的灰度值为[0，1]，彩色图像用三维张量表示，格式为M×N×3矩阵，M，N为图像长度和宽度的像素点个数。总共拍摄了2164张训练图像，其中219张用于测试，1945张用于训练。垃圾图像数据集大小如表1、表2所示。

素点个数。垃圾图像数据集大小如表所示。

数据库中可回收垃圾的图像如图所示，图中可以使用的是32×32像素的3通道RGB彩色进行图像。训练前，对图像进行预处理。如图3所示。

（1）图像大小归一化是将图像大小均匀改变为32×32×3的三维张量。

（2）增加图片的差异性和多样性，并对图片进行随机调整，如平移、旋转等。

将大小为32×32×3的三维张量输入网络，基于2-2层池化的特征提取，得到4×4×32的特征图。最后通过4×4×120的卷积核，得到一个120的向量并输入到全连接层。在神经网络中引入了激活函数和非线性因子，提高了模型的表达能力。第一个样本选择可回收垃圾图像分类，实验结果如图，培训50次，训练集和测试集的准确性增加更精确的数量的增加，最终的目的是将训练好的模型部署到真实的环境中，希望训练好的模型能够在真实的数据上得到好的预测效果，换句话说就是希望模型在真实数据上预测的结果误差越小越好。把模型在真实环境中的误差叫做泛化误差，最终的目的是希望训练好的模型泛化误差越低越好。最后，随着训练次数的增加，准确率与图片数量呈正相关，而成本损失函数则呈负相关。

4 结束语

垃圾的大量产出，使环境与健康问题日益突出。垃圾的随意丢弃、简单堆放与处理，会导致很多问题产生，比如破坏良好的生活环境，污染水源、土壤、空气等环境，导致蚊虫、细菌的大量孳生，增加传染病发生的概率等。实行垃圾分类，可以改善我们的生活环境，可以减少垃圾对环境的污染，从而有利的保障人们的健康。通过卷积神经网络在快速训练神经网络的同时降低了对硬件的需求，从而可以更好更方便的完成垃圾分类任务

参考文献

[1] . Instrumentation Research; Study Findings from University of Waterloo Provide New Insights into Instrumentation Research （Deep-learning-based Neural Network Training for State Estimation Enhancement： Application To Attitude Estimation）[J]. Network Weekly News，2020.

[2] . Covid-19 classification by FGCNet with deep feature fusion from graph convolutional network and convolutional neural network.[J]. An international journal on information fusion，2020，67.

[3] . Computers; New Computers Study Results from Georgia Institute of Technology Described （Accelerating Deep Neural Network In-situ Training With Non-volatile and Volatile Memory Based Hybrid Precision Synapses）[J]. Computer Weekly News，2020.

[4] 杨斌，李成华，江小平，等.一种用于提升深度学习分类模型准确率的正则化损失函数[J].中南民族大学学报（自然科学版），2020，39（1）：74-78.

[5] 张苗辉，张博，高诚诚.一种多任务的卷积神经网络目标分类算法[J].激光與光电子学进展，2019，56（23）：222-229.

[6] 郑远攀，李广阳，李晔.深度学习在图像识别中的应用研究综述[J].计算机工程与应用，2019，55（12）：20-36.

[7] 杨真真，匡楠，范露，等.基于卷积神经网络的图像分类算法综述[J].信号处理，2018，34（12）：1474-1489.

[8] Yiliu Jiang，Lianghao Ji，Xingcheng Pu，Qun Liu，Marcio Eisencraft. Group Consensus for Discrete-Time Heterogeneous Multiagent Systems with Input and Communication Delays[J]. Complexity，2018.

[9] 张德园，常云翔，张利国，等.SAT-CNN：基于卷积神经网络的遥感图像分类算法[J].小型微型计算机系统，2018，39（4）：859-864.

[10] 刘雨桐，李志清，杨晓玲.改进卷积神经网络在遥感图像分类中的应用[J].计算机应用，2018，38（4）：949-954.

[11] 朱威，屈景怡，吴仁彪.结合批归一化的直通卷积神经网络图像分类算法[J].计算机辅助设计与图形学学报，2017，29（9）：1650-1657.

[12] 周俊宇，赵艳明.卷积神经网络在图像分类和目标检测应用综述[J].计算机工程与应用，2017，53（13）：34-41.

[13] Evgeny A.Smirnov，Denis M.Timoshenko，Serge N.Andrianov. Comparison of Regularization Methods for ImageNet Classification with Deep Convolutional Neural Networks[A]. Information Engineering Research Institute，USA.Proceedings of 2013 2nd AASRI Conference on Computational Intelligence and Bioinformatics（CIB 2013 V6）[C].Information Engineering Research Institute，USA：智能信息技术应用学会，2013.

[14] Kunihiko Fukushima. Neocognitron： A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position[J]. Biological Cybernetics，1980，36（4）：193-202.

[15] 王玉，王梦佳，张伟红.基于CNN和Group Normalization的校园垃圾图像分类[J].吉林大学学报（信息科学版），2020，38（6）：744-750.