结合像素相关性稀疏自编码模型的图像分类

魏英姿,闫广志,赵方昕,赵祉淇

(沈阳理工大学 信息科学与工程学院,沈阳 110159)

结合像素相关性稀疏自编码模型的图像分类

魏英姿,闫广志,赵方昕,赵祉淇

(沈阳理工大学 信息科学与工程学院,沈阳 110159)

为满足图像分类的需要,提出一种基于稀疏自编码神经网络分类方法。在稀疏自编码网络中将一个常量引入到损失函数,将损失函数最小化,对非零单元进行过惩罚,来获得稀疏性的指标。在图像自编码过程中引入游程编码的思想,以优化稀疏自编码的冗余性,并加强图像中基层特征之间的关联性,提高图像特征提取时的运行效率。实验结果表明,训练好的网络可以更有效地对图像进行特征抽象和特征降维,逐层挖掘其深层特征,使网络达到较高的识别准确率。

图像分类;稀疏自编码;特征降维;游程编码

随着深度学习的兴起,稀疏自编码网络也越来越受到重视,其在图像上的运用也越来越频繁。由于互联网图片的迅速增长,大量无标签和标签不确定的图片分类问题急需解决。郑春厚[1]利用双梯度算法对自然图像的基向量进行迭代学习,消除图像中的高斯噪声并对图像进行分类。李帅等[2]提出了一种基于小波变换和深层稀疏编码的SAR图像,对多目标SAR图像进行分类。黄劲等[3]将稀疏编码结合到图像检索的多个模块中,提高检索的效果。但这些方法都没有考虑图像特征基之间存在的相关性。在网络运行速度和分类的准确率上还有待提高。游程编码是图像数据压缩的一种有效无损压缩方法,利用图像空间中的相关性,去除编码空间的冗余信息。本文基于稀疏自编码模型的知识，结合游程编码思想,对手写数据集图片进行分类,期待得出较高的计算效率。

1 稀疏自编码网络

稀疏自编码在描述图像的特征时,有很多的神经元并没有被激活。若选择的编码方法为Sigmoid型,其输出中为1的神经元是被激活的,而为0的神经元是未被激活的。通常它提取的特征向量维度比其他方法提取特征向量维度更高,也就是这种方法是过完备的。稀疏自编码的方法能够通过高维转换,令原来的图像中数据线性不可分的图像特征,变得线性可分。稀疏表达能从数据的深层特征里提取输入的简单重构[4]。图1为稀疏自编码原理图。

图1 稀疏自编码原理图

稀疏自编码是通过最小化损失函数,来获得输入的最佳表示方法。通常,稀疏自编码网络将一个常量放到损失函数中来获得稀疏性的指标。它可以寻找到最小化损失函数并对非零的编码单元过多而进行惩罚,这样就可以将被激活编码基的数量收敛到最少。加入稀疏性度量的公式为

(1)

(2)

2 游程编码的思想

图像的像素间存在相关性,像素内部距离越近的像素,其相关性越强。为提高稀疏自编码模型运行速度,运用游程编码的知识,在图像自编码过程中引入游程编码结合数据的排序方式。游程编码(Run Length Encoding,RLE)可以有效去除图像像素间冗余的部分,游程编码只保存一个像素值,并将相同颜色像素数目进行存储,特别是一些相同灰度级连续出现时,作用更加有效。RLE压缩编码特别适用于计算机的图像,它对减少存储容量效果相当明显。它的压缩率取决于它的图像[5]。当图像中相同颜色横向的色块越大时,压缩图像的块数就越多,压缩的比例越大。例如当矩阵的数据为 [ 11 11 11 11 11 22 22 22 22 22 22 22 33 33 33 33 33 33 33 33 44 44 44],这个数组长度为23个数字,用游程编码 [ 5 11 7 22 8 33 3 44 ]表示,可以压缩成为8个数字。因此在图像中相互临近的像素灰度越近,压缩的效果也会越好。图2为二维游程编码数据锯齿排序方式。

图2 二维游程编码数据锯齿排序方式

3 实验结果及分析

实验仿真环境:Win 7系统,CPU:i3-350M,2G内存,Matlab 2010b。图3为Matlab操作界面。

图3 Matlab操作界面

3.1 SAE网络仿真实验

在CASIA手写数据集上,选取6万张图片作为训练样本,1万张图片作为测试样本,来对SAE网络进行实验测试。SAE对图像提取特征,是对图像进行降维的过程。编码的维度应与自编码层上的神经元个数一致,所以使用SAE网络前,需要调节好各个自编码层神经元的数量。在本实验中,每一层所给的神经元数量由表1、表2给出。编码层在进行降维时,应尽可能保留输入图像里的重要信息。稀疏网络进行训练时,网络连接参数可能还不能达到最优,需要用监督训练和无监督网络对其参数进行调整。在实验中对稀疏自编码网络进行无监督训练,将得到的编码矩阵传递给编码层的网络NN以及Softmax分类模块,并用监督训练的方法来对整体参数进行微调[6]。这样的稀疏自编码网络更容易找到全局最优解,从而能够让网络更好地对图像提取特征。图4为无监督训练的编码矩阵,图5为有监督训练前的网络参数矩阵,图6为有监督训练后的网络参数矩阵。

稀疏自编码的层数对图像的特征提取有很深的影响,神经元个数不同或自编码层数不同,将影响图像特征降维的程度。表1、表2是对其进行研究的结果并探讨网络对特征提取时选取的参数。

图4 无监督训练的编码矩阵

图5 有监督训练前的网络参数矩阵

图6 有监督训练后的网络参数矩阵

表1 采用不同自编码层数的实验结果

表2 自编码层采用不同神经元数量的实验结果

通过观察表1、表2的“测试正确率”可以看出,自编码层的数量、每个自编码层的神经元数量,对SAE深度学习网络图像特征识别效果的影响。在其中一个因素不变时,另一个因素过大或者过小,都会导致深度网络图像特征识别能力的下降。只有选择比较居中的参数时,深度网络的图像特征识别能力才会达到好的效果。

3.2 SAE网络结合游程编码仿真实验

从101图片集,选用3000张路边的指示路标图片对结合游程编码后的SAE网络进行训练,并用500张图片进行测试。表3为对比进行游程编码压缩前后,对于网络提取特征以及分类所用的时间。

表3 结合空间相关性编码的深度神经网络运行时间的对比 s

从表3可以看出,加入游程编码后的程序,网络提取特征的速度得到了提升。图7为从3000张路边的指示路标图片抽取的16张原图。图8为加入游程编码后的稀疏自编码网络的第一、二、三层自编码神经元对指示路标提取特征后的特征基。

图7 指示路标图片分类原图

图8 在第一、二、三层自编码层提取出的图像特征

4 结论

为了提高对图像的分类能力,提出了结合像素相关性的稀疏自编码模型。利用游程编码思想,读取图像像素序列,在读取像素时采用锯齿序列的方法,增加图像特征基的前后关联性。通过在编码解码的过程中调整损失函数,使已被激活编码基的数量收敛到尽可能小,达到高稀疏性,从而提高网络对图像特征高效的提取能力。设计深度神经网络模型,调整网络的拓扑结构,采用不同的测试数据,找到合理的网络模型结构。对手写数据集以及101图片集的大量图片进行了实验,得到网络最佳运行效率时的编码层参数。实验结果表明稀疏自编码结合游程编码思想的网络,可有效提高运算的速度,得到较高的分类正确率。

[1]郑春厚.基于稀疏编码的自然图像特征提取及去噪的应用[J].系统仿真学报,2005,17(7):1782-1784.

[2]李帅,马时平.基于小波变换和深层稀疏编码的SAR目标识别[J].电视技术,2014,38(13):31-35.

[3]黄劲,孙洋,徐浩然.稀疏编码在图像检索中的应用[J].数字技术设计与应用,2013(11):76-77.

[4]龚健雅.整体GIS的数据组织与处理方法[M].武汉:武汉测绘科技大学出版社,1993:24-26.

[5]梁军,柴玉梅,原慧斌,等.基于深度学习的微博情感分析[J].中文信息学报,2014,5(5):155-161.

[6]杨谦,齐翔林,汪云九.稀疏编码策略[J].计算物理,2001,18(2):143-146.

(责任编辑：马金发)

ImageClassificationResearchBasedonSparseCodingNetwork

WEI Yingzi,YAN Guangzhi,ZHAO Fangxin,ZHAO Zhiqi

(Shenyang Ligong University,shenyang 110159,China)

In order to satisfy the need of image classification,a kind of classification method is proposed based on the sparse coding neural network.The sparse coding network could apply a constant to the function of loss,to minimize this function,and carry out the punishment to the non-zero element to get the index of sparsity.Introducing the idea of run-length coding in the image coding process,which optimizes the redundancy of sparse coding,strengthens the correlation of basic image characteristics,and improves the efficiency of image feature extraction.Experimental results reveal that well-trained network can be more effective forimage feature abstraction and feature dimension reduction,mining the deeper characteristics of the network step by step,so that it can achieve higher accuracy of recognition.Keywordsimage classification;sparse coding;feature dimension reduction;run-length encoding

2016-09-18

魏英姿(1973—)，女，教授，博士，研究方向：模式识别、机器人学等。

1003-1251(2017)04-0014-05

TP391

A