基于优化栈式降噪自动编码器的路面不平度检测∗

2019-10-08 07:13刘庆华
计算机与数字工程 2019年9期
关键词:编码器路面神经网络

刘庆华 马 焕

(1.江苏科技大学计算机科学与技术学院 镇江 212003)(2.江苏科技大学电子信息学院 镇江 212003)

1 引言

随着道路数量的不断增加,路面不平度[1]逐渐成为评价路面特征的重要指标之一,不平整的路面严重影响着道路的使用性能、寿命和驾驶的舒适度[2],故路面不平整时,如果不及时检测,容易造成车辆颠簸和财产损失[3],因此,对道路不平度的有效检测对提高车辆运行质量、延长道路的使用寿命具有重大的经济效益和社会效益。

迄今为止,随着对路面检测精度的不断提高,国内外也提出了多种分类算法。在国外,Jian[4]等提出基于优化离散神经网络的嵌入式路面识别系统,该路面识别系统通过一种优化的离散神经网络对采集到的路面谱数据进行分类和识别;Yok[5]等提出自然环境中道路标志的检测与分类原理,通过神经网络对道路进行检测与分类。在国内,刘庆华[6]等提出基于优化模糊C均值聚类算法的路面不平度识别,通过优化的模糊C均值聚类算法对路面不平度进行识别与分类;张好杰[7]等提出了基于最小二乘法的BP神经网络算法对路面数据进行标定,与真实数据进行比较,实现路面平整度的检测。

针对BP神经网络的性能易受权值和阈值的影响的缺点,本文提出了一种根据深度学习的基于栈式自动编码器[8]对路面不平度进行检测的方法,深度学习可以自动地学习非标签数据的特征,并根据这些提取出来的特征进行分类,自从Hinton等提出深度算法以来,深度学习被广泛应用于图像分类[9]、故障诊断[10]、语音识别[11]等各个领域。本文采用SDAE进行提取数据特征,并引用BP神经网络对降噪自动编码器进行微调,与传统的支持向量机(SVM)和BP神经网络算法相比,基于SDAE的路面不平度检测方法能够取得更好的分类效果。

2 优化栈式降噪自动编码器

2.1 栈式降噪自动编码器

DAE是一种由编码器和解码器组成的非监督式神经网络,其进行预训练过程包括:将输入数据根据编码函数进行编码,编码后的数据通过解码器重现输入数据,最后通过比较输入数据和解码器解码后的数据之间的差异进行修改相关参数。包含一个隐层的自动编码器的基本结构如图1所示[12],其中编码器由输入层和隐层组成,解码器由隐层和输出层组成。

图1 包含一个隐层的自动编码器

首先输入数据经过编码器操作,可得到在隐层的数据特征,即:

其中,x为输入向量,b(1)为输入层的偏置向量,W(1)为编码层的权值矩阵,θ=(W(1),b(1))为网络参数,s(x)为激活函数,通常为sigmoid函数或tanh函数,即:s(x)=1/(1+ex)和s(x)=(ex-e-x)/(ex+e-x)。

然后经过解码器操作,隐藏层的表达z映射回原始输入x,即:

其中W(2)为解码层的权值矩阵,b(2)为偏置向量,θ'=(W(2),b(2))为网络参数。

自动编码器是为了最小化平均重构误差,其中每个数据的重构误差为

本文采用交叉熵代价函数作为误差函数,相比于平方差代价函数,交叉熵代价函数要更优越,其表达式为

其中,x(i)表示自动编码器的第i个样本输入,表示第l层第i个单元与第l+1层第j+1单元之间的连接权重,n表示样本个数,nl表示网络层数,sl表示第l层的神经元数,λ是为了减小权重幅度,防止过度拟合的正则化系数。

通过批量梯度下降算法和误差反向传播算法可得到该模型的最优解W和b[13],将最优解带入公式(4)即可得到最小代价函数,此时隐层的输出可认为是输入的最佳特征表达,为了进一步提高自编码器的特征表达能力,在自编码器的基础上,对输入数据加入噪声,并使自动编码器学习去除噪声,这样即使输入数据受损,自动编码器也能找到更有效的特征,这些有效的特征构成的对输入数据更高级的表示,进而增强了模型的鲁棒性,降噪自动编码器原理如图2所示。

图2 降噪自动编码器原理图

其中x表示原始输入数据,x˜表示经过噪声处理的受损数据,对数据进行加噪处理的方法有两种,即:添加高斯噪声和以二项分布随机处理数据,并将输入数据以一定概率置0,y表示对x˜进行编码后得到新的特征,z表示对y进行解码后的输出。

2.2 BP神经网络

BP神经网络是一种信号前向传播、误差反向传播的多层前馈神经网络[14],利用BP神经网络对降噪自动编码器学习到的特征进行监督分类,并根据误差反向传播的方法对降噪自动编码器进行微调。但传统的BP神经网络权值和阈值一般是随机初始化为某个区间的随机数,因此无法准确获得,所以本文提出一种利用遗传算法[15]优化BP神经网络初始权值和阈值的方法,用遗传算法优化BP网络对降噪自动编码器进行微调的过程如下:

1)在信号正向传播过程中

(1)对每个个体进行实数编码,根据个体编码得到BP网络的初始权值和阈值,并把经过训练样本训练BP网络后的预测输出和期望输出的误差绝对值和作为个体适应度值,即:

式中,n表示网络输出节点数,yi和oi分别表示BP网络第i个节点的期望输出和预测输出,M为系数。

(2)基于适应度比例进行轮盘赌选择方法,即:

式中,pi表示每个节点的选择概率,Fi表示节点i的适应度值,Q为系数,N表示种群数目。

(3)对第s个染色体as和第l个染色体al在j位进行交叉操作,即:

式中,b为随机数,取值范围为(0,1)。

(4)选取第i个个体的第j个基因aij进行变异。

2)误差反向传播过程中

(1)计算输出层的每个输出单元i的校正误差,即:

式中,ai表示第i个单元实际输出值,yi表示期望输出值。

(2)计算隐层各单元的校正误差,即:

式中,l表示第l层网络,Sl+1表示第l+1层网络神经元的总数,ai

l表示第l层第i个单元的输出值。

(3)对降噪自动编码器各层参数进行微调,即:

式中,α为调整系数。

2.3 优化栈式降噪自动编码器

SDAE是一个由多层降噪自动编码器及一层有监督的BP网络组成的网络结构。在训练时,为了获得输入数据更深层次的特征表示,将前一层网络的输出作为后一层网络的输入,并进行逐层贪婪训练。首先,将经过加噪处理后的输入数据输入第一层降噪自动编码器并进行无监督训练,得到输入数据的一阶特征表示,在之后的每一步中,把训练好的前n-1层特征表示作为第n层的输入进行训练,从而得到n阶特征表示,然后,使用BP神经网络利用有标签数据进行有监督学习,在得到最后一层关联特征与类别参数的同时,通过误差反向传播对整个网络进行微调,算法步骤总结如下:

1)采用大量无标签数据作为输入,训练第一层降噪自动编码器,并得到输入数据的一阶特征表示。

2)把第一层的输出作为第二层网络的输入,训练第二层降噪自动编码器,并得到第二层的二阶特征表示。

3)类比步骤2),可得到第三层的三阶特征表示。

4)将步骤1)-3)的输出数据作为分类模板数据。

5)利用有标签数据对BP网络进行有监督学习,得到最后一层关联特征与类别的参数,并通过误差反向传播对整个网络进行微调,使用SDAE进行检测分类的完整过程如图3所示。

图3 使用优化SDAE进行检测分类的完整过程图

3 路面平整度检测试验

3.1 MNIST试验数据集

为了测试本文优化SDAE对特征提取及分类的准确度,用MNIST数据集作为测试样本集来验证本文提出的算法的有效性,MNIST数据集是一种基本的手写数字识别数据库,被广泛应用于深度学习架构,MNIST数据集分成两部分:60000行的训练数据集和10000行的测试数据集。在MNIST数据样本上,对优化前后的SDAE进行了对比试验,试验结果如表1所示。

为了更好地对试验结果进行分析,本文引入了检测率、误报率和平均检测时间这3个概念,检测率表示试验数据集被正确分类的数据对象占数据集中所有对象的比例,误报率表示试验数据集被错误分类的数据对象占数据集中所有对象的比例,平均检测时间表示检测数据集中所有对象所用平均时间。

表1 优化前后的SDAE在MNIST数据集上的测试结果

3.2 采集的道路谱数据

以某B级路面,车速50km/h为例,将本课题自主研发的道路谱采集系统采集的三轴加速度和角加速度数据,通过ADAMS的车辆仿真得到的车身质心垂直加速度功率谱密度如图4所示,俯仰角加速度功率谱密度如图5所示。

图4 汽车质心垂直加速度功率谱曲线

图5 汽车质心俯仰角加速度功率谱曲线

本文选取车身质心垂直加速度功率谱密度和俯仰角加速度功率谱密度的共5000组数据,其中3000组数据作为训练样本数据,2000组数据作为测试数据,经过该训练样本训练的优化前后的SDAE比较如表2所示。

表2 优化前后的SDAE算法试验结果比较

3.3 结果分析

为了验证SDAE根据提取的特征进行分类的性能,用MNIST数据集对优化前后的SDAE进行了对比试验,证实了SDAE的有效性,由表1可见,本文算法比传统的BP神经网络算法更优越,BP神经网络的初始权值是随机分配的,本文算法的初始权值是通过逐层贪婪训练得到的,而不是随机初始化,将本文算法与优化前的SDAE相比,本文算法在微调过程中,用遗传算法优化BP网络权值,最终使网络收敛到理想值。

此外,在本文选取的测试样本数据中,结果只有86组与期望值不一样,其余1914组与期望值输出结果相同,证明本文算法的检测率高达95.7%,由表2可见,BP神经网络算法的检测率只有91.5%,SDAE的检测率为93.6%。在误报率上,三种算法的差距也相当明显。

4 结语

提出了优化的SDAE算法检测路面平整度,通过降噪自动编码器完成预训练,并初始化样本权重,再通过基于遗传算法的BP神经网络算法对整个网络进行微调,然后在MNIST数据集上验证算法的有效性,最后根据ADAMS车辆仿真模型,得到车身质心垂直加速度功率谱密度和俯仰角加速度功率谱密度曲线,并进行性能验证,试验结果表明,改进后的算法具有更强的优化能力,提高了检测率,并能更有效地进行路面平整度的检测。

猜你喜欢
编码器路面神经网络
融合CNN和Transformer编码器的变声语音鉴别与还原
基于递归模糊神经网络的风电平滑控制策略
设定多圈绝对值编码器当前圈数的方法
转炉系统常用编码器选型及调试
舞台机械技术与设备系列谈(二)
——编码器
神经网络抑制无线通信干扰探究
基于神经网络的中小学生情感分析
基于Q-Learning算法和神经网络的飞艇控制
安装在路面的交通信号灯
大决心