基于SAE的深度过程神经网络模式识别与预测

祁威 许少华

摘 要：非线性复杂时变信号模式分类是信号处理和人工智能研究领域的重要课题。将稀疏自动编码器（SAE）与过程神经网络（PNN）栈式叠加，构建了一种深度过程神经网络模型（DPNN）。在传统深度神经网络无监督逐层初始化与梯度下降相结合的算法基础上，通过引入一种时变输入信号和连接权函数，基于一组正交函数基，建立DPNN的综合训练算法。DPNN模型可保持样本特征的多样性，有效提高对信号结构特征的提取能力和不同类别样本特征的区分度。将传统深度神经网络在信息处理机制上扩展为时间域，实现对时变信号直接分类处理，应用于心脑血管疾病的预测分析和处理取得了良好结果。

关键词：稀疏自动编码器；过程神经网络；深度过程神经网络；非线性时变信号；模式识别

DOI：10.11907/rjdk.173282

中图分类号：TP301

Abstract：The classification of nonlinear complex time-varying signals is an important aspect of signal processing and artificial intelligence. Deep process neural network model is constructed by stacking sparse automatic encoders and process neural networks in this paper. We establish the depth process neural network integrated with training algorithm by introducing a time-varying input signal and connection weight function based on a set of orthogonal function base expansion algorithm. Based on the algorithm of unsupervised layer initialization of traditional depth neural network and gradient descent， DPNN model can maintain the diversity of sample characteristics and effectively improve the extraction of signal structure characteristics and different types of sample characteristics of the distinction.At the same time the traditional depth of neural network in the information processing mechanism is expanded into the time domain to achieve direct classification processing of time-varying signals， cardiovascular and cerebrovascular disease prediction， The cardiovascular and cerebrovascular disease prediction was analyzed and processed， and good results are obtained.

Key Words：sparse automatic encoder； process neural network； SAE depth process neural network； nonlinear time-varying signal； pattern recognition

0 引言

心脑血管疾病的发生与人的各项生理指标息息相关，其发病原因复杂多样，给心脑血管疾病的预测带来了困难，许多学者对此进行了研究。刘力生[1]研究表明，高血压是心脑血管疾病的主要诱因之一，血压升高会增加心脑血管疾病发病概率；谢华[2]提出血脂变化对心脑血管疾病发病有一定影响；吴硕琳等[3]研究发现，血糖是影响心脑血管病发病的风险因素之一。心脑血管疾病预测模型也经历了从统计分析模型到机器学习预测模型的发展过程，宋志刚[4]建立了基于LM算法的BP神经网络预测模型，实验表明该模型对疾病的预测有一定效果；鄢华[5]通过对受限波茨曼机和深度置信神经网络的研究，提出了基于跳转马尔科夫链蒙特卡罗算法的模式集算法。

對心脑血管疾病预测时，时变信号常常受随机因素、噪声信号以及一些不确定因素影响，特别是多变量系统多个信号的组合过程特征呈现出高度的复杂性。深度自动编码器[6]具有优异的特征学习能力，训练难度可通过基于无监督学习的逐层初始化算法策略有效克服。但现有的深度神经网络模型中，在机制上无法实现对时变过程信号的直接分析处理。PNN模型[7]对连续时变系统的泛函逼近能力较强，具有连续性和解能力。本文将SAE与PNN结合，以SAE为网络结构深度单元，通过栈式叠加方式建立网络各隐层之间的信息变换和传递关系，构建一种DPNN预测和模式识别模型。

1 过程神经网络

1.1 过程神经网络原理

PNN具有时空二维信息处理能力，其输入和连接权等都可以是时变函数，神经元内增加了一个时间效应[8]的聚合算子，在机制上可同时表达为多种影响因素的共同作用和对时间效应的累积。PNN一般由输入层、过程神经元隐层、非时变神经元隐层和输出层构成。PNN拓扑结构如图1所示。

1.2 过程神经元网络学习算法

本文采用基于函数正交基展开[9]的PNN学习算法。PNN输入与输出关系为：

2 稀疏自动编码器

2.1 稀疏自动编码器原理

深度神经网络具有优异的高层特征[10]学习能力，通过无监督学习的逐层初始化算法克服训练难度，通过训练学习一种深层非线性网络结构实现对复杂函数的逼近。

SAE是深度神经网络模型的一种，SAE要求输出尽可能等于输入，并且它的隐藏层必须满足一定的稀疏性，即隐藏层不能携带太多信息，所以隐藏层对输入进行了压缩，并在输出层中解压缩。为了保证隐藏层的稀疏性，自动编码器的代价方程[11]加入了一个稀疏约束项：

3 基于SAE的深度过程神经网络

3.1 原理

在PNN深度结构构建中，以SAE为网络结构深度单元，通过栈式叠加[15]方式，构成由时变过程信号输入层、过程神经元隐层、稀疏自编码器深度结构单元、分類器输出单元组成的深度过程神经网络模型。

网络模型拓扑结构如图3所示。

3.2 学习算法

为训练DPNN，在学习算法设计中采用将时变输入信号和连接权函数用一组正交函数基表示的方法，降低过程神经元时空聚合运算的复杂性。

对于DPNN的整体学习问题，结合现有PNN训练方法，采用无监督逐层初始化[6]与有教师示教相结合的算法策略，在训练机制上保证对各类样本特征的提取和高层次组合能力，以及深度网络的学习效率。

（3）SAE赋初值训练。

①将PNN模型的各个过程神经元隐层节点的输出作为稀疏自动编码器的输入；

②依据式（8）计算误差E和迭代次数M。如果E<ε或s>M则转步骤（3）。

③依据式（9）和式（10），通过逐层初始化与梯度下降法[16]修正SAE权值与阈值，转步骤（2）。

（4）BP分类器参数赋初值。

（5）采用BP算法进行DPNN全体参数微调。

4 实验仿真及结果分析

4.1 数据集选取

心脑血管疾病的预测既重要又复杂，论文数据来源于Andras Janosi、William Steinbrunn、Matthias Pfisterer等在1998年收集的数据集文件（http：//archive.ics.uci.edu/ml/datasets/Heart+Disease）。

该数据集包括年龄、性别、血糖等计76项指标，每条数据都有严格的数据格式。论文选取预测所需9项指标：年龄、性别、静息血压、血脂、空腹血糖、静息心电图（正常的、有ST-T波异常）、最大心率、胸部疼痛类型（典型的心绞痛、不典型心绞痛、非心绞痛、无症状）、峰值运动ST段的斜率。设置模型的期望输出为5：无风险、低危、中高危、高危和确诊。按3∶1的比例划分训练集和测试集，选取数据集中的8 501条数据作为DPNN模型的训练数据集，另外选取2 834条数据作为模型的测试数据集。

4.2 数据预处理

对于患者一月内的静息心电图，采用OpenCV表示成HOG特征向量[17]形式；胸部疼痛类型分别用00、01、10、11表示。

4.2.1 数据集扩展

由于DPNN模型层数较多，随着学习能力增强，DPNN模型参数的个数也会增加。为避免因小样本问题而产生的过拟合现象，本文利用“加噪”方法[18]扩充数据集，获得大样本数据，提高DPNN模型的泛化能力，增强模型算法的鲁棒性。

4.2.2 数据集数据归一化

原始数据经过数据归一化[19]处理后，数据映射到0-1范围内，消除了指标的量纲影响。数据归一化公式如下：

式（13）中，max为指标数据的最大值，min为指标数据的最小值。

4.2.3 数据集正交函数基表示

将患者一月内的9项指标分别用一组正交Legendre函数基表示，取正交函数基系数作为DPNN模型输入。

4.3 模型建立与仿真

在构建DPNN模型中，过程神经元隐层的节点个数、SAE深度结构的隐层数和节点数以及稀疏参数是重要的模型参数，对应选取9项指标确定模型的输入层节点个数为9，对应5个分类期望输出确定模型的节点个数为5的softmax输出层；输入函数和权函数展开为Legendre基函数，基函数个数为60；神经元的激励函数为非线性映射能力很强的Sigmod函数；最大训练次数为10 000，训练误差为0.001；设置非稀疏惩罚项为0.05以保证DPNN模型的稀疏性。

4.3.1 模型仿真与结果分析

分别设置不同过程神经元隐层的节点个数、SAE深度结构的隐层数和节点数，比较预测率，确定DPNN结构，实验结果如表1所示。

由表1可知，PNN隐层节点数、基函数个数、SAE深度隐层层数、SAE深度隐层节点数增加到一定限度时，模型的预测率不再增加，反而减小。当PNN隐层节点数为20、SAE隐层层数为15、SAE隐层节点数为200、非稀疏惩罚项和稀疏目标为0.05时，模型的预测率最高。DPNN

模型训练误差曲线如图4所示。

DPNN模型经过7 316次训练后，DPNN收敛准确率达97.6%；相同样本下与BP神经网络、PNN和SAE对比[20]，可知DPNN效果较好，对比结果如表2所示。

对表2分析发现，4种预测模型的预测率高低顺序为：BP模型

5 结语

建立以SAE为深度结构单元的新型DPNN模型，提高了时变信号过程特征的提取、表示、高层次综合能力和不同类别样本特征之间的区分度，实现了对时变信号的直接分类处理。建立时变信号基于正交函数基展开，融合无监督算法与有教师示教算法的DPNN综合训练方法，有效改善了因随机赋初值使得训练目标函数易陷入局部极值或产生梯度弥散的问题，提高了网络的泛化能力。改进后的识别模型对模式识别有较好效果。

参考文献：

[1] 刘力生，龚兰生，王文，等.降压治疗对中国脑血管病患者脑卒中再发预防的多中心随机双盲对照临床研究[J].中华心血管病杂志，2005（7）：613-617.

[2] 谢华，徐丹凤，陈艳秋，等.亚麻籽油对高脂诱导肥胖小鼠血糖和胰升血糖素样肽-1分泌影响的研究[J].中国糖尿病杂志，2015，23（4）：356-359.

[3] 吴硕琳，石玉芝，王春雪，等.高龄脑卒中患者糖代谢异常对不良预后的影响[J].中华老年心脑血管病雜志，2014，16（2）：163-166.

[4] 王炳萱.LM优化算法和神经网络预测控制在非线性系统中的研究[D].太原：太原理工大学，2016.

[5] 苏宝星.基于深度学习的医学图像模式分类研究[D].金华：浙江师范大学，2016.

[6] 丰晓霞.基于深度学习的图像识别算法研究[D].太原：太原理工大学，2015.

[7] 许少华，何新贵，刘坤，等.关于连续过程神经元网络的一些理论问题[J].电子学报，2006（10）：1838-1841.

[8] 许少华，何新贵.基于函数正交基展开的过程神经网络学习算法[J].计算机学报，2004（5）：645-650.

[9] 许少华，何新贵，尚福华.基于基函数展开的双隐层过程神经元网络及其应用[J].控制与决策，2004（1）：36-39，48.

[10] 邓俊锋，张晓龙.基于自动编码器组合的深度学习优化方法[J].计算机应用，2016（3）：697-702.

[11] 李卫.深度学习在图像识别中的研究及应用[D].武汉：武汉理工大学，2014.

[12] CHENG LUNG HUANG，JIAN FAN DUN.A distributed PSO-SVM hybrid system with feature selection and parameter optimization[J]. Applied Soft Computing Journal，2007（6）：157-160.

[13] ELEANOR A CURRAN，MARIA J STOKES. Learning to control brain activity： a review of the production and control of EEG components for driving brain-computer interface （BCI） systems[J].Brain and Cognition，2003（3）：1524-1531.

[14] 尹征，唐春晖，张轩雄.基于改进型稀疏自动编码器的图像识别[J].电子科技，2016（1）：124-127.

[15] KARL SJOSTRAND，MICHAEL SASS HANSEN，HENRIK B LARSSON，et al. A path algorithm for the support vector domain description and its application to medical imaging[EB/OL]. http：//www.doc88.com/p-6731225518170.html.

[16] BINGHUANG CAI，XIA JIANG.A novel artificial neural network method for biomedical prediction based on matrix pseudo-inversion[J].Journal of Biomedical Informatics，2013（2）：68-72.

[17] YOUNG SUP HWANG，SUNG YANG BANG.An efficient method to construct a radial basis function neural network classifier[J]. Neural Networks，1997（8）：1154-1165.

[18] A HYVRINEN， E OJA.Independent component analysis： algorithms and applications[J]. Neural Networks，2000（6）：156-162.

[19] MUHAMMAD TAHIR AKHTAR，WATARU MITSUHASHI，CHRISTOPHER J. Employing spatially constrained ICA and wavelet denoising， for automatic removal of artifacts from multichannel EEG data[J]. James，Signal Processing，2011（2）：297-301.

[20] YOUNG SUP HWANG，SUNG YANG BANG.An efficient method to construct a radial basis function neural network classifier[J]. Neural Networks，1997（8）：86-90.

[21] 秦胜君.基于稀疏自动编码器的微博情感分类应用研究[J].广西科技大学学报，2015（3）：36-40.

（责任编辑：杜能钢）