模拟电路故障特征降维方法*

廖　剑， 周绍磊， 史贤俊， 王　朕

（1.中国人民解放军第91550部队 大连，116000）（2.海军航空工程学院控制工程系 烟台，264001）



模拟电路故障特征降维方法*

廖剑1，2， 周绍磊2， 史贤俊2， 王朕2

（1.中国人民解放军第91550部队 大连，116000）（2.海军航空工程学院控制工程系 烟台，264001）

为有效进行模拟电路故障特征的降维处理，在线性判别分析（LDA）中通过引入局部化思想提出一种局部线性判别分析（LLDA）降维方法。首先构造单个数据的局部数据块，计算其类内、类间散度矩阵，通过缩放因子平衡局部邻域类内紧性和类间散性之差建立单个数据的局部优化准则；然后在整个数据空间中采用对齐算法重构最终目标函数，最后使用标准特征值分解方法求得投影矩阵完成数据降维。算法充分利用数据的局部判别信息使其能够处理数据的非线性并保持数据的类区分度，而且克服了LDA中的小样本问题。算法在标准数据集和模拟电路故障特征提取中进行实验均取得了较好的效果。

降维；模拟电路；特征提取；线性判别分析；局部线性判别分析

引 言

故障特征提取是模拟电路故障诊断的关键技术之一，如何有效地进行故障特征提取将会对故障诊断结果产生重要的影响［1-3］。目前，基于信号处理的故障特征提取方法是当前研究的重点［3］。该方法通常是对电路响应节点电压信号进行连续采集，然后直接或利用各种信号处理方法（如傅里叶变换［4］、小波变换等［5］）获取电路状态的动态特征信息进行故障诊断，但往往获得的诊断特征数据都是高维的，如果直接将其作为输入设计故障分类器不但会增加计算的复杂性，通常得到的诊断结果也不是最优的。因此，在利用获得的特征数据进行故障诊断之前，通常需要对其进行降维处理。

降维方法可分为线性降维和非线性降维。典型的线性降维方法有主元分析（principal component analysis，简称PCA）［6］和线性判别分析（linear discriminant analysis，简称LDA）［7］。PCA不借助类别信息，通过最大化原始高维分布数据和投影后低维数据的互信息来完成数据的降维表示。LDA则利用类别信息通过最大化数据类间散度与类内散度的迹之比获得最优投影方向进行降维。然而PCA和LDA都保持数据在高维空间中的全局结构，使得它们的非线性降维效果不佳［8］。大部分模拟电路都是非线性的，即便是线性模拟电路发生故障时，其信号特征往往也是非线性的，因此利用线性降维方法对电路响应信号进行处理是不合适的［9］。近年来，以局部线性嵌入（locally linear embedding，简称LLE）［10］、等距特征映射（isometric feature mapping，简称ISOMAP）［11］、拉普拉斯特征映射（laplacian eigenmaps，简称LE）［12］和局部切空间排列算法（local tangent space alignment，简称LTSA）［13］为代表的非线性降维方法成为研究的热门。虽然它们在处理特定的人工数据时表现出良好的性能，但在处理实际数据时并没有明显的优势［14］。此外，一些基于流形学习的非线性降维方法不能产生从高维空间到低维空间的映射函数，因而无法处理新出现的样本，使得此类方法在诸如模式识别、故障诊断等分类任务的应用中受到限制［15］。研究表明，数据间的局部流形结构可能更有助于模式分类。为此，一些研究聚集在如何将局部化思想引入到降维方法中，例如近年提出的局部保持投影（locality preserving projections，简称LPP）［16］、局部Fisher判别分析（local fisher discriminant analysis，简称LFDA）［17］、边界Fisher分析（marginal fisher analysis，简称MFA）［18］和局部判别投影（local discriminant projection，简称LDP）［14］都是局部化思想的应用。但LPP是一种无监督方法，将其用于分类显然不是最优的。LFDA和MFA都在同类近邻样本间的权值定义中引入了局部信息，而对异类样本近邻关系的权值定义则予以忽略或简单的设定为1，都将对降维结果产生不利影响。LDP在LFDA和MFA的基础上同时考虑了同类样本和异类样本间的近邻关系，但其解的求取无法克服小样本的奇异值问题。

笔者从分析LDA及LFDA中的不足入手，然后在其基础上通过强调单个数据的局部关系，提出一种局部线性判别分析（local linear discriminant analysis，简称LLDA）降维方法。采用与LFDA不同的局部化方法并使用类内与类间散度矩阵之差作为目标优化函数，有效地克服了LFDA方法的不足和LDA中存在的小样本问题，在标准数据集和模拟电路故障特征提取试验中均取得了较好的效果。

1 LDA，LFDA及其不足

设由N个样本组成的数据集记为X=［x1，…，xN］∈Rm×N，xi（1≤i≤N）∈Rm，m为每个样本的维数。数据降维就是按照某种优化准则求得一个投影矩阵W∈Rm×d，将样本集投影到低维空间得到Y= WTX=［y1，…，yN］∈Rd×N，yi（1≤i≤N）∈Rd为样本xi在低维空间中的投影。

经典线性判别分析降维方法LDA的基本思想是最小化类内散度和最大化类间散度，并以类间散度矩阵的迹和类内散度矩阵的迹之比为优化目标［］：

其中：SW和SB分别称为类内和类间散度矩阵；W则是需求解的最优投影向量集；C为数据集的类别总数；Ni为第i类样本总数；xji为第i类的第j个样本为第i类样本的平均值；为所有样本的平均值。LDA的目标函数可以转化为广义特征值问题的求解［8］，即

求解LDA的最优投影向量实际上就是获得矩阵SBS-1W的主导向量，但对于小样本情况下，类内散度矩阵SW通常是不可逆的。

为后面便于与LFDA比较，把LDA的SW和SB改写成下面的等价形式［17］：

从式（3）中不难看出，权值pij和体现了判别信息，即权值与xi和xj是否同类有关，然而pij和中没有体现局部信息，即权值与xi和xj是否相邻无关［14］。

文献［17］提出一种LFDA方法，其在LDA权值的定义中融入了局部信息，目标函数与LDA优化目标一致，LFDA中权值定义为其中：Aij表示xi和xj之间的一种相似性度量，通常Aij可取为热核［12］，可见LFDA体现了局部信息。

但LFDA不考虑异类样本之间的近邻关系，只要两个样本异类，两者之间的权值就是1/N，这样会带来两个缺点：一是对野值敏感，二是不考虑异类样本之间的近邻关系，会导致相距较远的异类样本在目标函数中占据较大比重，以致在处理某些多模问题时出现错误［14］。

2 LLDA

为解决LDA与LFDA方法中存在的问题，文中提出一种结合局部化信息的LLDA方法。LLDA通过对单个样本建立近邻类内散度矩阵和类间散度矩阵，构造局部优化准则，然后采用对齐算法［13］在整个数据空间中重构目标函数，最后使用特征值分解方法求得投影矩阵完成数据降维。除引入局部信息外，LLDA在构造局部优化目标函数时与LDA算法的不同之处还在于，LDA方法是最大化类间散度矩阵和类内散度矩阵之比，而LLDA方法则是通过最小化引入了缩放因子的类内散度和类间散度矩阵之差，避免了类内散度矩阵求逆造成的LDA中存在的小样本问题。其具体步骤如下：

如第1节定义，设数据集X中任一样本xi，选择其k1个同类近邻组成同类近邻数据集同理选择其k2个异类近邻组成异类近邻数据集：［xi1，…，xik2］。这样把样本xi及由k1个同类近邻和k2个异类近邻组成的数据集称为xi的局部数据块。对高维空间中的每一个xi都可以形成如上定义的局部数据块。对每一个局部数据块相应的低维空间表示为根据LDA思想，期望数据投影在低维空间中同类样本之间尽可能紧凑，而异类样本之间尽可能分散。因此，对每一个局部数据块，期望数据在投影之后近邻同类样本之间尽可能紧凑，于是有

同时，也期望数据在投影之后近邻异类样本之间尽可能分散，于是有

数据块都是局部近邻构成的，可以认为是近似线性的，于是采用线性化的处理手段将双目标问题转化为如下单目标问题：

其中：η∈［0，1］是一个缩放因子，用来在每个局部邻域中的类内紧性和类间散性之间寻求一个满意的平衡。

设定义相关系数向量：

ωi中1的个数为k1，-η的个数为k2，于是式（7）可进一步化简为

Fi=［i，i1，…，ik1，i1，…，ik2］为局部数据块Xi中数据点的索引向量为（k1+k2）×（k1+k2）的单位矩阵。

根据文献［13］中的对齐算法，有

其中：Si∈N×K为选择矩阵，K=k1+k2+1，相应的元素定义为

于是式（9）可重写为

通过把每个局部数据块相加，得到整体数据优化目标函数为

最终式（14）的求解可转化为标准特征值的求解问题，避免了LDA和LFDA中广义特征值求解可能带来的奇异值问题。

根据以上推导，可以得到使用LLDA进行数据降维的基本过程如下：

巷道围岩不同测点位置位移随加载次数的变化如图4所示。从图中可看出，边界应力加载过程中巷道围岩应力变化主要表现为两个阶段：(1)外力加载至0.8MPa时，测点2、3、6、7处围岩开始发生变形破坏，且测点2、7处位移量明显较大，表明巷道拱部左侧与底板右侧首先发生变形破坏，且巷道变形量最大的位置达到30mm以上；(2)外力加载至1.6MPa时，其他测点也开始发生变形，且每个测点的变形量持续增加，未出现稳定期，表明超千米深井围岩发生持续变形破坏，且破坏范围较大。

（1）对数据集X中的每一个数据样本xi，选择合适的k1个近邻同类样本和k2个近邻异类样本构造样本xi的局部数据块X Xi；

（2）通过式（10）计算Li，然后根据式（15）迭代产生对齐矩阵L；

（3）求解标准特征值问题XLXTw=λw得到LLDA投影矩阵为W=［w1，…，wd］，于是有：

3 仿真试验与分析

为了验证LLDA算法的性能，在几个标准数据集上系统地比较了LLDA算法与PCA［6］，LDA［7］，LFDA［17］，LDP［14］等算法。LFDA采用文献［17］提供的代码，参数设置使用默认值。LDP中选择近邻个数k=8。LLDA中同类近邻个数k1取6，异类近邻个数k2取10。为使试验具有代表性，在同样的软硬件平台下进行试验。

3.1数据集描述

试验中的数据集包括来自UCI数据库［17］的3个数据集（分别为Ionosphere，Sonar和MF），Benchmark数据库的6个数据集［14］（分别为Breastcancer，German，Heart，Image，Thyroid和Waveform）以及一个基因数据集（Gene）［19］，共10个数据集。其中Benchmark数据库中有多个数据集数据呈现多模分布，在表1中用“*”进行了标记。所有的数据集被随机分成3部分：训练集、验证集和测试集，每个数据集各部分样本数见表1所示。训练集用于学习相应的低维子空间投影矩阵，验证集用于选择算法中的最优降维子空间d，测试集用于验证最终的识别精度。表1给出了各数据集的基本信息。

表1　各数据集的基本信息Tab.1 Basic information of dataset

试验对每个数据集按照表1中的训练集、验证集和测试集重复进行10次，产生10组不同的训练集、验证集和测试集以获得更好的试验结果，并以10组的平均识别率作为最终的测试结果。在验证和测试阶段使用最近邻分类器进行分类。

图1（a）～（c）分别给出了Ionosphere、Breastcancer和Gene数据集在验证集上的平均识别率随子空间维数d的变化曲线图。表2给出了所有数据集在测试集上的最终识别率，同时表中括号内还给出了相应识别率时的最优子空间维数。从表2中看出，LLDA算法在大部分数据集上都取得了最优的结果，在2类多模数据集中也有1类达到最优，表明了文中算法的优势。但同时应该注意到，LDP算法和LLDA算法在大部分数据集上的识别率并没有很明显的差别。特别对于Gene数据集，图1（c）和表2中并没有列出LDA、LFDA及LDP算法的试验结果数据，这是因为上述3种算法都存在小样本的奇异值问题，导致其投影矩阵无法求解。因此表和图中相应无值，但文中算法不存在这个问题，并取得了100％的识别率。可见文中算法从整体上要优于对比的其他几种算法。

图1　平均识别率随子空间维数的变化曲线图Fig.1 Diagram of average recognition rate vs. subspace dimension

表2　各种降维算法在数据集上的识别率Tab.2 Recognition rate of dimension reduction algorithm on different datasets

4 应用实例

将文中算法用于模拟电路故障诊断的特征提取数据降维中，进一步验证算法的实际使用效果。

4.1模拟电路及其故障模式

文中以两级四运放低通滤波器电路［3，20］为例进行试验分析。两级四运放低通滤波器的电路结构及元件标称值详见参考文献［20］。其中设定电路中电容容差为±10％，电阻容差为±5％。输入节点为Vin，设定输入激励信号是幅值为5 V、宽度为10μs的窄脉冲。故障模式设置与文献［3，20］完全一致，15种软故障如表3所示。

表3　电路中软故障模式Tab.3 Soft fault mode in circuit

4.2特征提取

给两级四运放低通滤波器电路施加幅值为5 V、宽度为10μs的窄脉冲，用Pspice仿真采样电路Vout节点电压值，采样率为5×105samples/s，采样时间为1 ms，每种故障模式及正常模式各进行50次Monte-Carlo分析，共采样800组数据。然后根据文献［3］的计算方法，对所有采样数据进行最优分数阶傅里叶变换（fractional Fourier transform，简称FRFT）得到相应16种故障模式（包括正常状态）的800组501维特征向量。文中只是利用文献［3］取得的故障特征数据用于降维对比，并不讨论模拟电路最优故障特征的提取问题，所以详细的故障特征提取步骤和故障特征样本集获取请参见文［3］。

4.3数据降维及结果分析

文中以Normal（正常）状态和R19故障状态为例，说明文中算法相对于文献［3］中采用PCA进行数据降维的优势。利用文献［3］中的方法采用遗传算法获得电路原始响应数据集的最优分数阶p是0.093 57，对两种电路状态的响应数据集进行FRFT以获得最佳分离状态的原始特征数据集，然后采用不同的降维方法对数据进行降维。图2是两原始特征数据集经过PCA降维和归一化处理后投影到低维特征空间的分布图；图3是两原始特征数据集经过LLDA降维和归一化处理后投影到低维特征空间的分布图。对比二图可知，特征数据经过PCA降维在子空间中的分散度大、交叉严重、不利于故障分类，而采用LLDA降维投影到低维子空间后，特征数据集明显聚集，可分性得到较大的增强。同时，采用基于类内类间距离的可分离性准则判定降维后数据集的可分离性，可得到经过PCA降维的数据集的Jd（x）为0.339，而经过LLDA降维方法处理的数据集的Jd（x）为0.528，明显高于PCA降维方法。可见文中算法能获得更有利于故障区分的低维信号特征，降维后的数据质量更高。

图2　最优FRFT-PCA降维Fig.2 Dimension of optimized FRFT-PCA

图3　最优FRFT-LLDA降维Fig.3 Dimension of optimized FRFT-LLDA

为进一步验证采用文中降维方法获得的故障特征更有利于故障分类，对两级四运放低通滤波器电路实施基于BP神经网络的故障诊断试验，其过程设计为：

（1）原始最优FRFT特征分别经过PCA降维和LLDA降维处理后作为故障诊断用数据集，试验过程中分别设定训练集个数为16×20=360，测试集个数为16×30=480。

（2）采用3层BP神经网络进行分类诊断，参考文献［3］，两次诊断的神经网络采用相同的结构，网络结构经反复调整，采用2×5×16的层次结构，传递函数和训练函数都采用“logsig”，得到两种特征提取降维方法的故障诊断结果如表4所示。

表4　故障诊断结果Tab.4 Diagnosis results

从表4可知，文中采用基于LLDA的故障特征降维方法取得了比基于PCA降维方法更高的故障诊断率，在模拟电路故障诊断特征提取的非线性数据降维中确实有效并且取得了比PCA线性降维方法更好的效果。

5 结束语

针对模拟电路故障诊断特征提取的非线性数据降维问题，文中提出一种局部化LDA算法，得到的降维后特征数据能更有利于模拟电路的故障分类，取得更高的故障诊断率。在分析了现有数据降维方法不足的基础上，通过在LDA中融入局部化思想提出一种LLDA非线性降维方法，算法通过在局部领域内构建局部数据块的类内散度矩阵和类间散度矩阵之差，然后在整个数据空间中采用对齐算法重构目标函数，使用标准特征值分解方法求得投影矩阵完成数据降维，避免了现有大部分算法中存在的小样本问题。通过使用几个标准数据集进行试验验证，与现有算法相比，LLDA算法能更好地提取数据集中所蕴含的非线性特性，且对多模数据同样有效。最后将LLDA算法用于模拟电路故障特征提取的数据降维过程中，验证了经过LLDA算法处理后的故障特征能有效提高故障诊断率，证明了文中方法在数据降维方面的优势。

［1］ Tan Yanghong，He Yigang，Cui Chun，et al.A novel method for analog fault diagnosis based on neural networks and genetic algorithms［J］.IEEE Transactions on Instrumentation and Measurement，2008，57（11）：2631-2639.

［2］ Mohammadik K，Seyyed Mahdayi S J.On improving training time of neural networks in mixed signal circuit fault diagnosis applications［J］.Microelectronics Reliability，2008，48：781-793.

［3］ 罗慧，王友仁，崔江.基于最优分数阶傅立叶变换的模拟电路故障特征提取新方法［J］.仪器仪表学报，2009，30（5）：997-1001. Luo Hui，Wang Youren，Cui Jiang.New approach to extract analog circuit fault features based on optimal fractional Fourier transform［J］.Chinese Journal of Scientific Instrument，2009，30（5）：997-1001.（in Chinese）

［4］ Guo Huihe，Zheng Meixie，Rong Chen.Automatic classification of form features based on neural networks and Fourier transform［C］//Proceeding of Inter-national Conference on Machine Learning and Cybernetics.Kunming：Kunming University Press，2008：1162-1166.

［5］ Chen Taowei，Jin Weidong，Chen Zhenxing，Feature extraction using wavelet transform for radar emitter Signal［C］//Proceeding of International Conference on Communications and Mobile Computing.Kunming：Yunnan University Press，2009：414-418.

［6］ 刘永斌，何清波，孔凡让，等.基于PCA和SVM的内燃机故障诊断［J］.振动、测试与诊断，2012，32（2）：250-256. Liu Yongbin，He Qingbo，Kong Fanrang，et al.Fault diagnosis of internal combustion engine using PCA and SVM［J］.Journal of Vibration，Measurement&Diagnosis，2012，32（2）：250-256.（in Chinese）

［7］ 肖迎群，冯良贵，何怡刚.基于小波分析和核判别分析的模拟电路故障诊断［J］.电工技术学报，2012，27（8）：230-238. Xiao Yingqun，Feng Lianggui，He Yigang.A fault diagnosis approach of analog circuit using wavelet-based fractal analysis and kernel LDA［J］.Transactions of China Electrotechnical Society，2012，27（8）：230-238.（in Chinese）

［8］ Zhang Tianhao，Tao Dacheng，Li Xuelong，et al. Patch alignment for dimensionality reduction［J］. IEEE Transactions on Knowledge and Data Engineering，2009，21（9）：1299-1313.

［9］ 韩海涛，马红光，曹建福，等.基于非线性频谱特征及核主元分析的模拟电路故障诊断方法［J］.电工技术学报，2012，27（8）：249-254. Han Haitao，Ma Hongguang，Cao Jianfu，et al.Fault diagnosis method of analog circuits based on characteristics of the nonlinear frequency spectrum and KPCA［J］.Transactions of China Electrotechnical Society，2012，27（8）：249-254.（in Chinese）

［10］Roweis S T，Saul L K.Nonlinear dimensionality reduction by locally linear embedding［J］.Science，2000，290：2323-2326.

［11］Tenenbaum J，Silva V，Langford J.A global geometric framework for nonlinear dimensionality reduction［J］.Science，2000，290：2319-2323.

［12］Belkin M，Niyogi P.Laplacian eigenmaps and spectral techniques for embedding and clustering［J］.Advances in Neural Information Processing System，2002，14：585-591.

［13］Zhang Zhenyue，Zha Hongyuan.Principal manifolds and nonlinear dimension reduction via local tangent space alignment［J］.SIAM Journal Scientific Computing，2005，26（1）：313-338.

［14］谢钧，刘剑.一种新的局部判别投影方法［J］.计算机学报，2011，34（11）：2243-2250. Xie Jun，Liu Jian.A new local discriminant projection method［J］.Chinese Journal of Computers，2011，34（11）：2243-2250.（in Chinese）

［15］程起才，王洪元，吴小俊，等.一种基于ISOMAP的分类算法［J］.控制与决策，2011，26（6）：826-831. Cheng Qicai，Wang Hongyuan，Wu Xiaojun，et al. An algorithm for classification based on ISOMAP［J］. Control and Decision，2011，26（6）：826-831.（in Chinese）

［16］He X，Niyogi P.Locality preserving projections［C］// Proc of the 16th Advances in Neural Information Processing System.Vancouver，Canada，2004，16：153-160.

［17］Sugiyama M.Dimensionality reduction of multimodal labeled data by local fisher discriminant analysis［J］. Journal of Machine Learning Research，2007，8：1027-1061.

［18］Yan Shuicheng，Xu Dong，Zhang Benyu，et al.Graph embedding and extensions：a general framework for dimensionality reduction［J］.IEEE Transaction on Pattern Analysis and Machine Intelligence，2007，29（1）：40-51.

［19］Bhattacharjee A.Classification of human lung carcinomas by mRNA expression profiling reveals distinct adenocarcinoma subclasses［C］//Proceeding on National Academic Science.USA：Humana Press，2001：13790-13795.

［20］Aminian M，Aminian F.Neural-network based analog-circuit fault diagnosis using wavelet transform as preprocessor［J］.IEEE Trans Circuits Syst.II，2000，47（2）：151-156.

TP391.4；TP206.1

10.16450/j.cnki.issn.1004-6801.2015.02.012

廖 剑，男，1985年6月生，博士生。研究方向为电子系统设计、测试与故障诊断。曾发表《基于FRFTFD和KPCA的模拟电路故障特征提取新方法》（《振动、测试与诊断》2014年第34卷第2期）等论文。

E-mail：251250544@qq.com

*国家青年科学基金资助项目（61203168）

2013-10-08；

2013-12-02