LSSVM 的特征选择算法在烧结过程的应用

汪建新 ，吴永刚 ，2，陈肖洁

（1.内蒙古科技大学，机械工程学院，内蒙古 包头 014010；2.内蒙古包钢钢联股份有限公司炼铁厂，内蒙古 包头 014010）

1 引言

支持向量机（support vector machine，SVM）是一种以结构风险最小化为理论基础的统计学习方法，较好地解决了维数灾难，具有全局最优解等优点[1]，目前得到了广泛的应用推广，如混沌时间序列预测[2]、转子故障诊断[3]等。SVM的求解采用凸二次规划方法，运算过程需耗费大量的内存和时间。为提高运算速度和减少储存内存，文献[4-5]提出了最小二乘支持向量机（least squares support vector machine，LSSVM），巧妙地，将SVM中的二次规划问题转化为线性方程组求解，降低了求解的复杂度，解决了多元建模的求解问题。由于种种原因，数据的样本特征会含有一些无关特征。特征选择[6]可以去除冗余特征、无关特征甚至噪声特征，筛选出一个干净的样本集，以便提高数据的识别效率和增强实际问题的可理解性。换言之，特征选择一般是指从输入特征集中按照某种评估标准选择出最优的特征子集，以达到去除冗余特征、无关特征、甚至噪声特征，提高学习精度的目的。特征选择算法一般要与所采用的学习算法结合使用，结合LSSVM中的最小二乘回归机（least squares support vector regression，LSSVR）和特征选择，鉴于LSSVM的高效计算性，将其运用于特征选择是可行的，通过对烧结过程中的建模的仿真实验，验证所提算法的有效性。

2 LSSVM

LSSVM用如下函数对输入的x进行预测：

式中：φ（x）—非线性函数，可将输入空间映射到一个更高维的特

征空间，以便在高维特征空间中以线性拟合的方式求解输

入空间的非线性拟合问题。

给定一组训练集（xi，yi）｝，xi∈Rn为输入向量，yi∈Rn为相应于xi的输出，在文献[7]所提出的岭回归公式中，令α=1/r，回归问题的约束优化问题可表示如下[8]：

式中：ω—权向量；r—正则化参数；ek—误差变量；b—常值偏差。

通过建立Lagrange函数来求解上述式（2）～式（3）的优化问题：

式中：αk—Lagrange乘子，αk≠0的样本点为支持向量。分别对ω，

b，e，α求偏微分，带入化简，得到如下方程组的形式：式中：Ωi，j=φ（xi）T（xj）T=k（xi，xj），其中 k=1，…，l，Y=（y1，…，yl）T1=（1，…，1）Tα=（α1，…，αl）TI=eye（1，…，1）T且 I为与 Ω同阶的单位矩阵。

解方程（5）得到a，b后，同时，当给定实际集合x，即新的输入向量，其输出y（x）可用如下公式计算：

LSSVM模型的非线性映射能力是由核函数决定的[2，9]。常见的核函数有线性核函数、多项式核函数和RBF核函数，其形式分别分别如下：k（x，xi）=＜x，xi＞，k（x，xi）=（＜x，xi＞+1）q，k（x，xi）=exp

不同的映射形式，不同的核函数类型在学习能力和泛化能力上存在很大的差异性。分别使用线性核、多项式核和RBF核训练和测试样本。

3 LSSVM的特征选择算法及其应用

一个多特征的样本中，其每个特征的重要性存在差异，即每个特征对数据正确预测的贡献率有程度上的不同。为了检验每个特征是否重要及重要性程度如何，利用LSSVM对样本中的每一个特征进行测试，记录其预测均方误差，并排序。具体的建模与排序算法步骤如下：

步骤1：初始化算法参数，如多形式核的参数q和RBF核的参数σ；步骤2：对于xi∈R中的n维特征，取t=1，即选出第一个特征x（iT）；步骤3：对选出的特征x（iT）进行LSSVM学习训练和测试，并记录其 mse（t）。

式中：l—预测样本个数；yi—目标值—预测值；mse—均方误差，test accuracy=1-mse—预测准确率。mse误差越小，说明模型的预测精度越高，该特征对样本越重要的重要性程度越高。

步骤4：选取下一个特征x（iT），t=2，3，…，n；步骤 5：转步骤 3，或转步骤 6；步骤 6：将所有的 mse=［mse（1），…mse（n）］按从小到大排序，记录相对应的特征重要性的顺序，并按其顺序将样本数据的特征重新排列；步骤7：依次选取排序后的样本特征中的第一个，前2个，…，所有n个特征分别对样本进行学习和预测，并记录相应的均方误差和预测准确率。将LSSVM的特征选择算法应用于烧结过程建模中，其具体的应用流程图，如图1所示。

图1 烧结数据实验流程图Fig．1 Experimental Flow Chat of Sintering Dataset

4 实验

选取包钢钢联股份有限公司炼铁厂烧结过程的实际生产数据为实验样本，以验证所提出的LSSVM的特征选择算法的有效性。该数据共有391个，以烧结矿的碱度为质量指标，建立输入数据到输出数据的预测模型。烧结过程是一个复杂的多变量、非线性、强耦合的物理和化学过程[10]，经过现场实际分析发现，影响碱度的主要因素有：料量、高返料量、冷返料量、焦煤料量、干馏煤料量、蒙古矿配比、混匀矿配比、生石灰配比、白云石配比、FeO含量、CaO含量、SiO2含量、Fe含量、机组速度、点火温度、主管负压、主管温度等27个。选取总样本的30%为测试集和总样本的70%为训练集，训练集中的30%为训练-训练集和70%为训练-测试集。

4.1 数据预处理

在建立预测模型之前，必须要对数据进行归一化处理，以消除各项输入及输出数据间量纲不一致对数据分析造成的影响。归一化公式如下：

式中：i—样本的某个输入特征；x′（：，i）—归一化后的变量；x（：，i）—原始变量。

4.2 实验过程

为了验证上述所提LSSVM的特征选择算法的有效性，设置初始参数σ=2，选用RBF核函数，按第3部分的算法和图1的流程图进行实验：训练集，训练-训练集和训练-测试集对每一个特征重要性程度进行测定，为了减少偶然因素对实验结果造成的影响，采用10次实验结果（均方误差）的平均值作为排序依据；然后，按照排序后的样本特征，对训练集和测试集进行LSSVM训练学习和预测。实验中选用预测样本的预测准确率作为算法的评价指标。图2显示了3次实验，按样本特征重要性程度每添加一个特征的实验结果图。运用所有的样本特征时，LSSVM分别使用线性核、多项式核和RBF核进行实验，其参数为，为验证最小二乘支持向量机对样本数据预测的有效性，参与比较的算法有：5折交叉验证（5-foldcrossvalidation）经典SVM，最小二乘（leastsquare，LS），BP 神经网络。5 折交叉验证法：设置惩罚系数 C=｛2-8，2-7．5，…，27．5，28｝和 1/σ2=｛2-8，2-7．5，…，27．5，28｝进行 SVM 训练学习和预测；BP神经网络：设置两层神经网络的向量模型，输入层神经元为5个，网络层神经元为1个。所有实验方法的实验结果如表1所示：预测结果的预测均方误差及其相应的运行时间（采用10次实验结果的平均值和标准差）。所有实验的平台为Intel（R）Core（TM）2 Duo CPU E8200@2．66GHz 2．00GB RAM 的个人计算机，Win7 32位操作系统。

图2 不同的特征子集上的实验结果Fig．2 Experimental Results on Different Feature Subsets

表1 不同的实验方法的实验结果（单位：秒）Tab.1 Experimental Results of Different Experimental Methods（unit：s）

4.3 实验结果分析

表1的数据和图2的图像清楚地显示：当选择第一个特征时，其预测准确率已经达到了0．96以上，随着特征个数的增加，其预测准确率缓慢增加或不增加（偶尔还会出现小小的减小）；当所有的特征均用上时，最高的预测准确率为0．9840。烧结数据的实验结果表明，用LSSVM的特征选择算法对样本数据的特征的重新排序，再选择几个重要特征进行预测的方法是可行的，具有在保证预测准确率的前提下，提高预测速度的优势，在实际生产中具有很高的应用价值。观察表1的实验结果可知：使用最小二乘支持向量机（LSSVM）对数据进行拟合可以取得比最小二乘（LS）和神经网络（BP）方法更好的拟合效果，所用时间还是BP的（20～50）之一；LSSVM虽然在拟合效果上不如SVM好，但是LSSVM以牺牲一点点准确率来换取大大的计算高效性还是很值得的。

5 总结

炼钢厂的烧结过程是一个复杂的多变量、非线性、强耦合的物理和化学过程，结合最小二乘支持向量机和特征选择对烧结过程进行建模，提出了最小二乘支持向量机的特征选择算法。烧结数据的仿真结果显示，LSSVM的特征选择算法具有高效计算性和高预测精度等优点，验证了该算法的有效性。研究为快速预测烧结数据提供了一种快捷的新方法。

［1］Vapnik V．Statistical Learning Theory［M］．New York：John Wiley and Sons Inc，1998．

［2］田中大，高宪文，石彤．用于混沌时间序列预测的组合核函数最小二乘支持向量机［J］．物理学报，2014，63（16）：1-10．（Tian Zhong-da，Gao Xian-wen，Shi Tong．Combination kernel function least squares support vector machine for chaotic time series prediction［J］．Acta Physica Sinica，2014，63（16）：1-10．）

［3］张维强，赵荣珍，李坤杰．基于MSKPCA和SVM的转子故障诊断模型及应用［J］．机械设计与制造，2015（10）：4-8．（Zhang Wei-qiang，Zhao Rong-zhen，Li Kun-jie．Rotor fault diagnosis model and application based on multi-scale kernel principal component analysisandsupportvectormachine［J］．MachineryDesign&Manufacture，2015（10）：4-8．）

［4］Suykens J A K，Vandewalle J．Least squares support vector machine classifiers［J］．Neural Processing Letters，1999（9）：293-300．

［5］Suykens J A K，Van Gestel T，De Brabanter J．Least Squares Support Vector Machines［M］．Singapore：World Scientific press，2002．

［6］王文剑，门昌骞．支持向量机建模及应用［M］．北京：科学出版社，2014．（Wang Wei-jian，Men Chang-qian．Model and Application of Support Vector Machine［M］．BeiJing：Science Press，2014．）

［7］Saunders C，Gammerman A，Vovk V．Ridge regression learning algorithm in dual variables［C］．In Proceedings of the 15th International Conference on Machine Learning ICML-98，Morgan Kaufmann，1998：515-521．

［8］杨晓伟，郝志峰．支持向量机的算法设计与分析［M］．北京：科学出版社，2013．（Yang Xiao-wei，Hao Zhi-feng．Design and Analysis of the Support Vector Machine［M］．Beijing：Science Press，2013．）

［9］韩晓霞，谢刚，韩晓明．基于相空间重构和支持向量机的多相催化剂失活预测［J］．控制与决策，2012，27（6）：953-956．（Han Xiao-xia，Xie Gang，Han Xiao-ming．Application of phase space reconstruction and support vector regression for forecasting of catalyst deactivation［J］．Control and Decision，2012，27（6）：953-956．）

［10］宋强，程国彪，常卫兵．烧结矿碱度的灰色神经网络预测模型及仿真［J］．烧结球团，2007，32（3）：24-27．（Song Qiang，Cheng Guo-biao，Chang Wei-bing．Prediction model of the sinter basicity based on grey neural network algebra［J］．Sintering and Pelletizing，2007，32（3）：24-27．）