旋转森林与极限学习相结合的遥感影像分类方法

肖东升，鲁恩铭，刘福臻

(西南石油大学 土木工程与建筑学院，成都 610500)

0 引言

遥感影像分类是采用样本数据训练生成预测模型，该模型具有较强的泛化性，并依据生成的预测模型对待分类的遥感数据进行目标分类[1]。随着遥感和信息技术的发展，卫星在轨数量不断增多，每日产生海量的遥感数据。如何在海量的遥感数据中自动提取信息成为海内外学者研究的热点问题。

影像分类技术已经在不同领域得到广泛应用。但采用不同的分类方法对于同一个区域进行分类处理，获得的分类结果差别很大，目前分类方法的泛化性较差[2]。选择适合单一分类算法的特征和规则，未能充分利用影像上其他有效信息，存在一定的局限性，最终导致分类结果精度难以满足实际工程应用的需要。集成多分类器方法能够充分挖掘单一分类器的优势，同时能够综合利用多种分类器的优势提高算法的泛化能力和分类精度[3]。集成多分类器是利用存在较大差异的多个基分类器，采用某种集成策略进行优化组合，构造优于单个分类器的融合分类器，获得最终分类器集成[4]。组合的方法逐渐应用在遥感影像分类领域中并取得了良好分类效果[5]。因此，国内外学者从下面2个基本方面提高分类效果：一是采用差别较大的训练样本提高基分类器的差别，即提高同质基分类器的性能；二是采用预测模型结果差别较大的基分类器，即集成异质分类器[6]。同质类型的分类器集成主要是通过训练集的不同构建集成分类器，比较常见的集成策略有随机子空间[7](random subspace method，RSM)、Bagging[8]、旋转森林[9-10](rotation forest)以及AdaBoost[11]等。对于这类分类器，如果采用稳定性较好的分类学习算法，表现出来的集成结果可能相对基分类器的效果不明显，甚至有可能影响最终的分类性能的提高。如Kim Myoung等提出的采用多层感知机作为AdaBoost的基分类，获得较好的实验效果[12]。Rodriguez等人提出旋转森林算法，该方法采用决策树作为基分类器，对于地物光谱负责的遥感影像会过于适应噪声，导致过拟合现象[13]。Han等人采用径向基函数用于DECORATE(diverse ensemble creation by oppositional relabeling of artificial training examples)算法很好地解决了分类问题中的过拟合问题[14]。Huang等人提出ELM(extreme learning machine)算法，通过给定输入权重以及隐含层的偏置值，仅训练网络的输出权值来解决分类问题中的过拟合问题，但单个ELM神经网络对于复杂遥感影像进行分类时，泛化能力表现较差[15]。因此，为解决原始RF采用决策树作为基分类器对遥感数据分类时容易出现过拟合现象以及单个ELM算法对复杂数据泛化能力较差问题，本文提出一种结合RF和ELM算法的多分类器混合集成的遥感影像分类方法。该方法能够利用RF方法对ELM神经网络进行集成，可以较好地提高ELM算法的泛化能力，提高2种算法的互补性，有较高的泛化能力与识别精度。

1 RF与ELM结合方法

1.1 ELM算法

极限学习机(extreme learning machine，ELM)是针对单个隐藏层的前馈型神经网络(single-hidden layer feedforward neural network，SLFNs)的监督型学习方法[16]。相对于传统的前馈神经网络训练速度慢、学习率选择敏感等缺点，EML方法通过输入层与隐藏层之间的权值以及隐藏层神经元的阈值，且在训练过程中无需调整，仅仅设置隐含层神经元的个数，便可求解一个最优范数。与传统训练方法相比极限学习机法具有训练参数少、训练速度快、泛化性能好等优点。

通常，单个隐藏层的前馈型神经网络模型在求解最优目标时需要设置多个隐藏神经元。假设存在N个任意的样本数据(xi，yi)，其中xi、yi分别表示训练样本的特征向量和该样本的标签。对于给定ELM网络的输入层、隐层和输出层的节点数分别为n、r、m，那么极限学习机可以表示为[17]：

(1)

式中：g为隐层神经元的激活函数；ωi为第i输入网络层隐藏结点连接的权重向量；βi=[βi1，βi2，…βin]T是为第i输出层网络层隐藏结点的输出权值向量；yk是网络输出值；bi为隐层偏置值；g为隐层神经元的激活函数。ELM在开始训练时，固定输入权重ωi和隐层偏置值bi随机产生，只需训练βi，如式(2)[18]所示：

式中：H为极限学习机隐层节点输出矩阵；Y为期望输出矩阵；βi为输出权值向量。中间的隐含神经元层与最终输出层间的连接权重向量通过最小二乘方法求解方程组min||Hβ-Y||获得最优解。求解出βi即完成极限学习机的网络训练过程。因此，对于给定训练样本集、激活函数以及隐单元个数，ELM算法主要包括3步：

①任意指定输入的权重w和隐含层神经元的阈值b向量；

②计算隐含层输出矩阵H；

③计算输出的权重向量β=H-1Y。

1.2 RF-ELM方法

由于决策树算法具有对数据间的变换比较敏感特性，因此决策树被绝大数的集成方法选着作基分类器，但对遥感数据分类时容易出现过拟合现象，同时处理速度较慢。由1.1节中极限学习的训练过程与式(2)可知，极限学习机在构建模型时对训练数据集严重依赖，采用差异数据会获得不同的权重向量β，对于给定不同的2个随机值ω和b在相同的数据集上计算输出权重β值存在一定的差异，所以容易训练出具有一定差异的 ELM 模型，因此满足基分类器构造集成分类器的基础条件。

设X为N*M维的训练数据集，Y为N*1维每个实例对应的类标，F表示训练数据的属性集，E1、E2、…El为l个基分类器，以旋转森林选取训练样本为前提并结合极限学习作为基分类器构建集成学习分类模型。具体步骤如下：

②用Fij表示采用训练数据集的第j个子属性集训练第i个基分类器Ei构建的模型，对训练数据属性集进行自动采样，抽取为原数据集的75%数据子集Xij，对Xij样本数据在Fij对应特征子集中数据通过主成分特征变换进行特征提取，获得nj个特征子集的主成分变换系数Cij=[a1ij，a2ij…ajij]。

③将计算得到的K个主成分系数存储在Ri矩阵内，依据系数矩阵对原始数据属性进行排序获得Ri[19]。

(3)

④对原始训练数据集X采用③计算得到的Ri进行主成分变换分析获得数据，并在变换后的数据上训练极限学习机Ei获得对应的基分类器。

⑤重复步骤①～步骤④训练获得L个极限学习基分类器。

2 实验与分析

2.1 模型集成验证

选取公共UIC测试数据库中Balance Scale、 Hepatitis、Tic-tac-toe 3个数据集，从每个数据集中任意抽取70%原数据作为训练数据，剩下的30%作为检验数据，重复采用70%的训练数据，依次运行25次单个极限学习(ELM)模型、RF-ELM模型，计算测试结果的平极差、均方差、平均准确率以及分类时间。实验结果见表1。同时交叉验证实验结果如表2所示。在公共数据集上实验，本文算法构造RF-ELM 模型旋转矩阵时选择的子特征属性个数为5，极限学习的隐层神经网络节点个数设置为50。

表1 不同模型对比实验

表2 交叉验证实验对比结果

由表1可知，文中提出改进的RF-ELM模型无论在处理训练数据集的模型构建，还是在检验数据集的预测模型结果都比单个极限学习模型的效果好；RF-ELM模型25次预测结果的方差和极差的平均值远小于单个极限学习模型，离散程度较小说明RF-ELM模型实验结果的稳定，算法的鲁棒性较好；模型的运算效率较高。表2给出的交叉验证实验结果，RF-ELM准确率最高。在公共数据集上改进的RF-ELM模型方法提高了极限学习算法的稳定性与预测精度。

2.2 遥感影像实验

为了验证改进的 RF-ELM 模型方法能够有效地解决原始RF 中容易出现过拟合现象以及单个ELM算法对复杂数据泛化能力较差问题，将本文所提方法对北京市顺义区和成都市新都区的Landsat-8卫星遥感影像上进行了实验验证。

1)实验1。实验1中采用北京顺义地区影像是大小为2 000像素×2 000像素的真彩色遥感影像，包括7个波段，空间分辨率为30 m的多光谱数据。对预处理后的影像利用eCognition软件进行多尺度分割获取分割矢量，考虑到尺度越小像斑数越多，分割尺度取100，形状因子取0.3，紧致度因子取0.5，分割后获取像斑数目为10 632个。图1为研究区域432波段合成的真彩色影像。对像斑进行特征提取，再选取843个类别属性像斑作为训练样本集，类别包括：水域、荒裸地、道路、建筑区、耕地、林地。

图1 顺义区Landsat-8真彩色影像

基于RF-ELM模型方法的高分辨率遥感影像分类结果如图2所示。可以看出，RF-ELM模型对每种地物都有很好的分类效果。表3给出了几何RF-EML模型方法对每种地物的分类精度。从各算法得到的分类精度对比可以看出，RF算法、ELM算法以及Bag-ELM算法出现了分类精度都比较低的现象。而对比所提算法与 RF 算法得到的分类结果可以看出，RF-ELM 算法改善了 RF 中的过分类现象，得到的分类结果效果更好。

图2 RF-ELM分类结果

类别制图精度用户精度漏分精度错分精度水域 94.7987.505.2112.50荒裸地90.9095.239.104.77道路 86.1193.9313.896.07建筑区95.0484.954.9615.05耕地 95.5096.594.503.41林地 81.1397.7218.872.28

2)实验2。实验2中采用的成都市新都地区2017年遥感影像，影像大小为1 000像素×800像素的真彩色遥感影像，包括7个波段，空间分辨率为30 m的多光谱数据。利用eCognition软件进行多尺度分割获取分割矢量，分割尺度取90，形状因子取0.4，紧致度因子取0.6，分割后获取像斑数目为6 542个。图3为研究区域432波段合成的真彩色影像。对像斑进行特征提取，再选取586个类别属性像斑作为训练样本集，类别包括：水域、荒裸地、道路、建筑区、耕地、林地。

图3 新都区Landsat-8真彩色影像

基于RF-ELM模型方法的高分辨率遥感影像分类结果如图4所示。可以看出，RF-ELM模型对每类地物都有很好的分类效果，表4给出了几何RF-EML模型方法对每种地物的分类精度。通过2组实验证明本文提出算法的有效性。

图4 RF-ELM分类结果

类别制图精度用户精度漏分精度错分精度水域93.9886.825.6813.01荒裸地92.0492.418.725.24道路87.5294.2511.587.18建筑区92.3482.915.0714.16耕地96.0594.605.403.94林地82.4296.8519.735.46

将本文方法分类的精度同RF、ELM以及Bag-ELM方法进行对比(表5)。从表5中可以看出，本文方法总体分类精度、Kappa系数最高。

综合实验1和实验2可以得出以下结论：①RF-ELM模型相比于RF算法、ELM算法分类器具有更高的分类精度。ELM算法分类结果的总分精度和Kappa系数都是最低，运行效率最高，这是由于单个ELM算法对复杂遥感影像数据泛化能力较差问题导致，但是具有训练速度快、自学习能力强等特点。以决策树作为基分类器，但对遥感数据分类时容易出现过拟合现象，同时处理速度较慢，RF算法的分类精度较RF-ELM方法的分类精度低，计算效率低。因此，结合RF与ELM算法避免RF算法容易出现过拟合现象同时利用了ELM算法训练速度快、自学习能力强等特点，利用 RF 对 ELM 进行集成则可很好地提高算法的泛化性能，这体现了混合集成器组合方法在遥感分类应用的优势。②RF-ELM方法相比于Bag-ELM方法总分类精度实验1高出1.61%，Kappa系数高出0.05，实验2高出1.86%，Kappa系数高出0.07，分类精度有所提高，这是因为RF算法是在Bagging基础上做的改进，使得RF算法的偏差要小于Bagging算法的偏差[20]，使得RF-ELM得到的组合模型的预测偏差要小于Bag-ELM的预测偏差提高分类的正确率，因此RF-ELM的分类精度最高。通过2组实验验证了所提RF-ELM算法可改善原始RF 中存在的过拟合现象。③旋转森林作为基分类器具有处理速度较慢、单个ELM算法训练速度快的特点。经过本文改进后的RF-ELM算法对于一幅大小为2 000像素×2 000像素的影像数据，整个分类流程仅需消耗时间约为2.32 s，计算效率较高。

表5 不同分类方法精度对比

3 结束语

针对RF、ELM算法在复杂遥感影像数据上分类不够理想的问题，提出了旋转森林与极限学习相结合高分辨率遥感影像分类方法。该方法以RF为集成框架对训练集进行特征提取，增强基分类器间的差异，然后再选用具有自组织自适应性的极限学习快速学习特点，特别适用于对数量较大的影像的处理，最后以Landsat-8影像为例对多种分类方法进行对比，验证了本文方法具有更好的分类性能。