基于改进VGG16网络的机载高光谱针叶树种分类研究

汪泉 宋文龙 张怡卓 陈佳昊 蒋大鹏

摘 要：为解决针叶树种识别上存在的分类精度较低和训练时间较长的难点问题。本文提出一种基于卷积神经网络的机载高光谱影像针叶树种分类的网络模型。实验选定VGG16作为基础网络进行改进，精简了网络层的结构，重新组织了卷积核的排列，更好地适应高光谱分类任务，对实验选择的茶壶实验森林的机载高光谱影像数据带进行数据增强，使用Adam优化器进行训练优化，使用学习率反向时间衰减器和Early-stooping优化器加快网络拟合的速度、增加网络的泛化能力。研究结果表明，在类间差距小、类内差距大的情况下，与对比实验效果最好的未改进VGG16网络相比，针叶树种高光谱影像多标签分类的精度提高了8.17%，达到了94.47%的分类准确率，且训练时长缩减了6倍多。从而得到：将卷积核数量按照从大到小的方式排列有助于高光谱信息的提取和训练时间的缩短;网络层数的精简可以在保证模型达到拟合的前提下训练不会过度，减小训练时间;数据增强对针叶树种识别准确率的提升有着很大的帮助。

关键词：树种分类;高光谱分析;卷积神经网络;梯度下降;主成分分析;VGG16

中图分类号：S718.49;TP753    文献标识码：A   文章编号：1006-8023（2021）03-0079-09

Abstract：In order to solve the difficult problems of low classification accuracy and long training time in conifer species recognition， this paper presents a coniferous species classification network model based on convolutional neural network in airborne hyperspectral images. VGG16 was selected as the basic network to improve the experiment， which simplified the structure of the network layer， reorganized the arrangement of convolution kernel， and better adapted to the task of hyperspectral classification. The airborne hyperspectral image data band of the teapot experimental forest selected for the experiment was enhanced， the Adam optimizer was used for training optimization， and the learning rate inverse time attenuator and the Earlystooping optimizer were used to accelerate the speed of network fitting and increase the generalization ability of the network. The results showed that， in the case of small interclass gap and large intraclass gap， compared with the unimproved VGG16 network with the best comparative experiment effect， the accuracy of multilabel classification of hyperspectral images of coniferous species was improved by 8.17%， and the classification accuracy was 94.47%， and the training time was reduced by more than 6 times. It can be concluded that the arrangement of the number of convolution kernels from large to small was helpful to the extraction of hyperspectral information and shorten the training time. The simplification of network layers can ensure that the model can be fitted without excessive training and reduce the training time. Data enhancement was of great help to the improvement of coniferous species identification accuracy.

Keywords：Tree species classification; hyperspectral analysis; convolutional neural network; gradient descent; principal component analysis; VGG16

0 引言

在森林生態系统中，树木属于主要的组成部分，需要对树木的类型以及分布特征进行分析，以此为生物多样性保护等提供一定的依据，所以有必要结合空间上的树种信息进行研究[1-3]。目前在针叶树种识别上的研究逐步增多，很多学者提出了不同类型的识别方法，但是传统的方法效率较低，依赖于实地调查研究，成本较大，难以达到预期的效果。随着卫星遥感高光谱影像技术的发展，逐步应用到了树种识别中，尽管借助卫星遥感影像识别植被提高了效率，但是应用中依然存在以下弊端[4]：一方面受到天气状况的变化导致影像质量降低，无法保证较高的识别精度;另一方面，远距离的探测仅适用于大范围的树种粗略分类，对于高精确度的树种分类研究不适用。而机载高光谱成像仪具有机动灵活、高效快速、精细准确、低成本和普适性的特点，弥补了以上缺陷，为高精确度树种分类提供了新的方式[5]。

高光谱遥感数据多个波段之间既有相关性也有互补性，通过多个波段的运算和组合可以形成新的特征用于分类工作[6-8]。此前逐步形成了机器学习与手工提取特征结合的传统识别方法。其中已经有人提出在树种识别中引入了支持向量机（SVM）、随机森林（RF）方法[9];也有人将SVM与增强植被指数（EVI）等结合来实现树种的分类[10]。这种机器学习和手工提取特征结合的识别方法其效果受人为选择特征的合理程度影响较大。

卷积神经网络（CNN）采用局部连接和权值共享的方式，是多层感知机的变种，其中网络的输入部分可以是图像[11]。卷积作为特征提取器，神经网络作为分类器，避免了机器学习与手工提取特征结合的传统识别方法中复杂的特征提取和数据重建的过程;在没有人为干预的情况下自动地从数据中学习特征，避免了传统方法中受人为选择特征的局限性。经过优化处理后可以通过权值共享等策略来降低训练参数数目，从而解决过拟合问题[12]。所以在图像识别中可以采用CNN，将其应用到图像识别中具有一定的优势，可以准确提取图像的特征，学习效率较高[13]。部分研究者将该技术应用到了遥感影像数据分类处理中，其中Hu等[14]把CNN应用到了高分辨率遥感场景分类; Zhao等[15]结合多尺度深度学习特征进行高光谱遥感分类; Cheng等[16]使用CNN对高分辨率遥感图像做基于场景的分类;CNN的网络结构更接近生物神经网络，在视觉图像处理领域得到了很好的应用[17-19]。

越来越多的人工神经网络被提出，但由于高光谱数据量大且处理难度高，很多网络模型例如Residual Network50（ResNet50）、Inception-ResNet-v2的效果并不好[20]。问题主要集中在训练时间长且精确度不高，不能突显深度学习区别于传统模型的优势。本文提出了一种基于Visual Geometry Group 16（VGG16）分类模型，对所选研究区的针叶树种类型进行识别。该方法通过删减VGG16中多个卷积层和池化层，对卷积核的排列进行了重新设计，在训练时间短的情况下尽可能提升精度。选择机载高分辨率图像对CNN进行训练，降维后通过CNN提取像素特征，利用像素特征和标记的标签学习各个树种所对应的高光谱信息，使用逻辑回归（Softmax）网络层对提取出的树种相关特征进行分类，并预测该针叶树种所属类别。以此可以对不同类的一致性检验（Kappa）系数进行计算分析，并验证算法可以达到的应用效果。

1 实验数据与环境

1.1 实验数据

数据研究区处于太平洋西南研究区域。选取了茶壶实验森林的一条从南到北的高光谱数据带，长16 km，宽1 km，位于内华达山脉南部（36°58′N，119°01′E），在加利福尼亚州弗雷斯诺东方向80 km处。高光谱数据覆盖海拔1 935～2 630 m，覆盖了茶壶实验森林组成区的过渡区。

实验数据是De Havilland DHC-6 Twin Otter飞机使用美国航空航天局的喷气实验室设计和制造的推扫帚收集工具（下一代AVIRIS）收集的高光谱数据。以5 nm的光谱采样间隔测量从280 nm搭配2 510 nm的426个光谱带的反射光。

针叶混交林约占茶壶实验森林面积的65%，主要集中在高程为1 900～2 300 m处。如图1所示。树种分成8类：白杉（Abies concolor）、红杉（Abies magnifica）、香柏木（Calocedrus decurrens）、杰弗里松（Pinus jeffreyi）、糖松（Pinus lambertiana）、黑橡树（Quercus kelloggii）、红松（Pinus contorta）和死树（Dead -任何树种）。共采集样本713个，创建了以每棵树的茎为中心的圆形多边形，并对其进行栅格化处理，每个圆圈都仅包括冠层，避免了背景、土壤或其他冠层的影响，把它定义为数字化后的“纯像素”。每个多边形内的像素被视为同一类，CNN从高光谱数据中提取标记像素来训练模型。

需要对训练样本和测试样本采用随机选择的方式進行划分，二者的比例分别为90%、10%。树种影像在树密度、树龄、树种、光照和背景等类间差距大小以及树种训练样本数量等多种因素干扰下，分类难度较大。

1.2 实验环境

实验环境主要是Macos Catalina操作系统;基于GDAL2.3.3完成影像数据处理过程;同时采用了TensorFlow2.2.0，Keras2.4.3进行学习训练;利用TensorBoard2.2.0，Matplotlib3.1.1实现数据展示;编程语言使用Python3.7。

2 研究方法

2.1 VGG16基本网络

CNN结构如图2所示，图中包括卷积层、降采样层和全连接层。每一层都有多个特征图，每个特征图有多个神经元，通过卷积滤波器提取输入的特征[21]。

研究以VGG16网络作为基础，对该网络进行优化改进。VGG16网络中卷积神经网络的深度增加和小卷积核的使用对网络的最终分类识别效果有很大的影响。卷积层均采用相同3尺寸的卷积核参数，池化层均采用相同的池化核参数。多个3×3的卷积层组合不仅计算量小，还能同时获得大卷积核相同的感受野。深层网络结构验证了通过不断加深网络结构可以提升网络性能的猜想。但对于一些数据，过深的网络仅仅大幅增加了训练时长，却不会提升精度。

VGG16的卷积核从64个依次递增到512个，图像的通道数先降低到64再递增到512，但由于高光谱图像数据量大的特性，通道数的这种变化会使得高光谱数据损失大量的信息，增加训练的时间成本，且VGG16的网络结构对于本研究任务来说，增加网络深度的同时，不能提升网络精度。

2.2 具体模型

3 实验流程和评价指标

3.1 实验流程图

在本次研究中基于实验方法验证了模型分类 的可行性，其中采用的数据源是针叶树种影像数据，并结合树种识别的结果分析算法的应用效果。在评价算法性能时需要选择合适的指标，这里选取了Kappa系数、总体精度、混淆矩阵，对比分析了各种模型的分类效果，并与所提CNN进行效果对比。在本节中，介绍模型流程结构如图6所示。

3.2 实验过程

在实验过程中采用可视化学习（TensorBoard）实现数据可视化，便于对实验结果进行直观地分析。

首先利用网络从高光谱数据集中提取出针叶树种样本和标签。然后针对全部数据设置对应的标签，任意混合所有的训练数据，然后输入到模型中完成训练的过程，具体的训练步骤如下。

步骤5：计算实际数据与输出结果的偏差，并进行反向传播的过程。

步骤6： 判断是否结束迭代过程，如果确定未结束，则跳转到步骤（3），在结束时将最终的结果输出。

实验中出现了训练结果精度较高，但是测试结果不佳的现象，存在过拟合问题。需要通过一定的方式进行处理。在本次研究中经过分析采用了参数正则（Dropout）函数，基于该函数能够对隐含层的神经元激活状态进行控制，最终使得模型达到更高的泛化性能。

3.3 实验评价指标

4 实验结果与分析

4.1 数据增强

CNN的相继提出，刷新了神经网络在项目中的准确率。不同网络的不同结构导致网络在不同类型任务中的准确率和速度存在差别。深度学习具有强表达能力，容易牺牲对未来数据的解释能力，导致测试数据的效果不理想。为了防止这种过拟合现象的出现，需要更多的数据来训练网络。本研究把数据的标签补丁进行90°旋转和水平翻转，将数据扩增到了原来的8倍进行模型的训练。模型在数据增强前和数据增强后的测试集准确率见表3。

4.2 模型性能对比

在研究过程中针对不同模型的针叶树种分类性能进行了对比分析，将本文设计的模型与ResNet50、VGG16、 Inception-ResNet-v2进行对比。在训练过程中各个模型采用性能参数对比见表4。

表4中展示了具体的分类结果。前3种模型的平均准确率为84.34%，平均Kappa系数为0.802 8，本文所提模型的针叶树种准确率比其高10.13%，而Kappa系数则比其高0.130 0。

结果表明，增加Mish算法基于训练数据迭代更新神经网络权重，可以解决含大规模数据和参数优化问题。各层卷积核数量的改变使得高光谱数据保留了尽可能多的有用数据，并加快网络训练速度，进一步优化模型。由此验证了本文所提模型的应用效果。

4.3 模型效果

结合实验结果可知，较小的CNN网络获得了较好的效果，这主要是因为针叶树种影像不存在复杂的语义特征。

图7为改进后模型测试集的结果曲线，根据图7（a）可知，树种识别结果与迭代数有关，在迭代数逐步增大的过程中，分类结果准确率逐步提高，特别是在达到600次时基本保持在99%以上。

为了进一步得到每一个针叶树种的分类情况，然后利用训练得到的模型进行测试，并获得最终的混淆矩阵数据见表5。

表5计算结果表明，所提出的模型在收敛速度以及分类精度上都明显优于VGG16和ResNet50网络。通过比较各树种的分类精度以及错分、漏分误差可以看出，杰弗里松和糖松的分布比较集中，光谱曲线比较容易区分，错分比较少;受地面调查数据的限制，黑橡木的样本数量相对较少，导致错分的误差比较大，降低了识别的精度。所有类别的树种死亡以后都会被分类为死树，但是树木的死亡周期比较短，残留的树种特征量较多，错分的比较多。总体而言，总体分类精度达到了94.47%，糖松达到了100%识别，较好地实现了树种识别。

各模型训练的速度如图8所示。

由于Inception-ResNet-v2训练时间最短，为了方便比较，将Inception-ResNet-v2的训练时长设为基数1。如图8所示，提出网络的速度仅仅比结构最简单的Inception-ResNet-v2慢，是 VGG16网络训练速度的6.5倍。

5 結论

本文使用CNN对遥感影像树种类型进行识别和分类，针对多数卷积神经网络训练精度低、训练时间长的问题在VGG16的基础上提出一个适合树种分类的网络结构。使用机载高光谱数据利用HDF5生成文件的方法制作针叶树种数据集，再丢弃无用的像素补丁和标签、利用PCA主成分分析方法在降低数据维度的基础上进行实验。

实验结果表明：

（1）改变各层卷积核数量并精简网络层，将卷积核数量按照从大到小的方式排列有助于高光谱信息的提取和训练时间的缩短，使得高光谱数据保留尽可能多的有用数据。采用Mish激活函数，加入反向时间衰减学习率的优化器。加快了网络训练速度，训练时长缩短了85.8%。

（2）进行数据增强将模型准确率从91.95%提升到94.47%，证明了利用数据增强增加针叶树种数据量对模型的准确率有着很大的提升，可进一步优化模型。

本文所提网络模型对比ResNet50、Inception-ResNet-v2、Our Model 3种网络模型的平均精度高出10.13%。证明了CNN在遥感机载高光谱影像针叶树种分类方法的优势，能够有效地对各针树种进行识别和分类任务。

【参 考 文 献】

[1]GEORGE R， PADALIA H， KUSHWAHA S P S. Forest tree species discrimination in western Himalaya using EO-1 Hyperion [J]. International Journal of Applied Earth Observation and Geoinformation， 2014， 28： 140-149.

[2]CHEN J， SAUNDERS S C， CROW T R， et al. Microclimate in forest ecosystem and landscape ecology[J]. BioScience， 1999， 49（4）： 288-297.

[3]胡馨月，倪海明，戚大偉.基于无人机影像的树木株数提取[J].森林工程，2021，37（1）：6-12.

HU X Y， NI H M， QI D W. Tree number extraction based on UAV image [J]. Forest Engineering， 2021， 37（1）：6-12.

[4]马有国，杜学惠.森林健康评价的遥感技术研究[J].森林工程，2019，35（2）：37-44.

MA Y G， DU X H. Study on remote sensing technology for forest health assessment[J]. Forest Engineering， 2019， 35（2）：37-44.

[5]SCHIEFER F， KATTENBORN T， FRICK A， et al. Mapping forest tree species in high resolution UAV-based RGB-imagery by means of convolutional neural networks [J]. ISPRS Journal of Photogrammetry and Remote Sensing， 2020， 170： 205-215.

[6]SCHLERF M， ATZBERGER C. Inversion of a forest reflectance model to estimate structural canopy variables from hyperspectral remote sensing data [J]. Remote Sensing of Environment， 2006， 100（3）： 281-294.

[7]岳振兴，岳彩荣，邹会敏.基于KPCA的AISA Eagle Ⅱ机载高光谱数据的降维与树种识别[J].西部林业科学，2020，49（4）：83-90.

XUE Z X， YUE C R， ZOU H M. Dimension reduction and tree species recognition of AISA Eagle II airborne hyperspectral data based on KPCA[J]. Journal of West China Forestry Science， 2020， 49（4）：83-90.

[8]KOCH B. Status and future of laser scanning， synthetic aperture radar and hyperspectral remote sensing data for forest biomass assessment [J]. ISPRS Journal of Photogrammetry and Remote Sensing， 2010， 65（6）： 581-590.

[9]YAN S J， JING L H， WANG H. A new individual tree species recognition method based on a convolutional neural network and high-spatial resolution remote sensing imagery[J]. Remote Sensing， 2021， 13（3）： 479.

[10]YAO F， FENG L， ZHANG J. Corn area extraction by the integration of MODIS-EVI time series data and Chinas environment satellite （HJ-1） data[J]. Journal of the Indian Society of Remote Sensing， 2014， 42（4）： 859-867.

[11]BEYSOLOW T. Introduction to deep learning using R： a step-by-step guide to learning and implementing deep learning models using R [M]. Berkeley： Apress， 2017.

[12]GEETHA G， KIRTHIGADEVI T， PONSAM G G， et al. Image captioning using deep convolutional neural networks （CNNs）[J]. Journal of Physics： Conference Series， 2020， 1712： 012015.

[13]CHAUHAN R， GHANSHALA K K， JOSHI R C. Convolutional Neural Network （CNN） for image detection and recognition[C]// 2018 First International Conference on Secure Cyber Computing and Communication （ICSCCC）， Jalandhar， India： IEEE， 2018： 278-282.

[14]HU F， XIA G S， HU J W， et al. Transferring deep convolutional neural networks for the scene classification of high-resolution remote sensing imagery[J]. Remote Sensing， 2015， 7（11）： 14680-14707.

[15]ZHAO W， GUO Z， YUE J， et al. On combining multiscale deep learning features for the classification of hyperspectral remote sensing imagery [J]. International Journal of Remote Sensing， 2015， 36（13）： 3368-3379.

[16]CHENG G， MA C C， ZHOU P C， et al. Scene classification of high resolution remote sensing images using convolutional neural networks[C]// 2016 IEEE International Geoscience and Remote Sensing Symposium （IGARSS）， Beijing， China： IEEE， 2016： 767-770.

[17]HAN W， FENG R Y， WANG L Z， et al. Adaptive spatial-scale-aware deep convolutional neural network for high-resolution remote sensing imagery scene classification[C]// IGARSS 2018-2018 IEEE International Geoscience and Remote Sensing Symposium， Valencia， Spain： IEEE， 2018： 4736-4739.

[18]ZHANG X X， GUO Y， ZHANG X. High-resolution remote sensing image scene classification by merging multilevel features of convolutional neural networks[J]. Journal of the Indian Society of Remote Sensing， 2021（11）：1-13.

[19]ZHONG Y F， FEI F， ZHANG L P. Large patch convolutional neural networks for the scene classification of high spatial resolution imagery[J]. Journal of Applied Remote Sensing， 2016， 10（2）： 025006.

[20]THECKEDATH D ， SEDAMKAR R R. Detecting affect states using VGG16， ResNet50 and SE-ResNet50 networks[J]. SN Computer Science， 2020， 1（2） ： 18-37.

[21]KETKAR N. Convolutional neural networks. In： deep learning with Python[M]. Berkeley， CA： Apress， 2017.

[22]LE BRIS A， CHEHATA N， BRIOTTET X， et al. Extraction of optimal spectral bands using hierarchical band merging out of hyperspectral data[J]. ISPRS - International Archives of the Photogrammetry， Remote Sensing and Spatial Information Sciences， 2015， XL-3/W3： 459-465.