基于深度学习的作物长势监测和产量估测研究进展

王鹏新 田惠仁 张 悦 韩 东 王 婕 尹 猛

(中国农业大学信息与电气工程学院， 北京 100083)

0 引言

作物长势是粮食产量估测与预测的重要信息来源，对于我国粮食安全和贸易具有重大价值。其中遥感技术具有覆盖范围广、重访周期短、数据获取成本相对低等优势，在作物长势监测和产量估测中扮演着重要的角色。目前作物估产方法主要包括基于作物生长模型的估产方法和基于统计回归的经验估产方法。基于作物生长模型估产方法的最大特点是机理性强，但由于作物生长模型的参数众多，对于区域尺度的作物估产，往往无法充分获取作物生长模型所需的参数，在一定程度上限制了作物生长模型在大范围作物估产中的广泛应用[1-2]。基于统计回归模型的估产方法无需输入大量参数，因此更适用于区域的作物单产估测。基于统计回归模型的作物估产方法包括线性模型方法和非线性模型方法。由于农田生态系统较为复杂，涉及的许多过程都是非线性的，作物长势和产量形成的机理通常表现为非线性[3-6]，因此，目前研究者更多地使用非线性模型来监测作物长势和估测单产，如支持向量回归(Support vector regression，SVR)、随机森林(Random forest，RF)和人工神经网络(Artificial neural network，ANN)等[7-12]。在机器学习模型中，ANN由于能够学习和存储大量输入-输出模式的映射关系，可以得到较高的精度，并且存在一些衍生形式，如MAYA GOPAL等[13]在多元线性回归(Multiple linear regression，MLR)与ANN基础上提出了MLR-ANN混合模型，以提高作物产量估测精度。JOHNSON等[14]利用贝叶斯神经网络(Bayesian neural network，BNN)对加拿大大草原的作物产量进行估测。然而，这种传统机器学习方法对于捕获数据间复杂的非线性关系的能力较为有限，深度学习能够提取多尺度和多层次特征并将这些特征组合抽象成高层次特征[15-18]。因此，深度学习模型的表现优于传统机器学习模型，在利用遥感数据进行长势监测和产量估测方面表现出巨大的潜力[19]。

本文所涉及的区域尺度作物长势监测是指利用低空间分辨率的遥感数据及其产品进行的监测，而田块尺度作物长势监测是指利用中高空间分辨率的遥感数据及其产品进行的监测。随着精准农业的发展以及深度学习方法在区域尺度长势监测及产量估测中的广泛应用，将深度学习运用于田块尺度作物长势监测及产量估测成为目前研究热点之一。在田块尺度进行作物长势监测时要求遥感影像在时间和空间上具有高分辨率特征[20]。目前依据遥感平台的不同，可分为基于无人机平台和基于卫星平台的田块尺度作物长势监测及产量估测。

本文基于深度学习模型，在区域尺度和田块尺度对作物长势监测的研究进展及趋势进行综述，一方面在区域尺度对深度学习模型样本、模型结构及其优化进行归纳总结，一方面针对遥感数据获取平台的不同，分别从无人机平台和卫星平台总结和分析田块尺度作物长势监测和产量估测的进展。在此基础上，针对深度学习存在的问题与发展趋势分析，提出今后的重点发展方向。

1 区域尺度的作物长势监测和产量估测研究进展

遥感数据具有明显的大数据特征，是作物长势监测的主要数据源。作物长势与其单产密切相关，受光、温、水、土、肥等因子影响，是表征农情和进行作物产量估测预测的重要指标之一，而应用遥感技术表征的与作物长势密切相关的监测指标是这些因子综合作用的结果。因此，多种参数结合被广泛地应用于区域尺度的作物长势监测和产量估测研究中。近年来，随着大数据技术与深度学习在各领域应用的逐步深入，开展基于多参数和深度学习的从数据到数据的作物长势信息提取是一个重要的研究方向。因此，本文从模型样本和模型构建与优化两方面，对深度学习模型在区域尺度的作物长势监测和产量估测进行描述和总结。

1.1 模型样本

1.1.1样本构建

人工神经网络和深度学习模型通常需要大量的训练样本，并且利用样本以实现对特征的提取。因此，选择合适的样本是一个必不可少的步骤[21]。尽管作物生长状况受多种因素的影响，且其生长过程又是一个非常复杂的生物生理过程，但作物生长状况可以用一些与其生长过程密切相关的参数进行表征[22-23]。在基于遥感数据进行作物长势监测的参数中(表1)，主要包括植被指数、生物物理参数和生长环境参数[23-25]。其中，最常用的是利用植被光谱响应敏感波段构建能够反映作物生长状况的遥感指数进行监测，归一化植被指数(Normalized difference vegetation index，NDVI)的应用最为广泛。目前，国内外学者利用NDVI等植被指数进行了大量研究[14,26-29]，并且发现，相比于基于单生育时期植被指数，综合多生育时期的植被指数与作物长势和单产具有更高的相关性[30-34]，这为在区域和国家范围内将多生育时期的植被指数与作物产量联系起来的众多研究奠定了基础。此外，一些学者也开展了以常见作物长势指标，如叶面积指数(Leaf area index，LAI)、条件温度指数(Temperature condition index，TCI)、条件植被指数(Vegetation condition index，VCI)、条件植被温度指数(Vegetation temperature condition index，VTCI)等进行样本的适用性和有效性评价研究，为提高作物长势监测的准确性发挥了重要作用[35-37]。BOLTON等[38]基于MODIS NDVI、归一化差异水分指数(Normalized difference water index，NDWI)和使用2个波段的增强植被指数(Two-band enhanced vegetation index，EVI2)作为特征参数预测美国中部玉米和大豆的单产，结果表明在玉米返青期后的65～75 d和大豆返青期后的80 d，EVI2与非干旱县玉米单产之间具有较高的相关性，而NDWI对半干旱县的玉米单产估测性能更好。

由于作物生长受到光照、气温、降水等多种环境因素的影响，因此每年的产量会因环境因素在年际间的改变而出现明显差异。此外，随着高时间分辨率卫星数据产品的积累(如MODIS数据)和遥感大数据技术的发展，时间序列数据作为模型样本在现阶段获得了广泛的应用。因此，用于训练深度学习模型的样本主要包括基于多生育时期和长时间序列的遥感数据和气象数据，为进一步提高长势监测精度提供了依据[39-42]。

除上述遥感数据和气象数据作为样本的作物长势监测和产量估测外，国内外学者也陆续开展了以作物品质为样本的长势监测和产量估测研究[43-44]。从研究对象来看，主要集中在小麦与水稻两大粮食作物上，以籽粒蛋白质品质监测预报居多[2,45]。由于随着作物品种的提高和科技的进步，好的品种对特定疾病或虫害的抵抗力更强，并且它们适应了以气候和土壤等多种条件为特征的特定环境[46-47]。因此，利用作物品质作为样本对于提高估产精度具有重要的作用。

表1 主要遥感指标及适用性Tab.1 Major remote sensing indices and applicability

1.1.2样本扩充

深度学习是一种数据驱动的技术，模型通常具有较为复杂的结构，需要大量的训练样本量使得深度学习模型学习到可能的分布[48-49]。然而，受作物品种特性和科技进步的影响，作物长势监测和估产模型的构建一般是应用近5年的数据[50]，能作为训练样本的数据有限，而深度学习模型对训练样本的要求较高，并且在较大规模样本的训练下可达到较高的精度，在较小规模样本下易出现过拟合现象。因此使用数据增强技术进行样本集的扩充对于在一定程度上改善样本量的限制和解决过拟合问题有重要作用，从而改进整体学习过程并获得最佳性能。

INOUE[51]提出一种高效的数据增强方法Sample Pairing，它简单易操作，并且与具体数据无关，通过从训练集中随机抽取两个样本，以平均值的方式合成一个新的样本。ZHANG等[52]通过引入Mixup方法构建虚拟训练样本，此方法同样随机选择两个样本，以一个服从Beta分布的比例进行叠加，从而改进了Sample Pairing在ImageNet、CIFAR、语音和表格数据集中的泛化误差，且有助于消除对错误标签的记忆、对对抗样本的敏感性以及对对抗训练的不稳定性。由于在样本中类不平衡是一种很常见的现象，因此对原始数据过采样来处理样本不平衡问题也是一种数据增强方法。过采样是以多数类样本为标准，通过直接复制少数类样本或者人工合成少数类样本等方式提升少数类样本的数量以达到扩充和平衡数据集的目的。其中比较经典的是CHAWLA等[53]提出的合成少数类过采样技术(Synthetic minority oversampling technique，SMOTE)，该算法通过k近邻法代替原先的简单随机复制样本法，合成新的少数类样本。

当样本数量较少时，传统的Sample Pairing和Mixup等方法很难补充到样本中隐含的潜在分布规律。生成式对抗网络(Generative adversarial network，GAN)作为一种近年来最具潜力的非监督数据增强技术，可以通过生成逼近训练数据真实分布的样本，从而实现对已有类别数据的模拟[54]。然而，GAN在基于梯度下降训练时存在梯度消失的问题，导致优化目标不连续。为了解决训练梯度消失问题，ARJOVSKY等[55]提出了Wasserstein GAN(W-GAN)。考虑到GAN的输出为连续实数分布而无法产生离散空间的分布，YU等[56]提出了一种能够生成离散序列的生成式模型Seq-GAN。针对模型的不同问题，各种基于GAN 的衍生模型相继被提出，从而进一步提高对抗网络的生成和判别能力，并学习出新的、更具代表性的样本。

1.2 作物长势监测和产量估测深度学习模型

尽管深度学习模型具有良好的通用性，但单一的网络框架不能解决所有问题。迄今为止，已经开发了不同的深度学习模型来实现对不同作物的产量估测，从而证明了深度学习网络框架的重要性。主流的深度学习模型包括卷积神经网络(Convolutional neural network，CNN)和循环神经网络(Recurrent neural network，RNN)，下面进一步开展对每个模型结构及其优化的归纳总结。此外，针对深度学习模型可解释性弱的问题，优化模型结构从而提高模型可解释性。

1.2.1CNN及其优化

图1 2D Histogram CNN估产架构[57]Fig.1 Architecture of 2D Histogram CNN yield estimation

相比于ANN，CNN更加易于训练，对于大型图像处理有出色的表现。CNN是一种既有深度结构又包含卷积计算的深层前馈神经网络，是深度学习的常用算法之一。CNN的设计思想受到了视觉神经科学的启发，主要由卷积层(Convolutional layer)和池化层(Pooling layer，也称子采样层)组成。CNN本质上是实现一种输入到输出的映射关系，通过训练数据来进行学习，使得输出数据和标签数据共享相同的维度，避免了显式的特征提取，而是隐式地从训练数据中学习特征，且同一特征映射面上的神经元权值相同，网络可以并行学习，这也是CNN相对于其他神经网络的一个优势。因此，基于CNN模型的作物长势监测和产量估测研究取得了诸多成果，也激发了更多的研究者不断挖掘[57-59]。如周亮等[60]使用MODIS数据构建了基于CNN的冬小麦估产模型，该模型可以从遥感影像中有效地学习与冬小麦产量相关的特征，从而实现冬小麦单产的复杂拟合，对未来冬小麦产量预测可以做到实时高效。深度学习模型的训练过程中存在大量需要探索的技巧，即需要对网络结构和各项参数(如神经元、层数、滤波器大小、步幅、学习率和激活函数等)进行优化来提高网络的收敛性以及网络的泛化能力[49]。为了提高学习效率，得到更高精度的估产模型，NEVAVUORI等[58]测试了CNN各方面(训练算法的选择、网络深度、正则化策略和超参数的调整)对预测效率的影响，并确定了性能最佳的网络，从而显著提高了产量估测的精度。YOU等[57]提出了一种新的深度学习估产框架(2D Histogram CNN)(图1)，其创新之处在于使用遥感影像的直方图信息作为模型输入，既达到了数据降维的效果，同时又取得较高的产量预测精度。TERLIKSIZ等[61]在YOU构建的深度学习估产框架基础上，利用遥感图像的空间、时间和光谱维度，提出了一种用于大豆产量预测的3D CNN。研究结果表明，3D CNN产量预测精度显著优于2D Histogram CNN，并揭示了利用深度时空特征学习模型进行作物产量预测将是未来的一个发展方向。

1.2.2RNN及其优化

图2 基于物候的长短时记忆(LSTM)模型的单产估测结构[68]Fig.2 Architecture of phenology-based LSTM yield estimation model

图3 多级深度学习模型(MLDL-Net)架构[69]Fig.3 Architecture of multilevel deep learning network (MLDL-Net) framework

图4 用于县级冬小麦产量估算的ALSTM模型的总体结构[77]Fig.4 Overall structure of ALSTM model for county-level wheat yield estimation

1.2.3模型可解释性

由于深度神经网络模型具有“黑盒”属性，使得其可解释性弱[19]。然而，在应用深度学习模型开展作物长势监测和产量估测研究时，实验或研究结果可能不理想，这就要求根据特定的问题与数据来制定和优化深度学习的网络结构与训练参数，以及学习策略等，以解决深度学习模型可解释性弱的问题，因此深度学习模型的可解释性成为目前的研究热点之一。可解释性可简单地理解为用人们可理解的方式来解释算法做出相应决策的原因[19,71-72]。目前，对于深度学习模型的可解释性研究主要有2类研究方法[73-74]：一是从模型的可解释性分析入手，调整模型内部参数，对系统得到的结果进行分析，判断内部参数对于结果的影响；二是从模型的构建入手，直接构建本身就具有可解释性的模型，旨在学习更结构化和可解释的模型。后者往往具有更强的可解释性，但建模难度很大，且与应用领域密切相关。注意力机制是前者的典型代表，它与人类的选择性视觉注意力机制类似，是通过扫描全局图像获取重点关注的目标区域。注意力机制主要是在Encoder-Decoder(编码器-解码器)模型框架下提出的，它通过对模型中不同关注部分赋予不同的权重，并从中抽取出更加重要和关键的信息，从而优化模型并做出更为准确的判断[70,75-76]。

目前已出现了一些基于注意力机制的产量估测模型。TIAN等[77]提出了基于注意力机制LSTM(LSTM neural network with an attention mechanism，ALSTM)的冬小麦单产估测模型(图4)，该模型相比于LSTM不仅能够提高估产精度，而且能够提取更重要的特征变量，提高神经网络的可解释性。为了能够清楚了解时间累积效应对于区域作物产量估计和不同地区作物生长的空间差异，LIN等[78]开发了一个名为DeepCropNet(DCN)的深度时空学习框架，其中时间特征由基于注意力机制的LSTM学习，空间特征由多任务学习(Multi-task learning，MTL)机制进行学习，分层捕获县级玉米长势的特征。结果表明，DCN模型可以通过时间学习模块识别玉米生长季节的关键生长阶段，空间学习模块根据MTL机制捕获区域特定特征(如过度降雨、干旱、极端高温)，DCN模型为气候条件和生产水平差异大的区域下进行作物产量估测提供了一个发展方向。此外，林靖皓等[79]将CNN和双向门控循环单元(Bidirectional gated recurrent unit，BiGRU)以统一的架构组合，并在CNN和GRU之间引入自注意力机制(Self-attention)，开发了一种基于自注意力机制双向门控循环单元和卷积神经网络组合(Self-attention C-BiGRU)的芒果产量预测模型。该模型利用CNN的卷积层提取局部特征，Self-attention用于进一步提取依赖特征，BiGRU充分考虑年份之间的关联性，学习长期依赖特征，能够更准确地学习影响产量的特征，从而在一定程度上提高了模型的可解释性。

2 田块尺度的作物长势监测和产量估测研究进展

随着深度学习在区域尺度作物长势监测和产量估测研究的不断深入，进一步细化研究尺度，将长势监测及产量估测研究具体到田块尺度，推动精准农业的持续发展成为目前的研究热点之一。继续沿用区域尺度作物长势监测所使用的1 km级别或者十几天分辨率的遥感数据，均无法满足田块尺度监测的需要。因此，使用高空间分辨率或同时具备高时空分辨率的遥感数据实现田块尺度监测成为解决此类问题的有效方法。本节回顾深度学习方法在田块尺度作物长势监测及产量估测研究中应用的进展，并根据遥感数据获取平台的不同，分为基于无人机平台和基于卫星平台的田块尺度作物长势监测和产量估测。

2.1 基于无人机平台的田块尺度作物长势监测和产量估测

无人机平台因具有成本低、数据获取效率高、测试高度及测试时间可按需调节等优点[80-82]，在监测作物长势研究中具有地面平台和高空平台无法比拟的优势[83]，已被用于田块尺度的农情信息获取。当研究尺度为田块尺度时，影像的空间分辨率提高，包含了更为丰富的空间细节特征。不同于传统方法仅可捕获局部空间相关性[84]，深度学习方法可以同时获取局部和全局的空间依赖特征[85]，提取更复杂的特征，从而获得高精度的长势监测及产量估测结果。YANG等[86]基于无人机平台获取RGB和多光谱图像，使用CNN架构学习与水稻籽粒产量相关的重要特征从而实现在水稻成熟期的产量估测研究。随着CNN模型的进一步发展，模型结构复杂度逐渐提升，为减少模型运行的时间成本，吴刚等[87]在考虑无人机采集图像特性的基础上，选取深度合适、允许原始输入信息直接传到后面层中的ResNet18作为识别玉米植株图像的基本网络结构，实现玉米作物营养状况识别。针对长势监测过程中作物发生的倒伏情况，YANG等[88]利用无人机获取影像，采用FCN-AlexNet和SegNet两种神经网络架构建立图像语义分割模型，实现了大面积稻田的水稻倒伏情况估计。

为进一步研究不同CNN结构对作物长势监测的适用情况，蒋楠等[89]通过无人机采集可见光影像，分别构建基于AlexNet、VGGNet、GoogLeNet 3种网络框架的CNN模型，实现了棉花花蕾期各项生长参数监测，结果表明，AlexNet模型在株高和地上生物量方面表现最好；GoogLeNet模型在叶面积指数监测方面性能最优。张瑞杰等[90]利用无人机影像建立幼苗期油菜的可见光图像数据集，并由农学专家将作物长势标注为好、一般、较差3种情况，选择5种CNN模型：EfficientNet、ShuffleNet v2、ResNet、DenseNet、ResNeXt分别进行优化和实验，实验结果显示，DenseNet的识别精度最高，但是从综合精度和推理时间来看ResNet的表现更佳。综上可以看出，对于具体应用场景，不同深度学习方法的适用性仍需要进一步研究。

利用深度学习方法基于无人机平台进行作物长势监测时存在平台容易受环境影响、无法大范围长时间连续稳定获取作物影像、深度学习算法复杂性高及耗时长等不足。未来可以进一步完善无人机遥感技术，提高数据获取及处理的稳定性和一致性，从而确保获取数据的准确性，实现长时间序列的作物长势监测和产量估测。此外，可尝试通过改进深度学习算法，来提高算法学习效率。

2.2 基于卫星平台的田块尺度作物长势监测和产量估测

随着高空间分辨率卫星的不断出现以及相比于无人机平台所具有的覆盖范围广等优势，利用高空间分辨率卫星数据进行田块尺度作物长势监测及产量估测也取得了一定进展。如， CAO等[91]通过整合谷歌地球引擎(Google earth engine，GEE)平台中公开可用的数据，对比深度神经网络(Deep neural network，DNN)、1D CNN和LSTM在田块尺度产量预测的适用性，结果表明，DNN在田块尺度表现较好。然而，在利用高空间分辨率卫星影像进行田块尺度作物长势监测时，光学遥感卫星容易受到天气影响，无法在时间尺度上满足监测需要。针对这一问题，可采用基于光学和微波遥感数据融合的方法以及基于时空数据融合的方法对缺失数据进行补充，从而满足时间尺度监测的需要。

相比于光学遥感，微波遥感可以接收来自地表较长的电磁波信息，这些较长的电磁波可以有效穿透云雾，从而使得微波遥感具备全天候监测地表的能力[92]。因此，融合光学和微波遥感数据可以进一步提高模型输入数据的获取能力。目前，在融合光学与雷达遥感卫星数据方面，大部分研究的关注点在于如何基于雷达数据填补光学遥感指数在时间序列上的缺失。如ZHAO等[93]基于时间序列Sentinel-1雷达卫星数据的VV和VH极化图像，首先利用1D CNN模型提取每种极化图像的特征，然后将提取出的时间序列雷达极化特征输入LSTM模型，用以模拟时间序列的Sentinel-2光学卫星数据反演的NDVI的动态变化，最终在时间序列上填补NDVI的缺失。物候是影响作物生长的一个重要因素，是作物长势监测的一个重要研究领域。得益于微波遥感卫星的全天候地表信息获取能力，基于微波遥感的作物物候监测受到越来越多的关注。如MERONI等[94]针对不同类型作物，比较了Sentinel-1和Sentinel-2数据在监测作物物候方面的表现，发现Sentinel-1反演的物候结果与Sentinel-2的反演结果具有可比性，且相比于夏季作物，冬季作物的可比性更高。上述研究表明，光学数据和微波数据在监测作物长势方面具有较高的协同潜力。为了更好地结合两种数据源各自的优势，也有一些研究以光学和雷达数据同时作为模型输入，这不仅弥补了仅依靠光学数据作为模型输入带来的信息不足的缺陷，同时也避免了只依靠微波数据带来的较多异常值的问题。如IENCO等[95]将时间序列的Sentinel-1和Sentinel-2数据集分别作为模型的输入数据，并分别通过ConvGRU+Attention分支和CNN分支，每个分支后连接一个辅助分类器以提高分支的预测能力，最后通过全连接层输出地表分类结果。鉴于目前田块尺度的作物产量标签获取难度较大，通过深度学习方法并融合光学和雷达数据的农业领域研究主要集中在作物分类方面，而在田块尺度的作物产量估测方面的研究还较少。

相比基于光学和微波遥感数据融合的方法，基于时空数据融合的方法不仅能够实现缺失数据的填补，还可以满足在田块尺度监测过程中高时间和高空间分辨率的要求，从而进一步提高田块尺度长势监测及产量估测的精度。基于时空数据融合的作物长势监测及产量估测方法通过融合高空间分辨率数据和高时间分辨率数据获取具有高时空分辨率的遥感数据，从而进行田块尺度的作物长势监测及产量估测。目前基于时空数据融合的田块尺度作物长势监测方法可以依据时空数据融合方法不同，分为基于混合像元分解、基于权重函数、基于贝叶斯、基于学习和基于混合的5类时空融合方法[96]，并已广泛应用于作物种植面积提取[97-98]、长势监测[99-100]及产量估测[101-102]。其中，基于学习的时空融合方法可利用机器学习算法学习不同分辨率影像之间的非线性变化关系建立模型，从而获取具有较高精度的高时空分辨率影像。

随着深度学习的不断发展，基于深度学习实现时空数据融合成为一种新的研究思路。CHU等[103]使用两个反向传播神经网络(Back-propagation neural networks，BPNNs)和独立循环神经网络(Independently RNN，IndRNN)引入时间特征，从而提取数据的空间特征和时间特征，并通过全连接层对特征进行融合实现对水稻产量的预测，降低了时间特征对产量预测的影响。目前已出现了一些基于CNN的时空数据融合模型。相比于传统的时空数据融合模型，基于CNN的时空数据融合模型能够自动、有效地学习影像上的特征，并在特征层面上进行数据融合。相比于像元层面的时空数据融合模型，特征层次的时空数据融合模型能够减少对影像噪声的敏感程度，然而在融合影像的清晰度方面有所降低。SAGAN等[104]运用2D和3D的CNN集成WorldView-3和PlanetScope卫星数据中包含的光谱、空间和时间信息实现大豆生长季产量估测。为进一步适应时间变化，处理复杂和异质性的景观，以及集成其他卫星数据集，HTITIOU等[105]提出了一种基于极深超分辨率(Very deep super-resolution，VDSR)的深度学习时空数据融合方法，将Sentinel-2和Landsat 8的NDVI数据进行融合，并对比分析了VDSR与增强型时空自适应反射率融合模型(Enhanced spatial and temporal adaptive reflectance fusion model，ESTARFM)和灵活时空数据融合(Flexible spatiotemporal data fusion，FSDAF)两种经典方法的性能，结果表明，VDSR算法相较其他数据融合算法具有模糊程度最低和合成NDVI值预测最准确的特点，特别是在景观异质性和土地覆盖突变的地区。

除上述已运用于作物长势监测及产量估测的深度学习融合方法外，还有一些提出的深度学习融合方法尚未运用到农业领域，如TAN等[106]提出的深度卷积时空融合网络(Deep convolutional spatiotemporal fusion network，DCSTFN)，该算法充分利用CNN从高时间低空间分辨率和低时间高空间分辨率的遥感影像中提取高时空分辨率影像，结果表明，基于CNN的融合算法不仅达到了较高的精度，而且比传统的时空融合算法更具鲁棒性。此后，TAN等[107]对现有的DCSTFN进行了细化和改进，提出了改进的深度卷积时空融合网络(Enhanced DCSTFN，EDCSTFN)，该算法通过构建残差编码器自动学习输入高空间分辨率影像与预测高空间分辨率影像之间的特征差异，同时，在损失函数中引入视觉损失函数来尽可能保留高频信息，从而进一步提高了模型预测精度。在今后的研究中可尝试将此类方法运用于作物长势监测及产量估测之中，扩展方法应用领域，进一步研究方法的适用性。

3 存在的问题与展望

虽然基于深度学习的长势监测和产量估测研究已经取得了全面发展，然而，相关领域的研究还存在一些需要解决的问题。主要表现在：

(1)深度学习模型建立于大样本之上才能保证其精度，然而，目标产量的样本数量通常是有限的，因此使用迁移学习可以在一定程度上改善小样本的限制[108-109]。在这种方法中，可以使用有限的样本在大型数据集上预训练的模型中的参数进行微调，以在新任务中获得最佳性能。具体包括以下两方面：一是基于区域的迁移学习。首先利用样本数量充足的区域来学习模型，然后将该模型扩展到样本数量较少的其他区域，实现区域的传递。二是基于参数的迁移学习。针对相关任务的模型间共享部分参数，或超参数的先验分布以提高整体性能。迄今为止，虽然这两种方法都有助于提升模型性能，但由于数据具有复杂和多样的特点，目前对数据集相似度的界定还没有统一的办法，且以相似度为基础的迁移需要更多定量和定性的解释。因此，未来随着数据的累积，深度学习模型的优势将逐渐凸显。此外，基于区域的迁移学习中不同区域的环境是异构的，如何实现异构环境下的迁移是未来的研究方向。

(2)深度学习的可解释性依旧是个难题。深度学习模型的本质是从数据到数据的特征提取，对作物生长过程的描述与机理表达无法学习到，而作物生长模型整合了很多已知的作物生理学、作物栽培学等先验知识。因此，未来可尝试探索作物生长模型和深度学习模型的并行和协同开发，以提高对作物生长过程的理解，从而提高模型的可解释性。此外，作物生长模型参数往往存在不确定性，从而导致模型输出错误，通过实际观测和其他辅助数据，使用深度学习模型来对作物生长模型输出进行校准。

(3)在田块尺度利用深度学习进行作物长势监测及产量估测时，需利用深度学习复杂的网络结构对高分辨率数据进行充分学习，而在此过程中需要大量的时间进行训练，同时对计算机性能提出了较高要求。因此，如何高效、快速学习特征，保证学习特征的完整性，尽可能减少对冗余信息的学习是利用深度学习方法进行田块尺度长势监测的难点之一。

(4)在田块尺度进行作物长势监测及产量估测时，卫星遥感难以克服空间异质性对于精度的影响，而无人机平台可以较好地识别异质性信息，因此可以尝试将无人机平台与卫星平台相结合，以无人机平台数据作为卫星数据时空融合过程中尺度转换的中间变量，确保在降尺度过程中的精度。

深度学习在产量估测方面取得了比传统机器学习和统计模型更高的精度，不断克服依赖专家经验、耗费人力物力等缺点，为作物长势监测及产量估测的研究拓展了全新的研究视角。本文从区域尺度和田块尺度两方面，通过代表性文献分析了深度学习在作物长势监测及产量估测相关研究中的最新应用进展。同时随着在时间、空间等维度的深度融合，对未来深度学习技术提出更高的要求，只有智能技术的更进一步发展才能有效促进融合下的多维度数据分析，为农情监测和防灾减灾提供更强的科学依据和技术支撑。