基于深度属性学习的光学遥感图像分类研究

许文嘉

1.北京邮电大学信息与通信工程学院,北京 100876; 2.中国科学院空天信息创新研究院,北京 100094

遥感技术革命性地拓展了人类观测地球的手段和能力,遥感数据理解已成为当前认知地球变化、了解人类活动的重要工具。遥感影像分类是遥感图像理解的基石,在地物观测和变化检测等领域正发挥着关键作用。现有机器学习方法多基于图像直接提取图像特征预测类别标签,然而图像特征与类别标签之间存在较大的语义鸿沟,面向少样本、细粒度的遥感影像进行分类仍是当前非常具有挑战性的任务。属性刻画了图像类别的具体视觉和语义特性,是连接底层图像特征与高层语义的中间表示,能够标识类别辨别性特征、传递类间共享信息、揭示模型运行机理,成为近年来深度学习领域的研究热点。

因此,论文研究在基于深度神经网络的属性学习理论驱动下,针对当前遥感图像分类面临的挑战,研究深度属性学习驱动的遥感图像分类方法,重点突破细粒度和少样本的遥感影像分类。论文主要工作和创新点如下。

(1) 针对细粒度遥感目标分类任务,论文提出融合属性预测的多任务学习模型。将属性预测和类别预测相结合能够引导神经网络注意具有类别辨别性的图像区域,如关注图像的前景目标和局部细节信息。此外,模型提出嵌入注意力推理模块,通过计算属性特征对于类别预测的贡献度,生成基于属性贡献度的模型决策解释。试验证明,该模型能够将神经网络对于前景目标的注意力提升60%,在细粒度遥感飞机分类任务中取得93.23%的准确率。此外,模型为神经网络的运行机理提供准确的解释,增强其可采信度。

(2) 针对光学遥感图像场景分类中的细粒度问题,论文提出基于多源数据(遥感图像和用户地理空间大数据)的属性提取融合分类模型。针对用户地理空间大数据中富含的时空属性特征,论文模型首先提取数据的时间统计特征作为时间属性;然后进一步考虑用户活动在空间上的规律性,建立用户-区域图网络,提取反映用户在各区域活动的空间属性;最后基于深度学习网络提取图像特征并与时空属性进行的融合分类。得益于时空属性的类别辨别性,融合属性分类能够大幅度提高细粒度遥感场景分类任务准确率。

(3) 针对光学遥感图像分类面临的少样本和零样本问题,论文提出属性原型网络,将少样本和零样本分类任务整合到统一框架下。该模型通过对卷积神经网络中间层特征进行属性回归学习,提高网络对于局部关键类别信息的学习。此外,模型利用属性的类间共享特性,利用少样本类别的属性信息学习其类别视觉空间分布,实现视觉信息从样本较多的源类别到少样本目标类别的迁移,解决视觉特征少导致的分类难题。试验证明,论文能够实现高精度属性视觉信息建模,并能够正确定位属性在图像中的位置,较国际主流算法精度提高超过15.0%;此外,属性原型网络大幅度提高少样本和零样本分类精度。

(4) 针对人类标注属性成本高、属性在视觉空间不完备等问题,论文提出视觉属性发掘网络。为实现属性自动化标注,网络通过大量图像局部切片的聚类,挖掘具有相同视觉信息的属性簇,提高属性视觉完备性的同时减少人类标注成本。为将视觉属性从样本较多的源类别拓展到少样本目标类别,该网络提出类别关系模块,通过类别相似性矩阵优化算法学习类别关系,实现视觉属性的类间迁移。定量试验表明,该网络能够发掘与人类标注属性互补的视觉属性,将细粒度分类准确率提升近20.0%;相比于语料挖掘属性的方法,论文的视觉属性能够将零样本分类准确率提升12.0%;用户调查试验表明,该网络挖掘的属性传递人类理解的语义信息,有效减少标注属性所需的时间成本。