改进Oriented R-CNN的遥感尾矿库检测

李敏 苏文博 隋正伟 李俊杰

改进Oriented R-CNN的遥感尾矿库检测

李敏1苏文博1隋正伟1李俊杰2

（1 中国四维测绘技术有限公司，北京 100086）（2 中国资源卫星应用中心，北京 100094）

尾矿库中含有大量的尾砂，是一个具有高势能的人造泥石流危险源，一旦发生溃坝危险，就会带来严重的人员损失和环境灾难。掌握尾矿库的数量和空间分布情况，对尾矿库事故的预防具有重要的意义。传统的尾矿库调查依赖人工目视解译和地面验证，难以实现大范围、高频次的监测。文章以多源高分辨率卫星影像为数据源，采用人工遍历解译的方式标注样本，并结合多种数据增广方法构建了深度学习的尾矿库检测数据集。在此基础上，通过嵌入轻量化的注意力机制模块，同时设置自适应的锚框，优化Oriented R-CNN模型。实验结果表明：改进后的模型在尾矿库检测数据集上的性能显著提升，全类平均精度和召回率分别能够达到84.14%和90.32%，同时模型具有较强的可靠性和泛化性。文章提出的方法有利于推动尾矿库自动化、智能化的应急监管。

尾矿库 目标检测 注意力机制 遥感应用

0 引言

尾矿库是指筑坝拦截谷口或围地构成的，用以堆存金属或非金属矿山进行矿石选别后排出的尾矿或其他工业废渣的场所，一般由堆存系统、排洪系统、回水系统等部分组成。尾矿库中含有大量的尾砂，是一个具有高势能的人造泥石流危险源，易造成溃坝的危险，存在极大的安全隐患[1]。此外，受地形和结构的限制，尾矿库多位于偏远山区，受监管程度相对较弱，常出现尾矿库建设不达标、尾矿库安全管理不善等问题，对社会经济和生态环境产生严重的负面影响[2]。因此，快速准确地掌握尾矿库的数量、范围和空间分布等信息，对于尾矿库的应急管理和事故预防具有非常重要的意义[3]。

传统的尾矿库遥感监测方法大多采用地面调查和人工解译相结合的方式，但我国尾矿库分布范围广，且多存在于偏远地区，这种方法不仅费时费力，也难以满足全面性和时效性的要求。随着遥感技术的发展，已有学者借助遥感图像进行尾矿库的监测与统计分析，最常用的方法是基于遥感影像的光谱、纹理等特征提取尾矿库。例如，文献[4]利用Landsat 7和SPOT 5融合图像，采用线性光谱分解方法提取了矿山尾砂；文献[5]利用Landsat 8 OLI影像建立了超低品位铁相关物指数，然后基于尾矿库与采场的熵差提取尾矿库；文献[6]利用Landsat 8数据，通过构建多种指标以实现尾砂的提取。然而，由于不同尾矿库的颜色、形状、尺寸等差异较大，且背景复杂，这种自动化程度低的方法往往不能适应大范围的目标检测。因此，如何快速、全面、准确地提取尾矿库，仍然是一个具有挑战性的问题。

凭借着卷积神经网络自动提取特征的优势，近年来，深度学习技术在计算机视觉领域得到了广泛的应用，已被证明是一种强大的图像处理技术[7]。目前基于深度学习的目标检测方法可以分为两类：即以区域卷积神经网络（Regions with CNN Features，R-CNN）及其改进算法为代表的两阶段方法[8-10]，和以YOLO、SSD为代表的单阶段检测方法[11-14]。这些算法在自然图像处理领域取得了甚至超过人类识别能力的巨大成功[15]，也在遥感影像的目标检测和地物提取领域发挥了重要作用，为大范围、自动化、智能化的遥感影像尾矿库提取奠定了基础。例如，文献[16]基于单阶段的SSD模型，自动提取了京津冀地区的尾矿库；文献[17]以U-Net网络框架为基础，利用卫星影像提取了尾矿库并验证了方法的可靠性；文献[18]通过在Faster R-CNN中嵌入特征金字塔和注意力机制，显著提高了尾矿库的检测精度和召回率；此外，文献[19]在改进的Faster R-CNN网络中加入近红外波段信息，同样实现了高性能的尾矿库检测。

以上方法均采用水平框的方式提取尾矿库，虽然能够在一定程度上提高尾矿库的检测识别精度，但是，由于地形、结构等因素的影响，尾矿库在遥感影像上的方向是任意的，水平框中冗余的背景信息会增加噪声干扰，降低尾矿库检测的精度。目前，基于旋转框的目标检测算法在飞机、舰船等目标的检测中取得了显著性突破，为有效解决尾矿库的精准检测问题提供了一种新的思路和方法[20-23]。

针对上述尾矿库提取的难题，本文采用多期山东和河南省的国产高分辨率卫星影像构建了2 402个尾矿库样本，并结合多种数据增广方法扩充样本集。在此基础上，通过改进Oriented R-CNN模型[24]对尾矿库进行检测，实现了大范围遥感影像内尾矿库信息的快速、精确提取，并以山西省忻州市为示范应用区，验证了改进后模型的适用性和有效性。

1 实验数据

1.1 样本采集

受地形地貌、矿产资源开采、经营规模等因素的影响，我国现存的尾矿库大体上可分为山谷型、傍山型和平地型三种，如图1所示。本文以这三种尾矿库为目标，进行尾矿库的样本制作和检测识别。

图1 三种尾矿库示例

我国河南省和山东省具有丰富的矿产资源。据统计，截至2022年，河南省现存尾矿库数量为365座，山东省现存尾矿库数量146座。为制作深度学习目标检测的样本数据集，本文以河南省和山东省为研究区，以2 m分辨率的高分系列和资源系列卫星影像为数据源，采集2021年的影像数据。经过正射校正、镶嵌融合等一系列预处理后，对尾矿库的形状、大小、纹理、色调等特征进行分析，构建尾矿库的解译标志。在此基础上，采用ArcGIS矢量编辑工具勾画带有地理坐标信息的尾矿库目标最小面积外包矩形，图2展示了2021年河南省和山东省的尾矿库分布情况。之后，为满足深度学习训练的需求，利用Python的空间数据处理库将影像处理成1 024像元×1 024像元大小的三波段8比特的切片（重叠区域为25%），如果目标过大，则将切片尺寸放大至包含目标。同时，生成对应图像坐标的尾矿库标签文件，初步完成样本的制作。样本数据统计信息如表1所示。

图2 尾矿库样本分布

表1 样本数据集信息统计

Tab.1 Statistics of tailings pond dataset

为提升模型的泛化性能，本文充分利用遥感影像的时空特性，结合多时相的影像数据丰富样本库。收集三期（2016年、2018年、2020年）空间分辨率为2 m的卫星影像数据（如表1所示），叠加2021年的矢量标注文件，通过人工遍历的方式检查目标对象并进行增删改操作，快速实现了长时间序列影像的样本标注。最终，基于四期多源卫星遥感影像共生成了1 693个尾矿库切片，包含2 402个尾矿库目标*：部分样本数据已在《中国科学数据》发布，数据服务网站：https://doi.org/10.57760/sciencedb.06518。。将数据集按照7︰2︰1比例随机分为训练集、验证集和测试集，以进行模型的训练迭代和效果评估。

1.2 样本增广

深度学习模型的性能极大程度上依赖于大规模的样本数据集，但是由于尾矿库分布较为稀疏，采用大批量原始图像进行人工遍历标注需要耗费大量的人力、物力。因此，考虑到不同传感器、不同时间、不同角度拍摄的影像特征以及尾矿库的尺度大小不同，本文对训练集中的尾矿库样本进行几何增广（随机缩放、翻转、旋转）、色彩增广（亮度、对比度）、数量增广（Copy Paste）等增强处理，以扩充训练数据集。前两种增强方式是对整个样本切片进行处理，如图3所示。数量增广则是将包含尾矿库目标的最小面积外接矩形区域粘贴至其他负样本切片中，以此增加尾矿库目标背景的多样性。

图3 几何增广和色彩增广示例

1.2.1 几何增广

几何增广需要考虑样本切片大小和形状产生的变化，尾矿库相对于图像的坐标位置（Bounding Box）也会发生相应的变化。图像的几何变化可以用如下公式表示

1.2.2 色彩增广

色彩增广是指通过改变样本切片各通道的像素值，使其图像亮度、对比度、饱和度等呈现出与原始图像不同的特征，以此提高模型算法对于色彩的鲁棒性。色彩增广主要针对样本切片，不需要考虑目标相对图像的Bounding Box变化。

1）亮度。亮度增广操作是将样本切片各通道的像素值随机加减一个整数，同时保证变换后的像素值在[0，255]范围内，再依次合并各通道数据形成增广后的样本切片。

2）对比度。对比度增广操作是按照一定的数学规则对原始图像的每个像素进行逐点计算生成新的样本切片。

1.2.3 数量增广

由于尾矿库形状、纹理等特征复杂，较容易与水体、耕地、山脉等背景地物相混淆。为了解决此问题，本文首先利用现有数据集训练一个模型，对研究区进行测试，并将输出结果中存在误检的影像切片作为负样本。采用Copy Paste方法将正样本中的尾矿库标签区域裁剪下来，随机粘贴至负样本切片上，以此来增加训练集中尾矿库的目标数量，同时丰富样本数据集的目标背景多样性。

2 研究方法

2.1 算法架构

本文以两阶段目标检测算法Oriented R-CNN为基础，通过改进特征提取器和锚框设置，充分获取尾矿库目标的上下文信息，模型结构如图4所示。首先，将遥感图像切片调整大小后，输入结合注意力机制（Squeeze and Extraction，SE）[25]的残差神经网络（Residual Network，ResNet）[26]进行特征提取，输出多级特征。其次，将多层级特征输入特征金字塔网络（Feature Pyramid Network，FPN）中进行特征融合，生成具有丰富上下文信息的多尺度特征图。第三，将特征图输入方向区域建议生成网络（Oriented Region Proposal Network，Oriented RPN），通过适应性地设置大小和长宽比不同的锚框，生成一系列的旋转区域候选框。第四，将特征图和区域候选框输入到区域特征对齐的Rotated RoIAlign层，生成大小一致的候选区域特征图。最后，将候选区域的特征图输入到全连接层（Full-Connected Layer，FC），进行目标的分类和定位，获得尾矿库目标的精确位置。

图4 模型总体架构

与原始的Oriented R-CNN相比，本文模型有以下改进：1）采用多种数据增广方式丰富样本数据，并利用Copy Paste方法增加目标背景信息，进行迭代训练，能够有效降低错检率。2）将注意力机制SE嵌入ResNet的残差结构中作为特征提取网络，校准通道的特征贡献度，增强贡献度高的特征，可以提升特征表达能力。3）根据数据集设置大小和长宽比自适应的锚框，以检测不同尺度和大小的目标。

2.2 结合注意力机制的残差神经网络

注意力机制借鉴人类的选择性认知原理，从众多信息中选择出对当前任务目标更关键的信息加以增强，同时抑制无关信息。为了提高ResNet网络的特征提取与表达能力，本文在特征提取阶段采用结合SE注意力机制的ResNet网络残差结构获取深层特征，结构图如图5所示。

图5 SE注意力机制结构

在原始残差网络的基础上，SE模块增加了一条连接。首先对卷积得到的特征图进行全局池化的压缩操作，得到通道级的全局特征，然后通过两个全连接层和激活函数对全局特征进行激励操作，学习并更新特征通道的权重。SE注意力机制可以突出重要通道的特征，同时抑制冗余通道的特征，提高模型的检测精度。

压缩操作的公式如下

此外，激励操作的公式如下

2.3 特征金字塔网络

图6 特征金字塔FPN的生成

2.4 方向区域建议生成网络

图7 样本目标的长边尺寸和长宽比分布

式中 是预测候选框的中心坐标；w和是预测候选框外接矩形的宽和高；和分别为预测候选框相对于外接矩形上边界和右边界的偏差。表示水平锚框的位置，表示预测输出候选框坐标相对于锚框的偏差值，最终，可以通过六参数确定预测候选框的位置。区域建议生成网络Oriented RPN的基本结构如图8所示。

3 结果分析

3.1 参数设置

本文采用的深度学习框架为PyTorch，编译器为PyCharm。所有实验均在Ubuntu 18.04 LTS操作系统的工作站上运行。该工作站配备了NVIDIA GeForce RTX 3080Ti的GPU显卡，并已安装GPU开发包CUDA11.1以及深度学习加速库CUDNN8.3。在训练阶段，模型初始学习率设置为0.002 5，迭代训练36轮次。当迭代训练至24和33轮次时，分别将学习率调整为原来的十分之一。此外，本实验采用的优化方法为Adam，批处理大小为2。

3.2 精度评估

本文采用准确率（Precision）、召回率（Recall）和全类平均精确度mAP（mean Average Precision）三个指标对模型结果进行定量评估。准确率和召回率的计算公式分别为：

其中，TP为正确识别为尾矿库的目标数；FP为误识别为尾矿库的目标数；FN为未识别出的尾矿库目标数。因此，准确率可以表示预测正确的样本数与所有预测出的对应类别目标数之比，召回率可以表示预测正确的样本数占实际对应类别正样本数的比例。召回率越高，表明模型对正样本的识别能力越强。本研究中，当预测框与真实框面积的交集与并集的比值（交并比IoU）大于0.5时，将预测框标记为正样本。

由于准确率和召回率是一对相互制约的指标，因此，目标检测中通常采用平均精确度AP来评估模型的准确度。AP是准确率和召回率所围成的曲线下面的面积，mAP是所有类别AP的平均值。

式中表示待检测的目标类别数，由于本文的检测目标只有一类即=1，因此尾矿库检测的结果AP值即为mAP。mAP值越大，模型的检测效果就越好。

3.3 实验结果

本文以多源高分辨率的遥感影像为数据源，采用数据增广扩充训练样本集，同时融合注意力机制和自适应锚框改进网络。通过迭代训练模型并在验证集上进行性能评估，获得检测结果的召回率为90.32%，mAP为84.14%。

图9展示了测试集上不同类型尾矿库的检测结果，其中红色框为地面真实框，蓝色框为预测结果框。总体上看，对于山谷型（图9（a））、傍山型（图9（b））和平地型（图9（c））的尾矿库，改进后的模型都能取得优异的检测效果。模型的检测误差（图9（d））主要存在于中：1）坑塘、湖泊等水域与尾矿库汇水区特征较为相似，最容易产生误检；2）由于尾矿库尺寸差异较大，对于部分大面积的尾矿库，尤其是废弃后有植被覆盖的区域，会造成检测定位的不全面；3）平地型尾矿库形式多样，特征较为复杂，易与施工或耕种后的裸地相混淆，产生误检或漏检。

图9 检测结果示例

本文通过消融实验来定量分析不同网络组成结构对模型检测性能的影响，精度评价结果如表2所示。可以看出，以ResNet-50[26]为特征提取网络的Oriented R-CNN基准模型检测尾矿库的mAP仅为78.65%，召回率为85.74%；采用ResNet-101[26]网络能够有效提升检测器对目标特征的学习能力，网络检测的mAP值相对提高了1.57%，召回率提高了1.44%；在模型中嵌入SE注意力机制模块，有效抑制了无用信息，检测性能进一步提升，mAP值达到了82.33%，召回率上升了1.23%；在此基础上，设置自适应的锚框大小，使得模型的检测mAP值相对基准模型提升了5.49%，最终召回率超过90%。结果表明，改进后的Oriented R-CNN模型能够取得最优的检测性能，在尾矿库的检测中表现出了一定的优越性。

表2 模型检测结果表

Tab.2 Detection results of ablation study

表注：√表示模型包含该结构，否则为不包含该结构。

为进一步验证模型的性能，本文将改进后的Oriented R-CNN与现有的多种旋转框目标检测模型进行对比，包括双阶段的Rotated Faster R-CNN[27]、RoI Transformer[28]、Gliding_Vertex[29]、ReDet[30]以及单阶段的S2ANet[31]、R3Det[32]，不同模型的检测结果如表3所示。可以看出，改进后的Oriented R-CNN在尾矿库检测数据集上的性能显著优于其他双阶段网络，其mAP值比Gliding_Vertex和RoI Transformer分别高19.03个百分点和5.94个百分点，召回率分别高14.90个百分点和2.81个百分点。此外，与单阶段的S2ANet和R3Det相比，改进后Oriented R-CNN网络的mAP值分别高了5.76百分点和6.16百分点，召回率相差较低，约为1%。综上所述，改进后的Oriented R-CNN网络在尾矿库检测数据集上的性能都超过了其他网络模型，能够实现最优效果的尾矿库检测。

表3 不同检测模型结果对比

Tab.3 Detection results of different models on test dataset

在获取高性能的检测模型之后，本文以山西省忻州市为应用示范区进行尾矿库的检测应用，以进一步验证模型的泛化能力以及在实际应用中的效果。忻州市位于山西省中北部，介于东经110°53′3″～113°58′，北纬38°6′5″～39°40′之间，南北长约170 km，东西宽约245 km，总面积25 157.641 km2。作为山西省面积最大的市，忻州市矿产资源丰富，已知矿产达50余种，尾矿库数量超200座，是安全监管和应急管理的重点区域[33]。

选择忻州市2021年2 m分辨率的高分系列和资源系列卫星影像，在经过正射校正、镶嵌融合等预处理后，采用训练好的模型在15 min内即完成了忻州市区域的尾矿库检测。最终，在目标框置信度阈值为0.5的条件下，共检测出尾矿库184座，如图10所示。可以看出，忻州市尾矿库主要集中在东部山区和西部边界区域，中部只有少量尾矿库。此外，在类型上，忻州市尾矿库以平地型居多，山谷型次之，傍山型较少。

图10 忻州市尾矿库检测结果

通过人工目视遍历的方式对检测结果进行定量分析，结果如表4所示。2021年忻州市共有尾矿库204座，正确检测的为172座，漏检32座，召回率为84.3%；检测结果中共有184座尾矿库，误检的尾矿库有12座，准确率为93.4%。初步分析可能是由于忻州市地区平地型尾矿库偏多，造成了检测召回率相比验证集的结果略有偏低，可考虑通过降低置信概率来提高检测结果的召回率。综合而言，模型在忻州市的应用效果较为优异，表明了该模型具有较强的泛化性和适用性。

表4 忻州市尾矿库检测结果统计表

Tab.4 Statistics of detection results in Xinzhou city

4 结束语

尾矿库作为具有高势能的人造泥石流危险源，是国家应急管理的重点对象。针对如何快速检测识别尾矿库的难题，本文以多源高分辨率卫星影像为数据源，结合多种数据增广操作构建了尾矿库的样本数据集。在此基础上，通过嵌入注意力机制，并设置自适应锚框大小改进Oriented R-CNN网络，提出了一种高分辨率遥感影像的尾矿库智能识别方法。实验结果表明：1）改进后的模型能够显著提高尾矿库检测的召回率和精度，具有良好的可靠性；2）与其他目标检测模型相比，本研究的方法在尾矿库检测数据集上具有最优的检测性能，能够实现高精度的尾矿库检测；3）改进后的模型具有良好的泛化性能，可实现大范围的尾矿库检测。本研究的方法可促进大规模、高精度、自动化、智能化的尾矿库监测应用，为尾矿库的应急管理提供有效的支持。

虽然本研究模型能够在一定程度上精确定位尾矿库，但也存在一定的误差。一方面是由于尾矿库的组成较为复杂，尤其是平地型尾矿库，其形状、结构、色调等特征根据背景的不同呈现出多样性，导致模型在检测过程中会将水体、裸地等地物误识别为尾矿库目标；另一方面，尾矿库尺寸差异较大，部分大型目标的各部分会被识别为独立的尾矿库，造成检测精度的下降。在后续的研究中，可深入分析样本数据，针对不同类型的尾矿库分别构建关键性特征提取网络，提升尾矿库的总体检测效果。同时融合不同分辨率的影像数据，解决目标尺寸范围大的问题，进一步提高模型的性能，探索不同方法在全国范围尾矿库提取中的有效性和适用性。

[1] 王昆, 杨鹏, 吕文生, 等. 尾矿库溃坝灾害防控现状及发展[J]. 工程科学学报, 2018, 40(5): 526-539.WANG Kun, YANG Peng, LYU Wensheng, et al. Status and Development for the Prevention and Management of Tailings Dam Failure Accidents[J]. Chinese Journal of Engineering, 2018, 40(5): 526-539. (in Chinese)

[2] 王仪心, 米占宽. 尾矿坝溃坝安全风险分析评价方法[J]. 金属矿山, 2019, 1(6): 184-188.WANG Yixin, MI Zhankuan. Safety Risk Analysis and Evaluation Method for Tailings Dam Break[J]. Metal Mine, 2019, 1(6): 184-188. (in Chinese)

[3] 高小盼, 张志学, 宋金蕊, 等. 天空地一体化技术在尾矿库监测预警中的应用[J]. 金属矿山, 2020, 2(2): 188-193.GAO Xiaopan, ZHANG Zhixue, SONG Jinrui, et al. Application of Space, Air and Ground Integrated Technology in Monitoring and Early Warning of Tailings Pond[J]. Metal Mine, 2020, 2(2): 188-193. (in Chinese)

[4] MEZNED N, MECHRGUI N, ABDELJAOUAD S. Mine Wastes Environmental Impact Mapping Using Landsat ETM+ and SPOT 5 Data Fusion in the North of Tunisia[J]. Journal of the Indian Society of Remote Sensing, 2016, 44(3): 451-455.

[5] MA B, CHEN Y, ZHANG S, et al. Remote Sensing Extraction Method of Tailings Ponds in Ultra-low-grade Iron Mining Area Based on Spectral Characteristics and Texture Entropy[J]. Entropy, 2018, 20(5): 345-353.

[6] HAO L, ZHANG Z, YANG X. Mine Tailing Extraction Indexes and Model Using Remote-Sensing Images in Southeast Hubei Province[J]. Environmental Earth Sciences, 2019, 78(15): 1-11.

[7] LECUN Y, BENGIO Y, HINTON G. Deep Learning[J]. Nature, 2015, 521(7553): 436-444.

[8] GIRSHICK R. Fast R-CNN[C]//2015 IEEE International Conference on Computer Vision, December 7-13, 2015, Santiago, Chile. IEEE, 2015: 1440-1448.

[9] GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[C]//IEEE Conference on Computer Vision and Pattern Recognition, June 3-28, 2014, Columbus, OH, USA. IEEE, 2014: 580-587.

[10] REN S, HE K, GIRSHICK R, et al. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, 39(6): 1137-1149.

[11] LIU W, ANGUELOV D, ERHAN D, et al. SSD: Single Shot Multi-Box Detector[C]//Computer Vision–ECCV 2016: 14th European Conference, October 11-14, 2016, Amsterdam, The Netherlands. Springer International Publishing, 2016: 21-37.

[12] REDMON J, DIVVALA S, GIRSHICK R, et al. You Only Look Once: Unified, Real-Time Object Detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition, June 27-30, 2016, Las Vegas, NV, USA. IEEE, 2016: 779-788.

[13] REDMON J, FARHADI A. YOLO9000: Better, Faster, Stronger[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition, July 21-26, 2017, Honolulu, HI, USA. IEEE, 2017: 7263-7271.

[14] REDMON J, FARHADI A. YOLOv3: An Incremental Improvement[EB/OL]. [2022-04-05]. https://arxiv.org/abs/1804.02767.

[15] ZHAO Z, ZHENG P, XU S, et al. Object Detection with Deep Learning: A Review[J]. IEEE Transactions on Neural Networks and Learning Systems, 2019, 30(11): 3212-3232.

[16] 李庆. 基于深度学习的尾矿库自动识别方法及应用研究[D]. 焦作: 河南理工大学, 2020.LI Qing. Research on Automatic Identification Method and Application of Tailings Pond Based on Deep Learning[D]. Jiaozuo: Henan Polytechnic University, 2020. (in Chinese)

[17] ZHANG C, XING J, LI J, et al. Recognition of the Spatial Scopes of Tailing Ponds Based on U-Net and GF-6 Images[J]. Remote Sensing for Land & Resources, 2021, 33(4): 252-257.

[18] YAN D, LI G, LI X, et al. An Improved Faster R-CNN Method to Detect Tailings Ponds from High-Resolution Remote Sensing Images[J]. Remote Sensing, 2021, 13(11): 2052-2069.

[19] YAN D, ZHANG H, LI G, et al. Improved Method to Detect the Tailings Ponds from Multispectral Remote Sensing Images Based on Faster R-CNN and Transfer Learning[J]. Remote Sensing, 2021, 14(1): 103-123.

[20] CHEN X, LIU J, XU F, et al. A Novel Method of Aircraft Detection under Complex Background Based on Circular Intensity Filter and Rotation Invariant Feature[J]. Sensors, 2022, 22(1): 319-335.

[21] LI L, ZHOU Z, WANG B, et al. A Novel CNN-based Method for Accurate Ship Detection in HR Optical Remote Sensing Images via Rotated Bounding Box[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 59(1): 686-699.

[22] YU Y, GUAN H, LI D, et al. Orientation Guided Anchoring for Geospatial Object Detection from Remote Sensing Imagery[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2020, 160(1): 67-82.

[23] ZHANG C, XIONG B, LI X, et al. Learning Higher Quality Rotation Invariance Features for Multioriented Object Detection in Remote Sensing Images[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2021, 14(1): 5842-5853.

[24] XIE X, CHENG G, WANG J, et al. Oriented R-CNN for Object Detection[C]//2021 IEEE/CVF International Conference on Computer Vision, October 10-17, 2021, Montreal, QC, Canada. IEEE, 2021: 3520-3529.

[25] HU J, SHEN L, SUN G. Squeeze-and-Excitation Networks[C]//2018 IEEE Conference on Computer Vision and Pattern Recognition, June 18-23, 2018, Salt Lake City, UT, USA. IEEE, 2018: 7132-7141.

[26] HE K, ZHANG X, REN S, et al. Deep Residual Learning for Image Recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition, June 27-30, 2016, Las Vegas, NV, USA. IEEE, 2016: 770-778.

[27] YANG S, PEI Z, ZHOU F, et al. Rotated Faster R-CNN for Oriented Object Detection in Aerial Images[C]//Proceedings of the 2020 3rd International Conference on Robot Systems and Applications. ICRSA, 2020: 35-39.

[28] DING J, XUE N, LONG Y, et al. Learning RoI Transformer for Oriented Object Detection in Aerial Images[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition, June 15-20, 2019, Long Beach, CA, USA. IEEE, 2019: 2849-2858.

[29] XU Y, FU M, WANG Q, et al. Gliding Vertex on the Horizontal Bounding Box for Multi-Oriented Object Detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 43(4): 1452-1459.

[30] HAN J, DING J, XUE N, et al. ReDet: A Rotation-Equivariant Detector for Aerial Object Detection[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition, June 20-25, 2021, Nashville, TN, USA. IEEE, 2021: 2786-2795.

[31] HAN J, DING J, LI J, et al. Align Deep Features for Oriented Object Detection[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 60: 1-11.

[32] YANG X, YAN J, FENG Z, et al. R3det: Refined Single-Stage Detector with Feature Refinement for Rotating Object[C]//Proceedings of the AAAI Conference on Artificial Intelligence, 2021, 35(4): 3163-3171.

[33] 贾虎瑞, 张鹏俊. 瞄准全灾种适应大应急——山西省忻州市应急管理工作侧记[J]. 中国应急管理, 2021, 4(1): 87-89.JIA Hurui, ZHANG Pengjun. Aiming at All Kinds of Disasters and Adapt to Emergency—Sidelights on Emergency Management in Xinzhou, Shanxi Province[J]. China Emergency Management, 2021, 4(1): 87-89. (in Chinese)

An Improved Oriented R-CNN for Tailings Ponds Detection on Remote Sensing Images

LI Min1SU Wenbo1SUI Zhengwei1LI Junjie2

（1 China Siwei Surveying and Mapping Technology Co. Ltd., Beijing 100086, China）（2 China Centre for Resources Satellite Data and Application, Beijing 100094, China）

The accidents of tailings pond may lead to casualties and environmental pollution. It is of great significance to monitor tailings pond timely and accurately for the prevention and management of dams’ accidents. Traditional remote sensing methods,relying on manual visual interpretation and ground verification, are inefficient and unsuitable for large scale extraction. Using multi-source high-resolution satellite images as data source, a high quality dataset for tailings pond detection is constructed by manual interpretation, combining a variety of data augmentation methods. On this basis,the Oriented R-CNN model is optimized by embedding a lightweight attention mechanism and feature pyramid network to residual structure, which is effectively to fuse deep multi-scale features and recalibrate the input contributions. Meanwhile, a series of original anchors are generated adaptively according to the self-made dataset. The experimental results show that the mean average precision and recall of the proposed algorithm for tailings pond detection reache 84.14% and 90.32%, respectively, which indicate a significant improvement compared with the original Oriented R-CNN. The results also prove the feasibility and generalization of the improved model. This study is important for large-scale, high-precision, and intelligent monitoring of tailings ponds, which can serve as a reference for tailings pond management.

tailings pond; object detection; attention mechanism; remote sensing application

TP79

A

1009-8518(2023)05-0116-14

10.3969/j.issn.1009-8518.2023.05.013

李敏，女，1996年生，2021年荣获中国科学院大学地图学与地理信息系统专业理学硕士学位，工程师。研究方向为遥感图像目标智能检测与识别。E-mail：limin@chinasiwei.com。

2022-12-17

国家重点研发计划（2018YFB0505000）

李敏, 苏文博, 隋正伟, 等. 改进Oriented R-CNN的遥感尾矿库检测[J]. 航天返回与遥感, 2023, 44(5): 116-129.

LI Min, SU Wenbo, SUI Zhengwei, et al. An Improved Oriented R-CNN for Tailings Ponds Detection on Remote Sensing Images[J]. Spacecraft Recovery & Remote Sensing, 2023, 44(5): 116-129. (in Chinese)

（编辑：庞冰）