2020-2021年宁夏野生鸟类细粒度分类研究图像数据集

魏铭辰，刘立波*，王晓丽

1.宁夏大学信息工程学院，银川 750021

2.中国农业科学院农业信息研究所，北京 100081

3.中国农业科学院国家南繁研究院，海南三亚 572024

4.国家农业科学数据中心，北京 100081

引 言

湿地属于天然生态环境系统中至关重要的一部分，拥有较高的生态价值与经济价值，其中鸟类数量对于湿地的自然生态体系能量流动，以及维持自然生态系统稳定性等方面都起着决定性作用[1]。虽然宁夏土地面积较小，但全区已建成湿地类型自然保护地4处、湿地24处。通过强化保护湿地生态等一系列有效措施，宁夏湿地质量及功能得到有效提升，大幅改善了湿地植被品质。湿地中生活及迁徙的鸟类物种与数量也稳步增长。在生态保护中，有效识别不同种类的生物是进行生态研究的重要前提，为资源环境评价和相应的保护措施提供基础数据支撑。

在野生鸟类的识别与分类保护中，了解野生鸟类所属科种，实现同一鸟纲下不同科、属的精细化自动识别是一项非常重要的工作。现有的宁夏野生鸟类图像资源大多以图谱为表现形式[2]，可完成日常通用的分类与识别，但主要是以进行科普展示和图像对照为主，不能作为宁夏野生鸟类分类研究任务的细粒度图像数据集。与一般的图像资源相比，细粒度图像数据集的获取难度更大，需要很强的专业领域认知能力来进行数据收集与标注。本研究以现有的鸟类细粒度图像数据集 CUB-200-2011和YUB-200-2017为研究对照，其中CUB-200-2011数据集包含200种北美鸟类[3]，YUB-200-2017数据集包含200种云南野生鸟类[3]。由于地域、环境以及生态条件的差异，使得这两个细粒度图像数据集并不能对宁夏野生鸟类的保护和研究形成有效支撑。作者在有关项目的支持下，通过图像采集、数据整合、数据标注，结合宁夏实际对现有野生候鸟样本进行妥善收集与处理，构建了更高质量、更具特色和针对性更强的宁夏野生鸟类细粒度分类研究图像数据集，一共收集206种不同鸟类，平均每个类别约60幅图像，共12297幅鸟类图像。借助鸟类部件特征筛选匹配，及时发现和甄别稀有鸟类，从而更加全面系统了解宁夏保护地野生鸟类种类，为不同鸟类采取有效保护措施提供强有力支撑依据；同时为鸟类生态、种群发展、生物多样性以及城市资源环境监测提供客观可信的生物指标，对于生态环境建设具有非常重要的现实意义。

1 数据采集和处理方法

1.1 数据采集方法

本数据集通过人工拍摄和网络爬虫两种方法实现图像采集，占比分别为6:4。人工拍摄设备采用Canon EOS 1D X Mark III数码单反相机，拍摄地点为宁夏回族自治区沙湖自然保护地、银川市鸣翠湖湿地保护地以及贺兰山国家级自然保护地。主要拍摄不同地点、不同时间的静态与动态的野生鸟类。爬虫技术采集数据要借助Scrapy网络爬虫工具，在中国野鸟图库（http://www.cnbird.org.cn/）、鸟网（https://www.birdnet.cn/）、湿地中国（http://www.shidicn.com/）3个公开网站完成图片数据的收集，占比依次约为5:3:2。在利用网络爬虫技术时需要查阅鸟类图谱图书来确定本数据集所需要的鸟类图像数据。

1.2 数据预处理

在构建宁夏野生鸟类细粒度分类研究图像数据集的过程中，由于部分图像数据是利用网络爬虫技术在互联网中得到的，该类图像数据存在对比度偏低和分辨率过大的现象。为了减少后续研究中的误差和错误，作者对图像数据进行了图像增强处理。首先对于低亮度的图像数据，利用保持图像自然度的低亮度图像增强方法进行亮度增强。其次对于分辨率过大的图像数据，在图像预处理的过程中利用图像裁剪技术使得图像数据保持在863*762分辨率范围内。

1.3 数据人工标注

为使得图像在深度学习中能够更好地进行分类与识别任务，构建一个可为深度学习建模提供训练和测试的数据集是本次研究过程中的重点任务。因此本研究利用 LabelMe和精灵标注助手（Colabeler）工具进行裁剪和标注，给宁夏野生鸟类细粒度分类研究图像数据集提供丰富的人工标注信息，其中针对每一张图片将其裁剪出前景区域和部分背景区域，去除过于冗余的背景，凸显出鸟在图片中的主体位置。之后针对每一张图片进行鸟的整体包围盒标注、局部包围盒标注（头部包围盒、身体包围盒）和15个关键点部位的标注（喙、喉、后背、腹部、胸部、羽冠、前额、左眼、右眼、左腿、右腿、左翼、右翼、颈部和尾部）。本数据集部分图像标注示例如图1所示。

图1 人工标注示意图Figure 1 Schematic diagram of manual annotation

2 数据样本描述

2.1 图像数据样本

本数据集图像文件夹中包含206种不同鸟类，每种鸟类的图像数据为一个文件夹，并且这些图像数据都是从不同地点、不同环境、不同时间和不同姿态收集到的，平均每个类别约60幅图像，共有高质量jpg图像数据12297张。本数据集部分种类鸟类图像示意图如图2所示，全部种类鸟类图像示意图如图3所示。

图2 部分种类鸟类图像示意图Figure 2 A schematic diagram comprising photos of many bird species

图3 全部种类鸟类图像示意图Figure 3 Schematic diagram of photos for all bird species

2.2 文本数据样本

本数据集文本数据来源主要为人工标注信息，所包含的数据信息为：图像中鸟类整体边界框的像素坐标、图像中鸟类头部和躯干部边界框的像素坐标、鸟类图像数据中15个部件（喙、喉、后背、腹部、胸部、羽冠、前额、左眼、右眼、左腿、右腿、左翼、右翼、颈部和尾部）的像素坐标，这些像素坐标数据以txt格式的文件保存在本数据集当中。

3 数据质量控制和评估

对于图像数据的质量，本研究中采集的宁夏野生鸟类图像来源主要有两种方式：一种是人工拍摄，准确记录不同生态环境下不同鸟类的不同姿态，同时保证鸟类图像的分类准确度。另一种是收集来自互联网的图像，在鸟类研究专家的严格监控下进行，并且后期对采集的图像进行了二次筛选，将不符合本研究的图像文件剔除，保证数据的真实可靠[4]。

对于文本数据的质量，首先文本数据是在已经进行质量控制的图像数据的基础上进行人工标注后所提取的标注点的坐标数据，所以标注信息能够保证数据的真实可靠。其次在人工标注时是按照现有公开数据集通用标注方法完成的，进而确保文本数据与其配对图像的准确性与可靠性。

4 数据价值

本数据集与基础的鸟类图谱数据集最主要的区别在于：宁夏野生鸟类细粒度分类研究图像数据集中每种鸟类图像都涵盖着该鸟类的不同姿态，同时又进行了人工标注，进而形成与图像标注点一一对应的文本数据，为细粒度图像研究方向提供了基础数据资源。随着深度学习的不断发展，可以通过深度学习的方法在本数据集的基础上建立宁夏野生鸟类细粒度识别模型，为宁夏鸟类研究人员提供可靠的分类依据，从而有效推动宁夏野生鸟类物种保护及栖息地修复工作，也可为湿地等保护地科学规范管理工作提供决策依据。

5 数据使用方法和建议

本数据集中包含了大量不同姿态的鸟类图像，因此在使用中可以根据需求来获取所需要的图像数据。同时又进行了人工标注工作，使得可以采用深度学习强监督方法利用人工标注的坐标标签实现图像主体位置定位。

致 谢

感谢中国野鸟图库、鸟网、湿地中国三个公开数据网站，为本数据集的构建提供了坚实的帮助。