基于多色彩空间的YOLOv5松枯死树检测方法

游子绎, 王文瑾, 邵历江, 郭 丹, 吴松青, 黄世国2,*, 张飞萍

1福建农林大学林学院,福建 福州 350002; 2福州农林大学生态公益重大有害生物防控福建省高校重点实验室,福建 福州 350002; 3福建农林大学计算机与信息学院,福建 福州 350002

松材线虫病Bursaphelenchusxylophilus(Steiner et Buhrer) Nickle是一种危害松科植物的林业检疫性有害生物,已在我国造成较大危害(叶建仁,2019)。该病主要通过媒介昆虫松墨天牛MonochamusalternatusHope扩散蔓延,而该虫具有选择衰弱、濒死松树产卵的习性。准确监测和定位林分中的松枯死树,并对其及时进行无害化处理,是防治松材线虫病的核心措施之一(李成和刘波,2021)。长期以来我国主要采用地面人工普查、目测方法进行松枯死树的监测定位。然而,由于山地地形复杂、林层多样、交通不便以及地面人工普查存在成本高、效率低等,大量的松枯死树不能被及时发现和无害化处理,已成为影响松材线虫病防治的重要因素之一。

随着无人机和数字图像等技术的快速发展,利用无人机快速获取林分彩色(red-green-blue color space, RGB)遥感影像监测定位野外松枯死树,具有高效、精准、低成本、受地形因子限制小等优势,具有广阔的应用前景。但由于无人机获取的影像数据量大,人工判读存在工作量大、时效性差等问题,因此,利用计算机视觉技术自动识别影像中的松枯死树已成为生产应用上亟待解决的问题(地力夏提·包尔汉,2021)。对此,国内外进行了大量相关研究,如:尹华阳等(2020)采用传统机器学习方法,利用手工设计的特征通过算子提取松枯死树的特征,然后应用分类器进行识别,取得了良好的效果;陈魏冬(2018)、陶欢等(2019)研究发现,在“色调—饱和度—明度”(hue-saturation-value, HSV)色彩空间和LAB (CIELab color space)色彩空间中,可以识别出在RGB色彩空间中无法识别的松枯死树。

随着深度学习技术的逐渐成熟(Dosovitskiyetal.,2020),利用该方法替代传统的机器学习方法被广泛用于松枯死树的监测研究(Dengetal.,2019)。相较于传统机器学习方法,深度学习不需要手工提取特征,而是使用自动设计特征提取的方法,自动抽取无人机拍摄的松枯死树低层的细节信息和高层的语义信息,并通过信息融合的方式实现识别,其识别性能显著高于传统方法。因此,深度学习算法等已成为松枯死树识别最重要的方法(李浩等,2021; 刘顺利等,2022; Wuetal.,2021)。

尽管将深度学习算法应用于松枯死树的监测研究中取得了很高的精度,但在实践应用中还存在一些局限性。首先,对于松材线虫病防治而言,全面彻底无害化处置松枯死树是其中关键的环节,这就要求对松枯死树的监测和识别有高准确率的同时还要有低漏检率。现有研究虽已有了较高的精度,但是对识别误差的分析表明,漏检是当前误差的主要来源。其次,现有研究大多在特定飞行高度、小面积林分等场景下进行,但由于野外地形的复杂多变,在野外大面积实践应用中往往需要提高无人机飞行高度以便提高效率,这也导致识别的性能降低。造成上述问题的一个重要原因在于现有深度学习算法仅在RGB空间进行分析,对不同颜色空间的信息利用缺乏研究。

鉴于此,本研究在生产应用实际场景下,利用无人机采集大面积松材线虫病发生林分的RGB遥感影像。在此基础上,应用多种基于深度学习的目标检测算法识别松枯死树,在筛选出性能最优算法的基础上,充分利用不同色彩空间存在的互补作用(Gowda &Yuan,2018),进一步挖掘在多个色彩空间的目标检测结果,达到降低漏检率并提高识别性能的目的,以期建立一种满足生产实践需求,能够及时、高效、省时省力地从大面积林分中准确识别松枯死树的技术,为科学有效防治松材线虫病提供技术支撑。

1 材料与方法

1.1 研究样地与数据采集

本研究设2个无人机航拍样地:样地1位于福建省福州市闽侯县鸿尾乡(118.97°E,26.147°N),属南方典型丘陵地势,林地最高点海拔1037 m,林分构成以马尾松PinusmassonianaLamb.为主,混有杉木Cunninghamialanceolata(Lamb.) Hook.以及多种彩色阔叶树或落叶阔叶树,该样地松材线虫病发生严重,松枯死树多;研究样地2位于福建省莆田市仙游县西天尾镇(119.04°E,25.539°N),其林分类型也是马尾松为优势种的马、杉、阔混交林。

2020年11月,松树受害枯死高峰期后,选择晴朗天气采集2个研究样地的遥感影像。使用CW-007型固定翼无人机搭载CA-102型无人机相机(60 mm f/2.0G定焦镜头,分辨率7952×5304像素);根据地势情况确定无人机飞行高度,样地1为400～1200 m,样地2为800 m左右,飞行速度均为20 m·s-1,均在最优光照条件期间(10:00—15:00)飞行;采用定距曝光的方式航拍采集影像数据。样地1采集遥感影像15个架次,总计飞行面积约368.1 km2。样地2采集遥感影像2个架次,总计飞行面积约32.3 km2。遥感影像采集完成后,将每个架次拍摄的影像导入Pix4Dmapper软件进行图像拼接,得到包含地理信息的完整航空图像,2个样地共计获得完整航空图像17张。

1.2 数据预处理

将样地1每架次用Pix4D拼接好的RGB遥感影像数据等分为4096张图像,共得到15×4096张图像。参照李凤迪(2020)的方法,应用LabelImg软件使用矩形框人工标注每幅图像中的松枯死树,每个矩形框对应一棵松枯死树样本,并将red标签作为松枯死树类别标签,从而得到VOC格式数据集。标注示例见图1。人工标注结果发现,有松枯死树的图像3436张,标注得到松枯死树共9023棵。在完成标注后,针对样地1中连片或多棵松枯死树聚集的样本以及因图像清晰度不高导致无法确定的样本,采用人工地面踏查结合无人机低空巡查对松枯死树标注情况进行实地验证,确保标注准确性和完整性。然后再按照0.35∶0.35∶0.30的比例随机划分训练集、验证集、测试集,对模型进行训练。

图1 枯死松树样本示例

1.3 基于多色彩空间的YOLOv5目标检测

采用当前流行的目标检测算法YOLOv5作为松枯死树识别模型。该模型根据残差组件和卷积核数量从少到多可分为4个网络结构,即YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x。由于航拍时间、天气、地形因素等影响,获取的松枯死树大小、颜色、亮度、纹理、尺度等变化很大,因此使用残差组件和卷积核数量最多的YOLOv5x网络结构。该结构通过增加模型深度和宽度提高了网络特征提取和特征融合的能力,能够更好地应对野外松枯死树样本特征复杂多变的情况。

在使用YOLOv5算法时,本研究首先对输入图像通过Mosaic数据增强(随机选取带标注的4张图片,分别对4张图片进行翻转、缩放、色域变化等操作,分别进行图片和框的组合),以随机缩放、随机裁剪、随机排布的方式对图片进行拼接,然后将图像按目标检测的通常做法自适应缩放至608×608像素。同时,在输入卷积神经网络前,使用k-means算法和遗传学习算法自适应地生成与数据集匹配的先验框尺寸,避免人工设计的误差。

采用CSPDarkNet53实现特征提取,该网络包括了Focus结构、CSP结构和SPP结构。在特征提取前使用Focus结构进行切片操作,将图片隔像素取值并按区域划分组合,得到4份图像后再按通道融合。融合后的图像经CBL (conv-bn-leakyrelu)层通过卷积、批量归一化和Leaky_ReLU函数激活,提取特定的局部图像特征。YOLOv5在主干网络(backbone)和模型颈部(neck)2部分均设计了CSP_X结构,本研究使用CSP1_12和CSP2_4结构。SPP结构使用滤波器为5×5、9×9、13×13的最大值池化提取不同尺度特征,再将原图和池化后的3幅图像叠加。同时,模型颈部使用FPN+PAN的结构。经过特征提取和特征融合网络后,得到3种不同尺寸的下采样特征图。计算定位损失采用了GIOU_Loss,对于多目标框筛选采用DIOU_nms模块。并最终输出预测结果,从而实现多尺度网络预测。

本研究以迁移学习的方式用Bdd100k数据(Yuetal.,2020)学习的权重参数初始化网络,然后对目标数据集从头开始训练,加快并优化模型的学习效率。同时,由于不同色彩空间在松枯死树识别过程中存在互补性,本研究提出在深度学习的晚期阶段结合不同色彩空间的信息以提高识别的性能。具体如下:首先将训练集RGB通道图像分别转化为LAB通道图像和HSV通道图像,之后使用3个色彩通道的图像分别进行训练。训练出3个色彩通道的预测模型后,再分别对3个色彩通道图像进行预测,汇总不同颜色空间的目标预测边界框,使用非极大值抑制(non-maximum suppression, NMS)算法保留置信度最高的候选框后,过滤交并比(IoU)大于0.5的其他候选框,解决松枯死树重复计数的问题,最终实现不同色彩空间的信息利用。

1.4 评价指标

当林分中存在没有被检测发现和无害化处置的松枯死树,将显著降低松材线虫病的防治效果。因此,漏检率(即召回率)即没有被检测到的松枯死树样本数是很重要的一个指标。在现有松枯死树识别研究采用的性能指标中,一般采用平均准确率去综合考虑精确率和召回率,而没有对精确率和召回率作进一步分析(黄丽明等,2021),这导致该类研究的平均精度较高,但漏检情况不明确。因此,本研究采用精确率(precision)、召回率(recall)、平均准确率(average precision, AP)和F1分数作为模型性能的评价指标。其中,精确率是指正样本预测数占样本预测数的比例;召回率是指正样本预测数占正样本数的比例;平均准确率是指精确率和召回率曲线(P-R曲线)下的面积,即为不同召回率的情况下所有精确率的平均值;F1分数是指精确率和召回率的调和平均,是一种衡量二分类模型精准度的指标,公式如下:

(1)

(2)

(3)

式(1)、(2)中TP、FP、FN的含义见表1混淆矩阵。

表1 混淆矩阵

1.5 试验环境

YOLOv5模型使用Pytorch框架实现,CPU为Intel Xeon Cascade Lake 8255C (2.5 GHz),内存为32 GB,GPU为Tesla V100。为了说明YOLOv5在松枯死树识别中的性能情况,选择几种常见的基于深度学习的目标检测算法进行对比,分别为Faster R-CNN、YOLOv3、YOLOv4、SSD和EfficientDet等目标检测模型。其中,YOLOv3、YOLOv4、Faster R-CNN与SSD模型已应用到松枯死木识别中,EfficientDet模型(Tanetal.,2020)是新提出的性能较优的目标检测模型。不同模型采用的框架见表2,其他参数设置:批量大小8,训练轮次300,学习速率0.001。

表2 不同深度学习算法使用的主干网络

1.6 模型验证

为进一步测试模型性能,模拟实际生产应用的场景。本研究在研究样地1测试集的基础上,以研究样地2为新的测试集,并同样采取人工地面踏查结合无人机低空飞行的方式,对模型预测结果进行验证,根据验证结果对模型性能进行评价。

2 结果与分析

2.1 不同深度学习算法性能比较

采用不同深度学习算法处理样地1的数据集,得到RGB图像空间下的松枯死树识别精确率、召回率、平均准确率及F1分数见表3。从表中可以看出,不同算法的精确率高低依次为YOLOv5>EfficientDet>YOLOv4>SSD>YOLOv3>Faster R-CNN,YOLOv5模型在所有算法中最高,达到97.58%,说明该算法能够很好地识别出松枯死树样本,将松枯死树误分为负样本的情况很少。Faster R-CNN的精确率最低,说明该算法将松树枯死误分为负样本的情况很多。不同算法的召回率大小次序为Faster R-CNN>YOLOv5>YOLOv4>SSD>YOLOv3>EfficientDet,说明Faster R-CNN算法将松枯死树漏检的情况较少,而YOLOv5算法的漏检率仅比Faster R-CNN低,普遍优于其他算法,EfficientDet则存在严重的漏检情况,说明不同算法在精确率和召回率指标上有很大差异。不同算法的平均准确率从高到低依次为YOLOv5>EfficientDet>YOLOv4>Faster R-CNN>SSD>YOLOv3。综合考虑各项评价指标,YOLOv5是性能最优的算法,其准确率达到了82.40%,在精确率和召回率上取得了较优的平衡。

表3 不同深度学习算法的性能评价

2.2 YOLOv5算法在不同色彩空间的性能

分别计算在RGB、LAB、HSV 3个色彩空间及其融合色彩空间中YOLOv5模型的识别性能,结果见表4:与RGB和LAB色彩空间相比,基于多色彩空间的精确率为77.51%,说明不同色彩空间融合后错误样本判别数增加;基于多色彩空间的召回率为98.99%,而在单独的色彩空间中,其召回率均低于80%,说明结合了不同色彩空间的信息后,松枯死树被漏判的情况显著减少;基于多色彩空间的平均准确率达到98.39%,远高于RGB空间的82.40%;基于多色彩空间的F1分数也比独立的色彩空间有明显提升。

表4 YOLOv5算法在不同色彩空间的性能评价

进一步对模型在不同色彩空间中的性能进行可视化分析(图2)。从图中可以看出,图2A中在RGB彩色空间中未检测到3棵松树,但在LAB空间中(图2B)能够全部检测出图像中的松枯死树;在HSV空间中(图2C)能够检测出RGB空间中遗漏的3棵树,但RGB空间中能够检测出的部分目标在HSV空间则未能检测出。在图2D的RGB空间中有一棵松树被漏检,在LAB空间(图2E)也同样未检出,但在HSV空间中(图2F)被检出。上述结果说明,不同色彩空间之间存在着较强的互补性。因此,将3个色彩空间的结果汇总后,通过NMS算法保留置信度最高的候选框后过滤交并比大于0.5的其他候选框,就可以利用不同色彩空间的检测信息得到比单一色彩空间更优的性能。

图2 不同色彩通道下枯死松树检测示例

2.3 模型验证

采用样地2的数据验证YOLOv5算法在不同色彩空间的性能,结果见表5。从表中可以看出,基于多色彩空间的模型相对于单色彩空间的模型在精确率上略有下降,但是召回率显著上升,说明此前单一色彩空间中被遗漏的样本经过挖掘多色彩空间的信息后被预测出来。平均准确率和F1分数也显著提高。综合以上评价结果发现,单色彩空间下模型性能伴随着数据集的更换准确率有所浮动,但是综合利用多色彩空间信息的模型表现十分稳定,性能相较于单色彩空间的模型均有明显提升。

表5 YOLOv5算法在不同色彩空间性能的验证

本研究发现,对比样地1与样地2的数据,在LAB色彩空间和HSV色彩空间中的精确率、RGB色彩空间下的召回率差别较大。对此进行了可视化分析,通过筛选被模型判定为正确,实际为错误的样本,发现误差主要来源于几方面。(1)阔叶树的混入。在RGB图像转换为HSV图像之后,考虑到HSV色彩通道图像的特点,不同色系的对比更加明显,但是相同色系的对比被显著弱化。在这种情况下,松枯死树与阔叶树的特征在图像上看来十分接近。如图3B所示,3个样本在HSV图像中极为相似,导致了误判的发生。(2)红土地的混入。由图3C与图3D可以看出,经过色彩空间的转换后,部分图像中松枯死树特征与红土地特征相比更加相近。因此,外观形状接近于松枯死树的红土地会被机器误判为正确样本。(3)屋顶的混入。在LAB色彩空间下,屋顶的特征接近于松枯死树的特征(图3F),造成了在该色彩空间下有屋顶的样本被识别为松枯死树带来误差。上述三点对精确率带来了影响,根据样地的不同精确率会产生波动。由于样地2的航拍面积较小,遇到上述误差来源少,因此精确率显著高于样地1。(4)松枯死树连片导致矩形框框选不准确。分析发现,样地2相对于样地1存在更多松枯死树连片的情况。在这种情况下,本模型在样本框的预测上可能不准确,即模型可以准确预测连片区域,但无法准确框选每个样本。如图3G所示,模型仅检测出7个矩形框的结果,但经过现场验证后实际结果共有13棵松枯死树,这也导致了召回率的大幅降低。

图3 误差主要来源

3 讨论

目前,利用基于深度学习的计算机视觉方法判别松材线虫病发生林分中的松枯死树研究取得了重要进展,一些模型已在我国被尝试用于生产实践中。但由于建模样本量少、评价方法单一和模型先天缺陷等,实践中上述模型对松枯死树样本识别准确性不高,特别是漏检造成识别性能降低。此外,现有研究样本数据集的采集均存在无人机飞行高度较低且单一的局限性,其飞行高度均在600 m以内,且研究样地较为集中,因此研究结果往往十分理想,但忽视了大面积野外作业条件的复杂性。显然,无人机低空飞行采集数据拥有更高的识别准确率,但实践中进行大面积样地飞行时,无人机航拍需根据样地高程情况决定航拍高度,无法以单一飞行高度进行所有航拍图像的采集,这是导致上述模型在应用实践中存在局限性的主要原因。

针对以上问题,本研究根据实际生产应用的场景,提出了一种基于深度学习的松枯死树检测方法,通过建立大数据量的数据集,选择多种深度学习算法,对目标检测模型进行训练,筛选出平均准确率最高的深度学习模型,并通过综合多个色彩空间信息的方式,明显减少了松枯死树漏检的情况,提高了松枯死树的识别准确率。与前人的研究相比,一方面,本研究采集的数据集样本量大,经验证过的松枯死树样本量超过9000株,远高于现有研究的数据量,确保深度学习技术可以更加准确、高效地从样本中提取松枯死树的目标特征。另一方面,本研究通过收集不同飞行高度下的航拍图像,获得了更加丰富的样本数据,不会因为过高或过低的飞行高度影响识别准确率。

此外,本研究将Faster R-CNN、YOLOv3、YOLOv4、YOLOv5、SSD和EfficientDet等6个深度学习算法用于松枯死树识别,并采用精确率、召回率、平均准确率及F1分数4个评价指标对不同模型进行全面评价和对比分析,发现YOLOv5目标检测算法的性能明显优于Faster R-CNN、YOLOv3等模型。在此基础上进一步有针对性地综合利用多色彩空间的信息,使用NMS算法对不同色彩空间下的样本进行汇总,发现相对于单一色彩空间下的模型,充分利用多色彩空间信息的模型在召回率、平均准确率和F1分数上均有明显提升,特别是召回率提升了15.74%以上,有效控制了松枯死树漏检的情况。

本研究可视化的定性分析结果也表明,不同色彩空间在进行目标检测时存在着互补作用。在RGB颜色空间中存在特征模糊的样本和小样本漏检的情况,在HSV和LAB空间中可以被检出,这表明HSV和LAB空间具有更强的红色特征提取能力,通过3种色彩空间的互补,可以大幅减少样本被漏检的数量,从而有效提高目标检测的性能。本研究认为,采用基于多色彩空间的YOLOv5目标检测模型是当前更优的检测识别松枯死树的方法,能够满足生产实践的需求。