基于注意力机制的弱监督黑色素瘤图像分割研究

王方鑫 何良华

关键词：深度学习；弱监督；医学图像分割；注意力机制

1 概述

近年来，随着医学成像技术的不断发展，人工智能被越来越多地应用到了医疗图像分析领域，可以帮助医生进行一些辅助医疗功能，从而更好地对患者进行手术治疗。目前，基于全监督的图像分割虽然取得了较好的分割结果，但是由于医学图像数据标注任务复杂，逐像素标记任务量大，因此还需要具备专业医学领域的知识，全监督并不能非常好地发挥它的作用。为了克服这些困难，研究人员尝试通过简单易获取的弱标签，通过使用弱监督的方法进行医学图像的分割，取得了一定的分割效果。

2 相关工作

2.1 类激活图

在弱监督中，CAM[1]是将图像标签转换为像素级伪标签的重要手段。它可以生成易于人类理解的热力图，用来定位图像中和类别紧密相关的区域，在深度学习的可解释性方向也有着较大的作用。2017年，Selvaraju等人提出了Grad-CAM[2]，这个改进的模型结构解决了CAM存在的一个比较明显缺点，就是为了计算最终全局平均池化（GAP） 中的权重，需要替换掉原始模型的全连接层，重新进行模型训练。Grad-CAM 并不需要修改网络结构，也不需要再次训练。2017年，Chattopadhyay等人提出了Grad-CAM++[3]，引入了输出梯度对特定位置的像素级别加权，对每个像素在特征图的重要性进行了衡量，并且这个方法相较于先前的Grad-CAM，有更好的效果。

2.2 注意力机制

注意力模块可以集成到现有的卷积网络中，可以提升CNN整体的性能。Ashish[4]等人第一次提出通过自注意力机制来获取全局的依赖关系，并将其用于机器翻译。Zhang[5]等人介绍了自注意力机制，用来更好地去学习得到一个图像生成器。Wang[6]等人主要探索了注意力机制应用到图像和视频的有效性。Wang[7]提出了使用编码器注意力模块的残差注意力网络，通过优化特征图，网络性能得到了提升，对噪声也具备了一定的鲁棒性。2017年，Hu[8]等人提出了SELayer的注意力模块，这个模型能够通过融合每层的局部感受野的空间和通道的信息来构建信息特征，在略微增加计算成本的情况下，显著提升CNN的性能。

3 基于种子线索的弱监督分割

3.1 弱监督分割框架

本文选取的是一种通用的弱监督图像分割框架。分割框架主要包含两个部分，一个是分类分支，一个是语义分割分支。分类分支主要用于生成像素级标注的标签，原始的CAM生成的区域中，可信度较高的是标记区域，可信度较低的是未标记区域。这些标签用于后续语义分割的计算。语义分割分支主要用来预测图像的像素级标注，这里使用了一个联合损失函数，综合考虑了已经标注的标签、像素位置等因素。弱监督分割框架的结构如图1所示。

3.2 基于注意力机制的类激活图生成框架

像素级的标注标签的质量会直接影响网络的分割精度。直接通过原始的类激活图生成分支输出的类激活图仅仅关注了目标区域最为显著的核心区域，这样会导致通过该分支生成的弱监督图像的伪标签较为稀疏，从而直接影响弱监督的分割精度。

注意力机制可以通过权重大小来模拟人在处理信息的注意力的侧重，从而提高性能和分割精度，本文在原始的类激活图生成分支外引入注意力分支。基于注意力机制的类激活图生成框架如图2所示。

本文的SAM模块利用主干网络输出的特征图进行维度变化生成亲密度矩阵，通过亲密度矩阵向原始分支补充目标的信息，优化原始的特征激活映射图，从而提高生成伪标签的完整性。SAM模块如图3所示。

本文中的CBAM模块主要包含通道注意力和空间注意力维度。通道注意力在通道维度不变，压缩空间维度。该模块关注输入图片中有意义的信息。空间注意力在空间维度不变，压缩通道维度，该模块关注的是目标的位置信息。CBAM模块如图4所示。

4 实验结果分析

4.1 实验数据集

本文选取的数据集来自医学图像顶级会议MICCAI 组织的“ISIC 皮肤病理图像分割和分类比赛”。输入数据分为良性和恶性皮肤癌病变图像，病变区域是从多个医学机构的皮肤癌患者的历史样本中，通过各种类型的皮肤镜从所有的解剖部位提取得到的（不包括指甲和黏膜）。掩码图像编码是单通道的8位PNG图像，标注了病灶区域和良性区域，所有的数据都是由具有皮肤镜专业知识的皮肤科医生进行标注和核查的。本次实验一共选取病变和良性图像共2000张图像。

4.2 实验流程

本文选取SECNet 作为基准模型和笔者提出的基于注意力机制弱监督分割模型进行对比。实验基于Python3.6 环境和Pytorch1.0 框架，使用两块NVIDIA GEFORCE 3090 GPU 进行训练和测试。实验的训练图像和测试图像长宽尺寸都被固定为512，batch size 设置为32，训练100 epoch，数据增强方便采用了随机剪切、随机翻转，优化算法选取了随机梯度下降（SGD） ，初始学习率设置为0.001，动量设置为0.9。

4.3 实验结果

原始的类激活图和引入注意力机制生成的类激活图对比如图5所示。可以看到，当引入注意力分支后，有效解决了先前类激活图关注区域较为集中的问题，新模型生成的类激活图关注区域更加完整，从而可以提高弱监督图像整体的分割精度。

实验结果如表1所示，从结果中可以得知，引入注意力机制的弱监督模型相较于先前弱监督模型在分割精度上有明显提升，这表明注意力机制学习到了图像中不同类的区别以及位置关系信息，从而生成的弱监督伪标签相较于直接通过CAM生成的更加完整和精确，进而直接提高了弱监督分割的整体精度。和全监督模型Unet相比，改进后的模型分割精度有一定的差距，但是弱监督模型不需要大量真实精确标注训练的数据集，仅需要提供图像级的数据标签就可以解决医疗领域像素级标注数据集不足的问题，这具有非常重要的研究意义。

5 总结

文章通过弱监督的手段实現了黑色素瘤图像的分割。针对通过CAM生成弱监督伪标签较为稀疏的问题，文章引入了注意力分支，从而使得生成的伪标签更加完整，而且在ISIC数据集上进行了测试，分割精度得到了明显提高。文章在不使用大量像素级标签的情况下，对黑色素瘤图像完成较为准确的分割，具有一定的应用价值。