基于CT图像的双重注意力网络急性胰腺炎诊断方法

张进一，万鹏，孙亮，张道强

（南京航空航天大学计算机科学与技术学院，模式分析与机器智能工业和信息化部重点实验室，南京 211106）

引 言

急性胰腺炎（Acute pancreatitis，AP）是消化系统里最常见的疾病之一［1］。世界范围内每年的平均发病率为0.49%～7.34%［2］，并且发病率近年仍呈现出上升趋势［3］。目前其发病机制尚不完全清楚，甚至有病患经检查不能发现明确病因，被判为特发性急性胰腺炎。部分轻症急性胰腺炎患者可根据临床症状或实验室检查结果诊断而无需进行影像学的检查，病情一般具有自限性，发病3～7天可出院，预后较好。而占比约20%的重症急性胰腺炎（Severe acute pancreatitis，SAP）患者，存在持续的器官功能衰竭并且伴随局部或全身的并发症，多数可出现胰腺实质或胰周组织坏死，具有死亡率高（＞30%）［4］、临床预后差、治疗过程长的特点［5］。急性胰腺炎以较快的发病速度、较多的并发症、较高的死亡率危害着患者生命。改善急性胰腺预后的关键在于早期发现高危病人并及时干预，因此准确对急性胰腺炎进行诊断并判定其严重程度很重要。

近年来，利用深度学习对CT影像进行分析与处理以协助疾病诊断与治疗成为研究热点之一。此前已有研究使用卷积神经网络（Convolution neural network，CNN）实现了对胰腺的CT影像的器官分割。文献［6］提出一种自底向上的方法，通过合并强度和概率特征以形成级联随机森林框架中的经验统计量对超像素进行分类。Roth等［7］使用多层次的深度卷积网络进行图像块和超像素的分类。文献［8］通过使用随机森林进行鲁棒的空间聚集，将器官内部和边界图的中层信息整合，最终生成较好的分割边界。而在急性胰腺炎诊断方面尚未使用到深度学习技术，常见的方法仍是使用CT严重指数（CT severity index，CTSI）评分等基于领域知识手工设计的特征，并未充分挖掘影像信息，诊断精度较低，且需要医师手动逐张阅片，费时且效率低。引入深度学习技术可以有效提升医生诊疗效率以及诊断精度。

在此基础上，本文分析了急性胰腺炎医学影像诊断中的难点，即胰腺具有的高度解剖变异性，急性胰腺炎病灶种类较多，影像表现复杂。在研究了基于深度网络的疾病识别方法后，在经典的深度网络框架内引入嵌入式的注意力模块，最终提出了双重注意力网络。本文首次将深度学习技术应用至急性胰腺炎诊断方面，并在收集的真实急性胰腺炎病例数据集上验证了所提方法的有效性。同时本文使用的注意力机制也可视为弱监督的定位方法，最后可视化的结果更具有可解释性，对医师而言更有说服力。

1 注意力机制

目前注意力机制尚无统一的系统的数学定义，注意力机制的核心思想就是利用数据的关联性，从大量的信息中筛选出重要信息，抑制其余不重要的信息。注意力机制分为强注意力与软注意力。前者随机使用键值的某些部分来生成注意力，训练过程往往是通过强化学习［9⁃10］来完成，模型优化困难。后者使用键值的所有信息来生成注意力，因此可微，可以作为网络结构的一部分通过反向传播进行训练，易于学习。根据软注意力关注的域不同，大致可以分为空间域注意力、通道域注意力和混合域注意力等。

在CNN中，受限于感受野，网络通过卷积层捕获的特征是局部的，为了获得更多的上下文信息，往往采用多个小尺寸卷积核的卷积层堆叠或者使用空洞卷积以增大感受野，然而这种方法并不高效。在计算机视觉领域中注意力机制是有效的直接捕捉全局上下文信息的方法。注意力机制在各种视觉任务如物体识别，图像分割和目标检测等中已展现出了非常优秀的性能。

Simonyan等［11］考虑为不同空间位置处的输出赋予不同的权重；Anderson等［12］将网络较深层的信息作为一种掩码作用在较浅层的特征上，增强浅层特征中对于最终分类结果有帮助的特征，抑制不相关的特征。文献［13］提出了通道域的特征，调整通道间关联，为不同通道的信息赋予不同的权重。Woo等［14］进一步将空间域注意力与通道域注意力结合在一起。Wang等［15］提出的Non⁃local neural net⁃works将长距依赖关系纳入考虑，改善理解相关的视觉任务。Fu等［16］将自注意力的思想用在图像分割，通过长距上下文关系做到更好地分割，同时使用了空间域与通道域的注意力。文献［17］在DANet基础上采用十字注意力模块，只计算每个像素与其同行同列即“十”字上的像素的相似性，两次相同操作，间接计算到每个像素与每个像素的相似性，巧妙减少了参数量。文献［18］结合Non⁃local neural net⁃work［15］与SENet［13］的思路，在有效地获取全局上下文信息的同时减少了计算量。

2 当前挑战

胰腺具有高度的解剖变异性，具体包括胰腺形态变异（如分叶状胰头、胰颈异常突起、胰尾增宽等）、移行异常（如环状胰腺、异位胰腺等）、胰腺分裂等，部分形态变异如图1所示，因此胰腺的位置、形状与大小因人而异，同时急性胰腺炎的局部并发症多，可能仅累及胰腺也可能波及胰腺周边组织，可出现急性胰周液体积聚、急性坏死性积聚、囊壁内坏死、假性囊肿、蜂窝组织炎、气体影和脂滴等，部分影像表现如图2所示。同时，急性胰腺炎并发症种类较多，影像表现较为复杂，既有面积较小的病灶如蜂窝组织炎、气体影和脂滴等，也有面积较大的病灶如胰腺感染性坏死、假性囊肿和急性胰周液体积聚等，极端情况下甚至可能波及整个腹腔，如图3所示。

图1 胰腺形态变异Fig.1 Anatomical variations of pancreas

图2 急性胰腺炎局部并发症Fig.2 Complications of AP

图3 急性胰腺炎极端病灶示例Fig.3 Examples of AP lesion under ex⁃treme circumstances

目前端到端的识别方案借助ResNet［19］，DenseNet［20］等深度网络模型直接对疾病进行诊断，成为疾病识别的主流方案之一，对于病灶较明显且在影像中面积比例较大的疾病识别效果较好。而对于相对较小的病灶，如果有明确的解剖位置，可通过提取感兴趣区域（Region of interest，ROI）再对局部区域进行处理，或者使用注意力机制让模型自动捕捉到关键区域，减低无关区域的影响。

考虑到急性胰腺炎影像表现的特点，分割提取ROI较为困难，相比之下使用注意力机制使模型自动关注急性胰腺炎病灶所在区域是更为有效的方法。因此本文提出了一种基于双重注意力的深度网络，使用全局特征与不同尺度的局部特征作用生成局部注意力特征，并使用局部注意力特征而非原本的全局特征进行分类，促使模型同时关注不同尺度的病灶；同时在生成局部注意力特征的过程中引入通道注意力，调整通道间依赖，提升网络的特征表示能力。此前的研究表明，对于仅使用图像级标注训练的CNN分类任务，提取注意力加权的特征图可以帮助确定ROI［21］，同时帮助发现具有判别性的特征［22］。空间域注意力可以在一定程度上增加结果的可解释性。

3 双重注意力网络

3.1 网络架构

空间域注意力可以帮助确定ROI并发现更有效的特征，通道域注意力可以调整通道间依赖并提取更有效的特征。因此，本文构建了一种双重注意力机制，并说明如何嵌入到一般的网络结构中。如图4所示，对于一个具有多个卷积阶段的卷积网络，分别在3个卷积阶段引入空间域注意力，去掉网络原本最终分类使用的全连接层，替换为注意力生成层后的池化层以及全连接层。使用较为常见的骨干网络VGGNet［23］以及ResNet，VGGNet相较于过去网络的改进是采用了连续的多层小卷积核的卷积层代替大卷积核的卷积层，在获得相同感受野的情况下，大大减小了参数量并引入了更多的非线性。而ResNet则通过使用短路连接有效解决了深度网络的蜕化问题，大大提升了网络性能，同时使得网络更易于训练。使用VGGNet作为骨干时，为避免局部特征尺寸过小，去除前两个阶段的池化层，并在最终分类层前添加对应数量的卷积层与池化层。图4中各个阶段后所得到的特征图分辨率逐级减小为上一级的一半。

图4 双重注意力网络构架Fig.4 Structure of dual attention network

3.2 多尺度的空间域注意力

在分类网络中，网络深层的特征相比浅层特征更关注于被分类的物体。如果将网络较深层的信息作为掩码，作用在较浅层的特征上，就能更好地增强浅层特征中对于最终分类结果有帮助的特征，抑制不相关的特征。空间域注意力如图5所示，用Ls=表示第s层卷积层后的特征响应，其中表示该层在空间位置i处的响应。使用g表示原本的网络在输入图像经过一系列卷积层与非线性层后，在最终类别输出结果的全连接层之前的输出。若有评估两个同维度向量相似性的函数F，对于任意阶段的输出Ls，其与全局特征g的相似度定义为

图5 多尺度的空间域注意力模块Fig.5 Multi-scale spatial-domain attention module

式中：i=1，…，n；是由Ls在到g的线性映射作用下得到的，即将Ls映射到与g相同维度（相同通道数），该映射可通过网络学习得到，而后归一化的相似度评分可表示为

式中：i=1，…，n；使用归一化的相似度评分=为该层特征对应空间位置的响应加权，得到一个新的注意力特征

式中“⊗”代表逐元素相乘。最终各层的注意力特征拼接在一起得到最终用于分类的特征

将该特征输入全连接层中，得到最终的分类结果。注意力评估函数常见的选择有余弦相似度，内积相似度，拼接相似度等。考虑到CNN流程的特性，不失一般性地，将两个张量逐元素相加后，再经过一个学习到的线性映射得到注意力特征，即

式中u为学习到的线性映射。

3.3 通道域注意力

对于某种尺寸的急性胰腺炎病灶，高特征响应可能仅出现在某些通道中。一种直观的处理方法是使用通道域注意力调整通道权重，增大与分类关联较大的通道权重，降低与分类关联较小的通道权重。在网络中引入通道域注意力模块，根据损失去学习通道权重，使得有效通道的特征图权重大，无效或效果小的通道的特征图权重小，使得模型达到更好的结果。通道域注意力模块如图6所示。

图6 通道域注意力模块Fig.6 Channel-domain attention module

记s层的特征输出为us，各通道为，则挤压过程可以表示为

则激励操作可表示为

式中W1，W2为学习到的两个全连接。最终输出为

在每个卷积阶段输出前加入该模块，在加入该模块之后，网络能够调整通道间依赖并学习不同通道的重要程度，从而增强特征提取能力。

4 实验与分析

4.1 数据集

本实验使用的数据集来自2016～2019年东部战区总医院重症胰腺炎治疗中心接收的32例接受CT影像检查的患者，其中无急性胰腺炎，轻症急性胰腺炎与重症急性胰腺炎分别为9例，10例，13例。所有患者均由具有10年以上临床经验的专家检查。每例患者27～35张连续的胰腺附近的轴位CT影像，层厚6～10 mm不等，图像大小为512像素×512像素，每张切片有一个标签，总计996张平扫CT影像，其中无急性胰腺炎与患有急性胰腺炎比例大约为1∶2.5。这项研究之前已获得医院伦理审查委员会的批准，并获得了患者的知情同意。

4.2 实验设置

表1给出了VGG，ResNet以及使用提出的双重注意力机制改进后得到的模型性能均值对比。基于VGG16，VGG19，ResNet34和ResNet50，分别实现了基于双重注意力的VGG16（DA_VGG16），基于双重注意力的VGG19（DA_VGG19），基于双重注意力的ResNet34（DA_ResNet34）和基于双重注意力的ResNet50（DA_ResNet50）。模型训练时，使用5组交叉验证，根据验证集上性能调整模型超参数，例如epoch，batch size等。本实验使用流行的Pytorch框架实现，代码在单个GPU（Nvidia RTX 2080Ti）上运行。使用交叉熵损失作为损失函数，使用默认参数的Adam优化器迭代更新网络参数，初始学习率设置为10-4，学习率衰减策略为每5个epoch减小一半。不使用预训练模型权重，网络参数使用Kaiming正态分布初始化。训练时使用加权采样以解决样本不平衡问题。由于数据较少，使用图像翻转进行数据增强。

表1 VGG，ResNet以及使用提出的双重注意力机制改进后得到的模型性能均值对比Table 1 Average performance comparison of VGG，ResNet and models improved by the pro⁃posed dual attention mechanism %

5 实验结果与分析

5.1 实验结果

VGGNet，ResNet以及使用本文提出的双重注意力机制改进后得到的模型性能对比如表1所示，其中基于VGG改进的模型相比于原模型，分类的灵敏度可提升3.4%，AUC可提升3.2%。基于Resnet改进的模型相比于原模型，分类的灵敏度提升3.4%，AUC提升4.7%。本文提出的双重注意力改进与SENet相比，结果如表2所示，AUC提升了4.2%。

表2 基于ResNet的SENet以及双重注意力网络的性能均值对比Table 2 Average performance comparison of SENet and the proposed method based on ResNet %

5.2 可视化

本文希望不同层的注意力特征能够关注病灶相关区域，抑制无关区域。如图7所示，首列为输入图像。实验结果表明，本文提出的注意力机制使得网络关注病灶所在区域，尤其对于较大的病灶。另外，部分图像的浅层局部特征在经过全局特征影响后生成的注意力特征差距不大，推测可能是全局特征比局部特征小很多（几个数量级）造成的。但即便是这样注意力特征也能凸显病灶相关区域，推测可能注意力评估函数中的线性映射本身已经能学习到部分高阶特征。

图7 不同阶段的注意力图Fig.7 Attention maps of different stages

6 结束语

本文提出了一种双重注意力网络模型用以诊断急性胰腺炎。该网络使用全局特征作为注意力机制中的查询，引导网络使用局部特征与全局特征生成的不同尺度的注意力特征进行最终的分类。同时加入通道域注意力调整通道间关联以增强特征提取的能力。实验表明，本文提出的机制可以提高经典深度网络在急性胰腺炎诊断问题上的性能。并且注意力特征的可视化结果，更好地诠释了模型对于病灶区域的判断依据。

CT影像是三维的，而本文仅是对单张影像切片进行识别，忽略了轴向的信息以及连续影像之间的关联，后续可以考虑将每位患者的所有CT切片的二维特征进行融合，进一步利用连续切片间的上下文信息。此外，本实验收集的数据集相对于常用的自然图像数据集而言还是较小的，后续可以考虑进一步扩大数据集，不同来源数据之间的差异可以考虑使用多中心的学习方法进行处理。