位置感知循环卷积与多尺度输入的视网膜血管分割方法

江中川，吴 云

1.公共大数据国家重点实验室，贵阳 550025

2.贵州大学 计算机科学与技术学院，贵阳 550025

视网膜是负责中央和外周视觉的光敏组织，而视网膜血管滋养和清洁视觉系统。视网膜血管形态的任何变化或损害都可能导致眼科和心血管疾病，如糖尿病视网膜病变（DR）、黄斑水肿（ME）、青光眼、白内障和高血压[1-2]。视网膜图像分割可以帮助临床医生通过研究视网膜血管的变化来发现病变。这种早期检测可以帮助预防失明和许多其他视力障碍或以视网膜病变为特征的疾病（如DR）。不幸的是，由于视网膜眼底图像的噪声、对比度变化、光照不均匀以及血管的外观、形状、大小、位置和形状的变化等复杂因素的影响，检测是一个具有挑战性的任务。

在早期，视网膜眼底图像的筛查主要靠专家手工选择，但是这种方式过于费时、费力，且依赖专家的处理经验，因此难以得到推广。因此，自动化的视网膜血管分割方法成为提高眼科相关疾病诊断、早期发现和及时治疗的合适筛查手段。

传统的用于视网膜血管分割的无监督学习方法有：基于阈值方法[3]、匹配滤波方法[4]、数学形态学方法[5]和基于模型方法等[6]，这些方法主要利用眼底图像特性与血管特征来对分割目标进行提取，相比传统人工筛查的方式，具有耗时少，分割快的特点。但这些方法依赖于该领域的专家知识、数学运算和手工设计的特征提取策略来确定特征与预后的关系，这使得这些方法效率低下，无法进行准确的临床诊断[7]。

近年来，随着深度学习在计算机视觉方向的广泛应用，如图像分类、图像分割、图像去噪等，以卷积神经网络为核心的深度学习方法开始在视网膜血管分割领域崭露头角，取得了不错的效果。Long 等人[8]提出FCN（fully convolutional networks），使用卷积层代替全连接层，同时，为解决卷积和池化导致图像尺寸的变小，使用上采样方式对图像尺寸进行恢复，但分割结果较为粗糙、准确度较低。Ronneberger等人[9]提出U-Net，在FCN基础上进行了改进，使用了一个编码器-解码器对称的U形网络，并在同层级的编码器和解码器之间使用了跳跃连接，通过连接上下文信息和定位信息来恢复丢失的空间信息，从而获得精确分割结果输出。Zhou 等人[10]使用了密集跳跃连接，并在跳跃路径中引入了卷积，来减少编码器与解码器之间的特征误差。Yue 等人[11]在U-Net 中使用了多尺度输入层和密集块，使网络能够利用更丰富的空间上下文信息。Oktay 等人[12]提出Att U-Net，通过引入门控注意力机制来加强分割目标特征的学习，忽略不重要的特征。

但由于眼底图像成像复杂，噪声干扰较多，微小血管分布不均等因素，这些分割方法难以准确分割血管边界，且泛化性不足、网络容易退化。本文提出MPR-Net（multi-scale parc residual-Net，MPR-Net），首先在编码路径中引入位置感知循环卷积（ParC）[13]与ECA 注意力[14]来获取更大的感受野与精确的位置信息，加强对血管特征的获取能力；然后通过多分辨率输入来提供更丰富的原始特征信息，避免因层叠化的下采样操作丢失过多的血管细节信息与网络退化；最后在跳跃连接中使用残差双注意力模块来抑制会对分割目标产生干扰的噪声与多余特征表达，达到精确分割视网膜血管的目的。本文的主要贡献如下：

（1）提出MPR-Net用于视网膜血管分割。MPR-Net通过结合ParC-ECA模块与多尺度输入模块充分提取目标血管特征与位置信息，并避免血管细节信息丢失与网络退化问题。

（2）为抑制多余噪声的干扰并提升最终分割精度，在网络跳跃连接中提出残差双注意力模块来加强网络对分割血管特征的学习，实现了更高的视网膜血管分割精度。

1 相关工作

1.1 卷积操作

CNN网络中的卷积，也称为滤波器，是由一组具有固定窗口大小且带可学习参数（learnable paramerters）的卷积核所组成，可用于提取特征，是CNN网络中最核心的组件。CNN的卷积层通过卷积操作提取输入的不同特征，第1 层卷积层提取低级特征如边缘、线条、角落，更高层的卷积层提取更高级的特征[15]。传统卷积操作虽然能较好地提取图像局部精细特征，但受限于卷积操作局限性，感受野较小，无法获得更丰富地上下文信息，导致在视网膜血管分割等任务中表现不佳。

为了克服普通卷积感受野过小的缺点，Yu等人[16]提出了空洞卷积，在常规卷积的基础上引入空洞的概念，使得网络能够同等卷积核的情况下扩大网络的感受野，并动态控制卷积核之间的间隔。通过使用空洞卷积，可以在不改变特征图的尺寸和不引入额外参数计算量的情况下，有效加大感受野，这在图像分割、分类等任务中尤其重要。不过空洞卷积会引起网格效应，导致卷积核计算不连续，这对视网膜血管这样的细小目标分割任务来说是严重的问题。

Dai等人[17]提出了可变形卷积，极大改进了CNN提取不变性特征的能力。可变形卷积将学习到的偏移量加入到标准卷积中的网格采样位置上，使标准卷积的采样位置发生变形，形成自适应变化的能力[18]。但可变形卷积的小目标特征提取能力较弱，且过多使用可变形卷积可能会导致过拟合问题[19]，不能较好地应用到视网膜血管分割任务中。

1.2 视网膜血管分割

随着深度学习方法在医学图像分割领域的广泛应用与优异表现，基于深度学习技术的视网膜血管分割方法逐渐取代传统分割方法，类U-Net网络及其变体开始成为这一领域的主流。对于典型的U-Net网络而言，来自浅层的特征包含丰富的空间细节，而深层网络层包含丰富的抽象语义信息，多尺度的信息流与特征块融合能显著提高网络性能，Zhuang等人[20]提出LadderNet，LadderNet通过有多对编码器-解码器分支，并且在每一层的每一对相邻的解码器分支和解码器分支之间都设置了跳跃连接，在视网膜血管分割任务中取得了显著优于U-Net 的成绩。Zhou 等人[21]提出SEGAN，SEGAN 结合对抗生成网络、多尺度特征细化块与注意力机制来捕捉微小视网膜血管形态信息，提升分割精度。Guo 等人[22]提出CSGNet，利用多尺度和多方向特征模块来学习语义丰富的低级特征和保留细节信息的高级特征，实现了更好的分割性能。但目前的主流视网膜血管分割方法均存在网络退化、血管细节容易丢失的问题，特别是在微小血管和低对比度血管上的分割性能较差。

2 本文方法

2.1 本文网络结构

在视网膜血管图像中，眼底血管常呈现不同的形状和大小，中央凹周围的血管似乎更厚，当它们分叉时变得更薄，形成复杂的轮廓[23]。为了在提高分割的准确性与特征利用率，本文提出MPR-Net，其网络结构图如图1所示。

图1 MPR-Net网络结构图Fig.1 MPR-Net network architecture

在编码路径中，网络在U-Net 的基础上提出了ParC-ECA 模块来进一步提取特征，模块引入了位置感知循环卷积来提高全局特征利用率与提取能力，为鼓励浅层次特征的融合与深层次特征的竞争，减少以往注意力机制压缩降维对于学习通道之间的依赖关系影响，模块中应用了ECA注意力机制来抑制会对分割血管形态产生干扰的特征表达并加强对目标特征的学习。同时网络在下采样过程中结合多尺度输入模块来找回因层叠化的下采样操作而损失的细节信息，对于给定的输入大小为48×48 的原始图像，分别经过3 个多尺度输入模块，得到大小分别为24×24、12×12 和6×6 的图像，并将这些图像与相应编码级别的特征向量相加，得到编码路径最终的特征图。

在解码路径中，使用U-Net中的跳跃连接来连接同一层级中的编码器与解码器，使网络学习到粗、细粒度特征的位置信息和全局语义信息之间的关系，下采样后的特征图在经过3 次上采样操作后经过一个Conv Block 来调整输出通道数以得到分割结果图，这样做是因为需要预测的像素有两种类别，分别对应血管前景区域和黑色背景区域。

2.2 ParC-ECA模块

在原始U-Net 中，使用3×3 的卷积块来对图像进行特征提取，但传统卷积操作尽管有着出色的平移不变性与局部细节特征提取能力，但缺乏全局特征学习能力与较大的感受野，而单纯的堆叠下采样模块虽能逐步扩大感受野，但也会带来细节特征丢失的问题，对类似视网膜血管这样的细小目标分割任务尤为不利。为了克服这一问题，本文将结合传统卷积、位置感知循环卷积（ParC）、ECA注意力机制来提取血管局部-全局特征，使得网络有着更好的特征提取能力，在保留对微小血管形态特征关注能力的同时，增强对全局特征的关注能力，ParC-ECA Block的内部示意图如图2所示。

图2 ParC-ECA模块Fig.2 ParC-ECA block

对于输入特征图x∈RH′×W′×C′，先经过一个3×3卷积块、BN 层（batch normalization）、Relu 激活函数来对输入特征图中血管特征进行预提取，在对预提取后的特征在横、纵两个方向上进行循环卷积操作，此过程如图2（b）部分所示，其中ParC-V是垂直方向的，另一种是水平方向的ParC（ParC-H）。ParC-V 和ParC-H 的接收域分别覆盖同一列和同一行中的所有像素。联合使用ParC-V和ParC-H可以从所有输入像素中提取全局特征。

以垂直方向上的ParC-V 为例，在位置(i,j)处的特征计算方法如公式（1）所示：

其中，pev表示实例位置嵌入，用于保持输出特征对空间位置的敏感。虽然循环卷积可以提取全局特征，但它会干扰原始输入的空间结构。对于分类，保持空间结构可能不是一个大问题。对于视网膜血管分割这种对位置信息十分敏感的任务，保持空间结构确实很重要。

而在Vision Transformer 中通过嵌入位置编码模块便能有效地记忆输入特征图的空间结构信息，因此，在循环卷积计算过程中，引入pe来保持空间结构不被扰动。而且相较于Transformer中复杂的二次计算来获取全局特征，ParC 循环卷积在大大降低计算复杂度的同时，能够从全局空间提取全局特征和像素之间的交互信息。

同理可得水平方向上ParC-H计算方法为：

在分别使用水平方向与垂直方向的循环卷积来计算完特征后，将其在通道维度进行拼接，便完成了对全局特征的提取，但视网膜血管分割任务对于细节特征信息要求较高，因此继续使用3×3卷积块来进一步细化特征，加强局部特征的表达。

在交替使用传统卷积与循环卷积对输入特征图的局部、全局特征提取后，为鼓励浅层次特征的融合与深层次特征的竞争，模块使用ECA 注意力来进行特征过滤，相较于以往卷积模块通常使用的SE 通道信息注意力[24]，ECA 注意力避免了SE 通道注意力需要降维来进行跨通道交互的弊端。

如图3所示，ECA注意力使用不降维的GAP聚合卷积特征后，首先自适应确定核大小k，然后进行一维卷积，再通过Sigmoid 激活函数学习通道方向上的注意力，有效地捕获了各通道之间的依赖，最终输出经过过滤后的特征图x∈RH′×W′×C′。

图3 ECA注意力模块Fig.3 ECA attention block

2.3 多尺度输入模块

在U-Net网络及各种变体中，多级下采样操作是扩大感受野、提取图像全局、局部特征与位置信息的常用手段，但原始图像在经过多次下采样的过程中，类似微小血管的形态分布特征与精确位置信息会发生丢失，降低网络特征提取的效果。本文在网络下采样过程中，通过数个多尺度输入模块，对编码器每一层级提取后的特征进行加强，避免因细节丢失而导致的分割精度降低。

多尺度输入模块设计如图4所示，对于原始特征图x∈RH×W×C，根据不同编码层级的特征图尺寸，经过相应大小的池化层，然后使用3×3的卷积块来细化经过最大池化后的特征，最终使用BN层进行批标准化，获得校准后的输出。

图4 多尺度输入模块Fig.4 Multi-scale input module

2.4 残差双注意力模块

眼底血管分布较为不均，其中血管分支纹路较为多变，在下采样过程中极易丢失这部分血管细节特征信息，为提高分割准确率，本文在原始U-Net 跳跃连接的基础上，结合空间、通道注意力机制与残差连接思想，提出残差双注意力模块，来对每一层级跳跃连接中的特征进行细化与过滤，通过卷积操作与注意力机制来强化血管的边缘特征并抑制那些会对血管分割产生干扰的噪声信息。

残差双注意力模块设计如图5所示，对于输入特征图x∈RH′×W′×C′，使用两个3×3 卷积块、BN 层（batch normalization）、Relu激活函数来对微小血管特征进行强化学习，然后将处理后的特征图通过CBAM模块[25]来对潜在噪声干扰进行抑制，并提升那些会包含分割目标类别特征的通道权重，使得血管特征更加突出，加强跳跃连接的效果，最终结合残差连接的思想，将输入特征图x∈RH′×W′×C′与经过权重计算后的特征执行相加操作，得到经过模块处理后的特征图x∈RH′×W′×C′。

图5 残差双重注意力模块Fig.5 Residual spatial channel attention block

CBAM模块结合了通道（Channel）注意力机制和空间（Spatial）注意力机制，在维度和空间两个方向上对输入特征进行了权重计算，实现了通道注意力与空间注意力的双机制。模块的结构图如图6所示，先将输入特征F经过通道注意力模块得到模块输出Fc，再将输出Fc输入空间注意力模块得到最终的输出F′。

图6 CBAM模块Fig.6 CBAM module

通道注意力模块如图7所示，输入特征图F分别经过全局平均池化和全局最大池化，生成两个大小为(C′,1,1)的权重向量，将这两个权重向量送入同一个共享参数的MLP 网络，并将经过此网络映射后的两个权重相加，经过一个Sigmoid 激活函数后与原输入特征图F相乘，得到通道注意力模块的输出Fc。

图7 通道注意力模块Fig.7 Channel attention module

空间注意力模块如图8 所示，输入特征图Fc分别经过全局平均池化和全局最大池化，生成两个大小为(1,H,W)的权重向量，将这两个特征图在维度方向进行堆叠，形成特征图空间权重，并通过一个卷积层来将堆叠后的特征图变成特征空间权重，经过一个Sigmoid 激活函数后与输入特征图Fc相乘，得到模块的最终输出F′。

图8 空间注意力模块Fig.8 Spatial attention module

3 实验结果与分析

3.1 实验数据集

CHASE_DB1 数据集[26]：CHASE_DB1 是一个包含28 张30°视场FOV 下的彩色视网膜图像，大小为999×960，每一幅图像都由两个这方面的专家进行人工注释。在本文实验中，将按照8∶1∶1的比例将图片划分为训练集、验证集与测试集。

Drive 数据集[27]：Drive 是一个用于视网膜血管分割的彩色视网膜图像数据集，它由40张照片组成，大小为565×584，其中7 张显示出轻度早期糖尿病视网膜病变迹象。每幅图像都由2 位不同专家的手工标注，如图9所示。在本文实验中，将按照8∶1∶1的比例将图片划分为训练集、验证集与测试集。

图9 DRIVE数据集部分图像Fig.9 Partial image of DRIVE

3.2 数据预处理

原始的视网膜图像对比度较低，血管分布不明显，且噪声干扰较多，对视网膜血管分割任务有一定的影响，会降低分割的精确度。因此在将数据集图片输入网络模型之前，会对其进行预处理，包括（1）灰度转换；（2）图像标准化；（3）对比度受限自适应直方图均衡化；（4）伽马校正。在完成前几个步骤之后，由于Drive数据集与CHASE_DB1数据集提供的训练图片较少，不能很好地提高网络的泛化性，需要对图片进行切片扩充操作[28]：使用48×48大小的窗口随机切分经过预处理之后的眼底图片和相对应的金标准，并对切分好的视网膜图片进行随机翻转，共切分出24 830 张训练图片，部分切片后的图片如图10所示。

图10 部分切片后的图像及其对应的金标准Fig.10 Partial slice image and corresponding gold standard

在测试阶段，使用同样大小的滑动窗口来对测试图片进行切分，并在推理完成后将切分后的预测图片进行还原拼接，得到最终分割结果。

3.3 评价指标

在图像分割任务中，准确率（ACC）、特异性（SP）、灵敏度（SE）、F1-score和受试者工作特征曲线ROC下的面积（AUC）五个指标常作为评价模型分割结果优劣的标准，本文也将其作为评价指标，其公式如表1所示。

表1 评价指标的公式Table 1 Formula of evaluation index

其中，真阳性TP为正确分类的血管像素个数，真阴性TN正确分类的背景点像素个数，假阳性FP为背景像素误分成血管像素的个数，假阴性FN 为血管像素误分成背景像素的个数。

3.4 实验设置

本文所有的实验代码都是在PyTorch 1.11.0 框架中实现的，在训练与测试阶段，模型运行在一个包含NVIDIA GeForce RTX 2080Ti、32 GB 内 存、3700x CPU、Ubuntu 20.04操作系统的实验平台上。在训练中使用AdamW作为优化器并采用余弦退火学习率优化算法来让模型有更好的性能表现，其中初始学习速率为1E-5，最终学习速率为1E-6，批量大小设置为64，epoch轮数设置为50，细节参数设置如表2所示。

表2 训练参数设置Table 2 Training parameter setting

3.5 实验结果

为了验证本文所提出方法在视网膜血管分割上的有效性和可行性，在DRIVE 和CHASE_DB1 两个常用公开数据集上对MPR-Net 与其他表现优异的基于深度学习的分割方法进行比较，比较结果如表3和表4所示，其中最优指标加粗表示。

表3 MPR-Net与其他方法在DRIVE数据集上的比较Table 3 Comparison between MPR-Net with other methods on DRIVE 单位：%

表4 MPR-Net与其他方法在CHASE_DB1数据集上的比较Table 4 Comparison between MPR-Net with other methods on CHASE_DB1 单位：%

由表3、表4可以看出，本文所提出方法在两个不同眼底图像数据集上表现优异，在眼底血管分割性能上强于其他分割网络模型，在DRIVE数据集上，MPR-Net的F1-score 系数、ACC 系数、AUC 系数三个主要指标均已达到最优并相较于次优的模型分别提高了0.10、0.15、0.13个百分点。在CHASE_DB1数据集上，MPR-Net的F1-score 系数、SP 系数、AUC 系数三个主要指标达到最优，相较于次优的模型分别提高了1.21、0.14、0.09 个百分点。

图11是使用典型视网膜分割方法与本文方法的对比图，可以看出本文方法相较U-Net、LadderNet 在图像微小血管分割方面有更好的表现，特别是微小血管的链接处与分叉末梢，由图11可以看出，U-Net、LadderNet在分割这些区域时，有较为严重的血管断裂现象，且血管边界模糊。本文提出的方法则极大地改善了分割时微小血管断裂的现象，并保留了清晰光滑的血管边界。同时在对比度较低、受伪影干扰较多的区域，依旧能精确定位血管位置，正确区分背景与分割目标，这说明本文提出的方法在处理视网膜血管分割任务时具有较强的鲁棒性与泛化性。模型中的ParC-ECA模块能改善传统卷积块在微小血管目标特征提取方面存在的不足。该模块中的ParC（位置敏感循环卷积）可以同时获得全局感受野和位置敏感特征，从而挖掘视网膜血管图像中容易丢失的位置特征信息。而ECA注意力机制可以进一步增强模型对分割目标的关注度，从而提升分割性能。同时多尺度输入模块能避免分割过程中因多重下采样导致的血管细节丢失，在每一层级对目标特征信息进行补充。同时模型在跳跃连接中使用了RSCA 残差双注意力模块来避免多余噪声对定位血管边界的干扰，在跳跃连接中对分割目标关键信息进行重校准，由图11 可以看出，本文方法能保留更多微小血管形态特征，血管丢失的情况更少。

图12展示了本文方法在DRIVE数据集与CHASE_DB1数据集上的ROC曲线图，其中图12（a）部分表示本文方法在DRIVE数据集上的ROC曲线，（b）部分则表示本文方法在CHASE_DB1数据集上的ROC曲线。ROC曲线反映了假阳性样本（FPR）和真阳性样本（TPR）之间的关系，其中AUC（area under curve）被定义为ROC 曲线下与坐标轴围成的面积，当AUC 的值越贴近1 说明模型的性能越好，本文方法在2 个数据集上的AUC 值分别为0.984 3 和0.988 1，相对于其他主流分割方法均有所提高。

图12 本文方法在两个数据集上的ROC曲线图Fig.12 ROC curves of proposed method on two datasets

在视网膜血管分割任务中，模型常常会出现网络过拟合与退化问题，本文在数据处理时对两个数据集进行了数据增强与切片扩充，防止因数据样本不足而导致的过拟合问题，同时网络在编码路径中每一层级都通过多尺度输入模块对输入特征进行加强，使得网络的泛化性与健壮性得到提升，避免网络性能随着训练反而出现退化。

3.6 消融实验

为进一步验证MPR-Net中各模块的有效性，本文将在公共数据集DRIVE、CHASE_DB1 上进行消融实验，结果如表5、表6所示，其中最优指标加粗表示。

表5 MPR-Net在DRIVE数据集上的消融实验结果Table 5 Results of ablation experiments on DRIVE单位：%

表6 MPR-Net在CHASE_DB1数据集上的消融实验结果Table 6 Results of ablation experiments on CHASE_DB1单位：%

由表5 可知，在DRIVE 数据集上，在原始U-Net 网络的基础上，将DoubleConv Block 替换为ParC-ECA Block 后，F1-score、ACC 系数、SE 敏感性系数、SP 特异性系数、AUC 系数都分别上升了2.86、0.45、1.03、0.41、0.51 个百分点，这说明了相较于基于传统卷积块的网络，融合普通卷积、位置感知循环卷积与ECA注意力的ParC-ECA Block能更好地提取图像的全局、局部特征，包括微小血管的形态与位置信息。在以U-Net为基础的网络上添加RSCA 残差双注意力模块则在F1-score、ACC系数上有较大提升，表明RSCA模块通过对跳跃连接中的特征进行双注意力校准与残差连接能有效过滤那些背景噪声的干扰，提升分割准确性。在U-Net网络上添加Multi-Scale Input 多尺度输入模块能有效提升F1-score、ACC 系数、SP 系数、AUC 系数，在每一层级上对输入特征进行加强，找回因下采样过程中丢失的细节信息，避免网络退化。在分别完成各模块对网络的影响测试后，将ParC-ECA Block、Multi-Scale Input 多尺度输入模块、RSCA残差双注意力模块与U-Net进行整合，即MPR-Net，F1-score、ACC 系数、SE 敏感性系数、SP 特异性系数、AUC 系数相较于基线U-Net 模型，分别提高了3.31、0.6、4.99、0.09 和0.54 个百分点，说明了本文提出方法的有效性。

表6 数据显示，在CHASE_DB1 数据集上，增加了各个模块的基线网络评价指标较原始U-Net 均有所提升，而融合各个模块的MPR-Net 网络模型在F1-score、ACC 系数、SE 敏感性系数、SP 特异性系数、AUC 系数上，较之基线U-Net 模型分别提高了5.56、1.06、2.09、0.41 和0.77 个百分点。可以看出，本文提出的方法，改进了以往基于深度学习方法在视网膜血管分割中常见的血管位置信息丢失、受噪声干扰大、网络退化的问题，并在各项评价指标中对比其他先进模型均有一定领先，能较好地完成视网膜血管分割任务。

4 结束语

针对视网膜眼底图像血管分割精度低的问题，本文提出一种结合位置感知循环卷积、多尺度输入的视网膜血管分割方法。在编码路径上使用具有位置感知循环卷积、普通卷积与ECA注意力的ParC-ECA模块来提取视网膜血管全局、局部特征信息并结合多尺度输入模块来找回因多次下采样操作丢失的细节特征；在跳跃连接中使用残差双注意力模块来抑制对会分割结果造成干扰的特征表达、加强对微小血管特征的学习，提高网络精确分割视网膜血管的能力。实验结果表明，本文方法在视网膜血管分割任务中有较好的表现，优于现有方法，不仅具有较好的鲁棒性与泛化性，而且对微小血管也有较高的定位分割能力。但模型中多尺度输入模块对编码路径中每一层级特征融合方式仍有改进的空间，在后续的工作中，将尝试继续改进此方法，使其在视网膜血管分割中有更好的表现。