基于多层特征融合的视网膜血管分割模型

刘延龙，吴 聪

(湖北工业大学计算机学院，湖北 武汉 430068)

眼睛是人类接收和获取外界信息的重要途径之一，占接受信息总和的80%。因此，眼睛的健康对人们日常的生活和工作学习有着至关重要的影响。医学临床中，眼底视网膜检查是眼部检查的重要步骤，对眼底视网膜图像的判读和分析，有助于医生对相关疾病进行检查和诊断。而检查最重要的则是提取出眼底视网膜血管的形态和结构。在视网膜血管图像中，视网膜血管结构和形态的改变是眼底病变最常见的形式。视网膜血管的血液循环受到其周围的局部组织影响，往往是许多其他心脑血管疾病发生的原因。例如，糖尿病视网膜病变可以通过视网膜血管结构的改变来诊断。它会导致失明，这意味着早期发现是至关重要的。高血压是另一种视网膜疾病，高血压性视网膜病变。高血压患者血管曲度增加或血管狭窄。因此，视网膜血管分割的准确性可作为相关疾病判断的重要依据。但是人工分割视网膜血管不仅费时费力，还需要丰富的经验和熟练的技能。因此，开发高精度、省时省力的计算机系统辅助视网膜血管检测是目前广泛需要的。

近年来，许多基于深度学习的方法被应用于视网膜血管分割领域。并取得了不错的视网膜血管分割结果。Song Guo等[10]采用短连接来缩小输出层之间的语义差距，命名为多尺度深度监督网络(multi-scale deeply supervised network，BTS-DSN)。Juntang Zhuang等[11]提出了一种具有多个编码器和解码器的网络。它采用了跳跃连接，使网络具有更多路径的信息传输。M.Z.Alom等[12]提出了一种R2U-Net，他们将RNN和ResNet的结构集成到了编码器-解码器结构中。Changlu Guo等[13]提出了一种深度密集残差网络结构(a deep dense residual network structure，DRNet)。该方法将残差连接和密集连接的思想相结合应用于视网膜图像的血管分割。文献[14]提出了利用atrous卷积(attention guided U-Net with atrous convolution，AA-UNet)的注意力引导U-Net，重复使用特征进行血管分割。在文献[15]中，提出了一种多路径递归U网深度学习体系结构。该结构结合了递归神经网络和卷积神经网络，对原有的U-Net和递归单元进行了相应的改进。Xiaoyu Guo等[16]提出了在密集U-Net中使用Inception模块进行视网膜血管分割。Zhun Fan等[17]提出了一种采用不同于传统卷积的卷积方式来获取更多信息的方法。它可以更好地捕捉不同形状和大小的视网膜血管。Aashis Khanal等[18]在网络中使用动态卷积学习更多的特征用于视网膜血管分割，从而提高对细小血管的检测能力。

综上所述，这些方法都是端到端的，没有对低层特征进行有效的利用。本文提出多层特征融合方法，充分利用了低层视觉特征，是视网膜血管分割的一种新思路。

1 基于多层特征融合的视网膜血管分割模型

本文提出了一种视网膜血管分割的多层次特征融合模型(图1)。

图1 MFFNet的网络结构

2.1 多层特征融合模型(MFFNet,Multilevel Feature Fusion Net)

本文提出的多层特征融合模型包含两个部分:包含连续记忆力模块(CMB,Contiguous Memory Block)的编码器和包含多层特征融合模块(MFFB,Multilevel Feature Fusion Block)的解码器。定义Iraw作为输入和Iseg作为最后的输出。在编码器中，首先使用卷积层来从输入的原始图像捕获特征F0。

F0=Oconv(Iraw)

(1)

式(1)中，Oconv是一个卷积运算。F0用作第一个连续记忆力模块(CMB)的输入。MFFNet中采用了四个连续的记忆力模块。定义Fd是dth连续记忆力模块的输出。

Fd=Ocmb,d(Fd-1)

(2)

式(2)中Ocmb,d是dth连续记忆力模块的运算，是一个包含卷积运算和矫正线性单元(ReLU)的复合函数。其中，Fd充分利用了连续记忆力模块中的每个卷积层，因此编码器实现了一种连续的记忆和存储机制。关于连续记忆力模块的更多细节将在2.2介绍。利用连续记忆力模块捕获特征后，得到一个充分利用所有卷积层信息的特征。将其用于解码器中，设计一个用于上采样的多层特征融合块。最后，经过一个卷积层，MFFNet的输出可以由下式得到：

Iseg=OMFF(Iraw)

(3)

式(3)中OMFF 是整个MFFNet的操作。

这里的DP包含BN,Relu，1×1卷积和一个大小2×2的最大池化。

“所以平台化+专业化，我认为是阳光印网这样的平台和印刷企业合作的最佳的一个相互融合的模式。”杨斌说，除了共享、共生，他们还要与合作企业共融发展。

2.2 编码器中的连续记忆力模块(CMB,Contiguous Memory Block)

在下采样过程中，本文采用了下面的特征传递方式，来学习更多关于低层特征的信息。图2展示了连续记忆力模块中特征传递的细节，它是通过将前一个CMB的信息传输到当前CMB的每一层，从而形成了一种连续记忆机制。

图2 连续记忆力模块结构

Fd-1和Fd作为在dthCMB的输入和输出，它们有相同的特征图G0。这意味着在CMB中保持相同的特征图。dthCMB的cth卷积层的输出可通过以下途径获取:

Fd,c=σ[Wd,c(Fd-1,Fd,1,Fd,2,…,Fd,c-1)]

其中σ代表ReLU函数，Wd,c是Cth卷积层的权重。让Fd,c有G0特征图，G代表增长率。[Fd-1,Fd,1,Fd,2,…,Fd,c-1]是(d-1)thCMB中的特征, CMB中的卷积层1,2,…,c-1的输出可以由G0 +(c-1)×G得到。输出可以直接利用于所有后续层中的每一层，传递需要保存的特征。可以从下式得到:

Fd,c=Cd(Fd,1,Fd,2,…,Fd,c)

其中Cd表示在dthCMB中的连接操作，充分利用了现有CMB的低层次特征。最终的dthCMB输出可通过下面方法得到:

Fd=R(Fd-1,Fd,c)

上式中R为ResNet的跳跃连接。最后，在下采样过程中的最后一个CMB的输出特征(F)，将用于上采样过程中的MFFB，计算方法如下：

F=σ[W(Fd)]=σ{W[R(Fd-1,Fd,c)]}

(4)

2.3 解码器中的多层特征融合模块(The Multilevel Feature Fusion Block，MFFB)

图3是解码器中的多层特征融合模块，该模块输入有两层特征。将下采样过程中学习到的视觉特征称之为低层特征，上采样学习到的语义特征称为高层特征。多层特征融合块的左侧是一个低层语义特征处理的过程，CMB对训练好的低层特征进行调整。这个连续记忆力模块有助于消除无效的特征并增强有用的低层特征。然后跟随一个3×3的卷积学习一个新的权重特征融合。该操作可以通过以下方式获取:

图3 多层特征融合模块

Flow-level=W(w0Fd-1,w1Fd-1,…,wcFd,c)

Fd,c是dthCMB下采样特征学习过程得到的每个特征图。W代表卷积运算，也是特征的学习权值。

右边是高层特征处理，通过卷积操作调节输入的高级特征的权重，然后通过上采样过程返回到与低层特征相同的通道数和维数。然后，对两个层次特征进行连接和加权。最后，在经过CMB处理后，它将用于下一个MFFB。MFFB的输出可以通过下式得到:

Fhigh-level=W(aFnew-high-level,bFlow-level)

Fnew-high-level是当前多层特征融合块的输出，Flow-level是下采样过程学习的特征，a和b代表Fnew-high-level和Flow-level的权重。W是像原始U-Net一样的连接操作。

在多层特征融合块中采用连续记忆块的原因是为了产生一种新的高级特征，然后对其进行后处理以提高结果的准确性。可以调节框架中每一层的权重，允许两个层次的特征更有效地融合。但是，如果在CMB中直接连接输入和输出，将导致特征的数量增加，意味着更多的计算。为了解决这个问题，CMB的输入并不直接与其输出连接。在CMB的每一层中先采用1×1卷积，再采用3×3 卷积，以抑制特征图数量的增加。一方面，经过CMB学习后，低阶特征的维数总是相同的。另一方面，通过上采样使高层特征的通道数与低层特征通道数保持一致。down processing(DP)包括BN、Relu、1×1 conv和大小为2×2的max-pooling。上采样是由一个步长为2的转置卷积组成的。MFFNet的体系结构见图4。

图4 MFFNet的网络结构

3 实验结果和分析

在不同的视网膜血管数据集上实验，以检查MFFNet的性能。

3.1 数据准备及预处理

DRIVE:该数据集是从荷兰糖尿病视网膜病变(DR)的一个筛查项目中收集的。像素为565×584，包含40张图像。为了进行训练，分成20张图像进行训练，20张图像进行测试。

CHASE_DB1:本数据集来自英国儿童听力与健康协会的一个研究项目。像素为999×960，包含28张图像。分成20张图像进行训练，其余8张图像进行测试。两个数据集的具体信息见表1。

表1 DRIVE和CHASE_DB1

3.2 评价指标

本文实验中使用的评估方法性能的指标包括准确度(AC)、灵敏度(SE)和特异性(SP)。不同指标的计算如表2所示。

表2 本文使用的评价标准

其中TP为真阳性，表示有血管的区域分类正确。反之，如果该区域分类错误，则命名为false negative(FN)。非血管区分类正确称之为True negative(TN)。如果背景区域分类错误，则称为假阳性(FP)。

3.3 实验结果与分析

本文所有的实验都是在带有GPU Titan X的windows PC上进行的。其中，第一个卷积层是一个步长为2的7×7卷积，其他所有层的设置如图4所示。本文实验使用的网络层数如图5所示。在这项工作中，设定的增长率(k)是16。

图5 采用深度为4的MFFNet进行视网膜血管分割

在实验结果可视化对比(图6)中，展示了U-Net、U-Net+MFFB(在U-Net的上采样过程中使用MFFB)和MFFNet在DRIVE和CHASE_DB1上的分割结果。可以看出，MFFNet的分割性能更好，检测出了一些容易遗漏的细小结构。表3显示了U-Net、残差U-Net、LadderNet、U-Net+MFFB和MFFNet在DRIVE和CHASE_DB1上的分割结果。结果表明:1)U-Net+MFFB和MFFNet的性能与其它模型对比都有所提升，证明了引入多层特征融合的策略是有效的。2)MFFNet的AC和AUC分别比U-Net在DRIVE和CHASE_DB1上的AC和AUC高1.59%/1.7%和0.97%/1.2%，证明包含了CMB和MFFB的MFFNet性能更好。在医学图像分割任务需要的高精度来讲，改进效果显著。

图6 在DRIVE和CHASE_DB1上的分割结果

表3 在DRIVE和CHASE_DB1上的测试结果

4 结论

本文提出一种多层次特征融合网络(MFFNet)，该网络能够增强特征学习和传输，用于视网膜血管分割。本文设计的连续记忆力模块意味着CMB的输出可以直接利用下一个CMB中的每一层，CMB中的每一卷次层可以利用后面的每一层传递有用的特征。然后，提出一种多层特征融合块来融合两层特征。它不同于大多数直接连接低层特征和高层特征端到端方法,而是高效的提取低层视觉特征并将其与高层语义特征相融合从而提升分割性能。通过对所提出的MFFNet在DRIVE和CHASE_DB1数据集上进行测试，可以发现与其他流行的方法相比，该方法在该分割任务上表现更好。