基于多尺度语义表征的医学图像分割网络

王晓援, 王 雪

(1. 吉林农业科技学院 信息化管理中心, 吉林 吉林 132101； 2. 吉林大学 计算机科学与技术学院, 长春 130012)

传统的医学图像分割方法需借助图像的灰度、 纹理、 形状等特征信息, 并利用先验知识手工设计特征实现分割[1]. 但该方法在复杂医学图像分割中很难提取有效特征, 且这些特征仅适用于特定的分割任务, 泛化能力较弱. 近年来, 深度卷积神经网络因其强大的特征自动学习能力, 在医学图像分割中取得了显著的效果; 全卷积神经网络(fully convolutional neural network, FCN)实现了图像端到端的像素级语义分割[2]; 经典的U-Net网络在生物医学图像分割中取得了较好的分割性能[3]； 编解码网络进一步提升了多种医学图像分割任务的分割性能. 例如, 基于骨干网络的改进： 循环神经网络(recurrent neural network, RNN)[4]、 生成对抗网络(generative adversarial networks, GAN)[5]和级联网络[6]； 基于网络模块的改进： Inception模块、 稠密连接模块、 注意力模块以及多尺度模块等[7-10]. 尽管上述方法在不同医学图像分割中不同程度地提升了分割性能, 但由于医学图像自身的复杂性, 如病灶区域纹理复杂、 边界模糊、 与周围组织的对比度低、 噪声干扰等, 因此现有网络在复杂特征提取中存在一定的局限性.

针对复杂场景下医学图像分割精度较低, 无法准确分割目标区域的问题, 本文提出一种基于多尺度语义表征的医学图像分割网络, 以实现多种复杂场景下的医学图像分割. 该网络通过引入多尺度上下文感知模块, 捕获空间和通道多个尺度的上下文信息； 通过特征差异模块突出不同层间语义特征的差异性, 减少特征融合带来的信息冗余； 通过边界编码模块和混合注意力模块进一步增强边界特征学习和网络语义表征能力. 实验结果表明, 该方法在结肠镜息肉和皮肤病灶分割中有效提升了多种复杂场景下的分割性能.

1 多尺度语义表征网络

本文提出的多尺度语义表征网络(multi-scale semantic representation network, MSR-Net)由多尺度上下文感知模块(multi-scale context-aware module, MCM)、 特征差异模块(feature difference module, FDM)、 边界编码模块(boundary encoding module, BEM)和混合注意力模块(hybrid attention module, HAM)组成. 编码器采用预训练的ResNet-34逐层提取图像的语义特征信息； 解码器的每层与编码层对应, 采用两个连续的卷积、 正则化和非线性激活操作逐层恢复编码层提取的高级语义特征. 网络训练过程采用深度监督的方式, 分别计算每层解码层生成的预测图与其对应的具有相同分辨率的下采样标签图像(ground truth, GT)的损失. MSR-Net的整体框架如图1所示.

图1 多尺度语义表征网络整体框架

1.1 多尺度上下文感知模块

针对医学图像中病灶区域的形状不规则、 尺度变化大、 强度不均匀等复杂特征, 本文在编码的深层语义特征图中, 构建多尺度上下文感知模块(MCM), 分别从空间和通道多个尺度学习目标区域的上下文信息, 提高网络的语义表征能力. MCM模块的组成结构如图2所示, 其中Add表示特征图相加操作, Mul表示像素级的乘操作.

图2 MCM模块结构

MCM模块由感受野模块(receptive field block, RFB)[11]和注意力细化模块(attention refinement module, ARM)[12]组成. RFB模块包含4个分支, 其思想来源于Inception结构, 采用并行卷积操作, 分别以不同的感受野提取深层语义特征图中的空间上下文信息. 为降低网络的计算量, 本文在编码的第3,4,5层引入MCM模块, 同时采用Atrous卷积, 以不同的扩张率扩大特征学习的感受野. 为提取到的多尺度空间上下文分配权重信息, ARM模块进一步在特征图通道上增强网络对不同尺度上下文的表征能力.

1.2 特征差异模块

为解决下采样过程中丢失部分空间细节信息, 影响最终分割精度的问题, 典型的基于编码-解码网络的方法在解码层采取特征图拼接或像素级的加操作融合编解码层的特征. 但上述操作易产生信息冗余, 减弱了不同层语义信息间的差异, 在一定程度上影响了目标区域的准确定位. 基于此, 受文献[13]启发, 本文提出特征差异模块, 通过计算相邻层间的特征差异, 突出不同层间语义特征的差异性, 减少特征信息冗余. 特征差异的计算公式为

(1)

1.3 混合注意力模块

在解码器中, 本文采用混合注意力模块HAM融合来自特征差异模块(FDM)和边界编码模块(BEM)的特征信息, 并通过压缩-激励(squeeze-and-excitation)[14]操作自适应地为其分配不同的权重, 学习各模块汇聚的上下文信息, 增强网络对不同层间特征差异和边界信息的语义表征能力. 混合注意力模块结构如图3所示. 其中边界编码模块BEM采用文献[15]中局部上下文注意力(LCA)模块的结构, 通过计算解码层预测结果图中模糊分类的像素点集合, 生成边界处模糊分类的概率图, 并与对应解码层的特征图进行融合, 得到边界信息增强的特征图. BEM可有效增强网络对病灶区域边界的特征学习能力.

图3 混合注意力模块结构

2 实验结果与分析

本文实验基于PyTorch框架, 训练、 验证和测试均在操作系统为Ubuntu 16.04 LTS 64, 内存为64 GB的Intel Xeon CPU E5-2620 v4服务器上进行, 显卡采用NVIDIA GeForce GTX 1080 Ti独立显卡.

2.1 数据集及评价指标

实验采用两个公共的医学图像分割数据集： 结肠镜息肉分割数据集和皮肤病变分割数据集. 其中: 结肠镜息肉分割数据集选用Kvasir-SEG[16]; 皮肤病变分割数据集来自皮肤镜检查图像ISIC 2018[17]. 两个数据集都分别包含原图像及与其对应的手工标签图像. 两个数据集的信息列于表1.

表1 医学图像分割数据集信息

为验证MSR-Net的分割性能, 本文采用的客观评价指标包括： Dice系数、 均交并比(mIoU)、 准确率(accuracy, Acc)、 召回率(recall, Rec)和精确率(precision, Prec).

2.2 网络参数设置

(2)

2.3 实验对比分析

为验证本文提出的MSR-Net在结肠镜息肉分割数据集Kvasir_SEG上的分割性能, 将MSR-Net分别与U-Net[3],MCSA-Net[7],ACSNet[15],CA-Net[18],FANet[19]进行定量对比分析. 按文献[7]中划分数据集的方法, 将数据集以60%,20%,20%的比例随机划分为训练集、 验证集和测试集. 图像在输入网络模型前, 将尺寸统一调整为320×320. 不同方法各评价指标的对比结果列于表2. 由表2可见, MSR-Net的各评价指标值均优于其他网络, 与其他网络中的最优结果相比, Dice系数、 均交并比mIoU、 准确率Acc、 召回率Rec和精确率Prec分别提高了1.94%,1.44%,0.33%,0.72%和1.27%.

表2 不同方法在数据集Kvasir_SEG上的定量对比结果

为从视觉上直观地进行对比分析, 不同方法对息肉的可视化分割结果如图4所示. 由图4可见： 结肠镜下的息肉纹理复杂, 与周围黏膜组织对比度较低, 边界不清晰, 增加了分割的难度; 其他网络在部分分割场景下不同程度存在欠分割的现象, 如图4中第1,4行的部分分割结果所示; 受图像亮度不均和对比度低的影响, 其他网络存在误分割区域, 如图4中第2～4行的分割结果所示. 实验结果表明, 本文提出的MSR-Net的分割结果更接近于手工标注的GT图像, 优于其他网络.

图4 不同方法在数据集Kvasir_SEG上的息肉分割结果

为验证MSR-Net在皮肤病变分割数据集ISIC 2018上的分割性能, 将MSR-Net分别与上述对比网络模型在该数据集上进行定量对比分析. 按文献[7]划分数据集的方法, 将数据集随机划分为训练集、 验证集和测试集. 其中, 1 815张图像用于训练、 259张图像用于验证、 520张图像用于测试. 图像在输入网络模型前, 将尺寸统一调整为512×512. 不同方法各评价指标的对比结果列于表3. 由表3可见, MSR-Net在Dice系数、 均交并比mIoU和准确率Acc指标上都取得了最优结果, 与其他网络中的最优结果相比, 分别提高了1.65%,0.96%和0.11%. 在召回率Rec和精确率Prec上也都取得了较好的结果. 实验结果表明, 本文网络在皮肤病变分割中也取得了最优的分割性能.

表3 不同方法在数据集ISIC 2018上的定量对比结果

不同方法在皮肤病变分割的可视化对比结果如图5所示. 针对皮肤病变区域颜色、 纹理、 形状和大小多变、 边界模糊、 背景毛发遮挡以及周围组织相近颜色的干扰等多种复杂场景, 其他网络均不同程度存在漏分割和误分割现象, 而MSR-Net能有效避免复杂背景干扰, 准确地定位病灶区域的边界, 在不同尺度的病灶区域分割中, 均取得了最优结果.

图5 不同方法在数据集ISIC 2018上的皮肤病变分割结果

综上所述, 为提高多种复杂场景下的医学图像分割精度, 结合医学图像自身的复杂特征, 本文提出了一种基于多尺度语义表征的医学图像分割网络. 该网络能从多个尺度提取复杂组织和病灶区域的上下文信息, 捕获不同层间的特征差异, 并增强目标区域的边界信息, 有效避免了相似背景信息的干扰, 增强了网络对复杂特征的语义感知能力. 实验结果表明, MSR-Net具有较强的鲁棒性, 获得了更高的分割精度.