BBTUNet:基于上下文Transformer的肝脏肿瘤分割算法研究

宋长明，宋 蒙，肖 露，梁朝阳，彩 朔

（中原工学院理学院，河南郑州 451191）

肝癌是世界上最普遍的癌症之一，也是影响我国居民健康的重大公共卫生问题。CT 扫描是肝脏肿瘤诊断普遍采用的方式，从CT 图像中快速准确地分割出肿瘤对肝癌的临床诊断具有重要意义。

随着深度学习的迅猛发展，基于UNet[1-4]的网络结构被广泛应用于医学图像分割领域，如UNet++[5-8]、Attention UNet++[9]、KiUNet[10]、MUNet[11]等，在肝脏肿瘤分割任务中取得了很大的成就，文献[12]在UNet的基础上提出一种用于肝脏及肝肿瘤分割的BSUNet，有效提升了分割精度。近些年，Transformer[13-14]凭借其较好的长依赖性关系提取性能，在视觉领域得到了诸多应用[15-19]。文献[20]提出了一个端到端的分割网络RTNet，有效提升了糖尿病视网膜多病灶的分割精度。

该文提出一种新的模型BBTUNet 用于肝脏肿瘤分割。通过构建Transformer 上下文Bridge，有效增强多尺度特征间的上下文依赖性关系；针对肝脏肿瘤CT 图像中存在的对比度低、肿瘤多尺度和边界模糊问题，引入深度边界细化模块，重新设计Transformer 的前馈神经网络，细化分割边界，获取不同的感受野。实验证明，该文方法可以有效提升肝脏肿瘤的分割精度。

1 BBTUNet模型

1.1 BBTUNet 模型的整体结构

BBTUNet结构如图1 所示，首先将输入图像送入Encoder 中提取特征，生成多尺度特征图F1、F2、F3和F4，接着将不同尺度的特征图均划分为4×4 的图像块(为了保持卷积的连续性，划分的图像块之间有重叠)，并将所有尺度的图像块展平成二维序列。为了保持通道的一致性，需要对各层特征图的图像块的二维序列进行重塑，得到tokenF1、tokenF2、tokenF3和tokenF4。然后通过Concat 操作将tokenFi拼接得到CToken，作为Transformer 的上下文Bridge 的输入，经过上下文Bridge 进一步提取更丰富的全局上下文关系和局部的边界特征，并将这些具有丰富信息的特征图和Decoder中的上采样特征进行融合。实验结果表明，BBTUNet具有显著优势，实现了更精确的分割。

图1 BBTUNet整体结构

1.2 上下文Bridge

为充分提取多尺度特征层间的上下文关系，弥补局部注意力，获得更为精细的边界，文中基于改进的Transformer 机制构建上下文Bridge，重新设计跳跃连接结构，结构如图2 所示。

图2 上下文Bridge结构

首先完成图像嵌入，将Encoder 输出的多尺度特征 图Fi∈ΦH×W×C重构为二维|j=1,…,K}，其中每 个patch 的大小 为p×p，共个patch，得到特征图展平的二维序列:

接着将序列化的特征图投影到N维空间，为了保持patch 的位置信息，再把特定的位置嵌入到patch 中，嵌入公式如下：

其 中，R∈Φ(p2·C)×N表示patch 在N维空间的投影，Rpos∈ΦK×N是嵌入的位置信息。将嵌入的patch输入到Transformer 模块中，得到：

1.3 BFFN结构

Transformer 具有很强的上下文长依赖性表达能力，但对局部特征的学习不足。受文献[21]启发，该文在Transformer 模块的前馈神经网络的全连接层之间嵌入Depth wise conv 层来解决局部信息提取不充分的问题。考虑到肝脏肿瘤区域和周围正常组织边界情况复杂，且连续的下采样造成了大量的边界细节信息损耗，如果仅使用Depth wise conv，卷积核比较单一，会导致肝脏肿瘤边界模糊，分割结果不够精细。因此，通过引入带有不同空洞率的深度边界细化模块改进Transformer 模块的前馈神经网络，一方面可以扩大特征提取的感受野，获得多尺度的上下文信息；另一方面可以细化肝脏肿瘤的边界，提高分割精度。提出的改进前馈神经网络BFFN 结构如图3 所示。

图3 BFFN结构

将上下文Bridge 处理后不同尺度的特征图通过conv3×3提取各通道的基本特征:

其中，Dconv表示空洞卷积，r表示空洞率，Concat表示通道拼接，输出:

将Fiout与Decoder 的上采样特征进行融合，获取更加丰富的边界特征。

1.4 损失函数

由于肝脏肿瘤具有复杂多样的形态表现，肿瘤病灶区域和周围其他组织之间的面积相差较大，所以模型的损失函数采用二元交叉熵损失函数(Binary Cross Entropy，BCE)。

BCE损失函数是二元分割任务中使用最广泛的损失函数，通过计算各像素所属类别的概率，将前景和背景中所有像素交叉熵的加权平均，损失函数定义为：

其中，yi表示ground truth 图像中第i个像素的标签，pi表示预测图像中第i个像素属于前景的概率，N表示图像中的像素点数目。

2 实验结果与分析

2.1 实验数据集

该文以肝脏肿瘤分割挑战赛的公开数据集3DIRCADB 医学分割数据集为训练数据集和测试数据集。3DIRCADB 数据集由几组患者的匿名医学CT 图像组成，由临床专家对各种感兴趣的结构进行人工分割，包含3DIRCADB-01 和3DIRCADB-02。其中，3DIRCADB-01 数据集由来自不同欧洲医院的10名女性和10名男性的CT图像组成。3DIRCADB-02数据集由两个匿名患者的三维CT 扫描组成，图像分辨率为512×512 像素。

2.2 实验环境和数据预处理

该文的实验基于Python 语言的Pytorch 框架对整体代码进行编码运行，硬件配置包括AMD 3700X处理器，32 GB 内存和单张RTX 2070S 显卡。

由于实验数据集来源于CT扫描，数据会受到扫描设备型号、制造商以及采集序列的影响，为了更好地训练模型，在实验的开始阶段对输入图像进行Z-Score像素标准化处理，并将图像的大小设置为256×256。

2.3 评价指标

为了定量评估模型的分割性能，采用相关性系数(Dice)、交并比(IOU)、灵敏度(Sensitivity,Sen)、特异性(Specify,Spe)和准确率(Accuracy,Acc)五个指标作为实验的评估标准。

其中，TP、TN、FP、FN 分别表示真阳性、真阴性、假阳性和假阴性。

2.4 模型的训练

模型的训练阶段采用Adam 优化器，初始学习率为0.001，epoch 和batchsize 分别设置为100 和16。训练过程中的Dice 系数和Loss 随epoach 的变化曲线如图4 所示。

图4 模型损失函数和Dice系数曲线图

从图4 可以看出，Dice 系数值随着epoch 的增加逐渐提高，当epoch 大于100 时稳定在0.82 左右，而训练集和验证集上的Loss 值均在快速下降，并在epoch 大于100 时收敛，逐渐趋于0。

2.5 实验结果与分析

2.5.1 模型性能的客观评估

为了验证模型的有效性，在3DIRCADB 数据集上进行实验，与UNet、UNet++、AttentionUNet 和Inf-Net几种网络对比，进行客观的性能评估，结果如表1所示。

表1 不同方法的分割性能对比

由表1 可以看出，提出的BBTUNet 网络相对于传统的UNet 网络效果提升显著，其中Dice 值从71.2%提升到了82.1%，相比于表现较好的Inf-Net网络依然有1.8%的提升；且在其他各项评价指标上的表现同样优于对比网络。由此可见，提出的基于Transformer 的上下文Bridge 比原始跳跃连接的性能更优，可以有效提升肝脏肿瘤的分割精度。

2.5.2 模型性能的主观评估

为了更加直观地评估模型性能，将该文方法与上述四种网络的分割结果进行可视化，肝脏肿瘤的分割结果如图5 所示。

图5 不同网络对肝脏肿瘤的分割结果

由图5 可以看出，UNet、UNet++、AttentionUNet和Inf-Net 均可大致分割出肝脏肿瘤的病灶区域，但对于边界模糊、小尺寸肿瘤的分割还存在不足，如AttentionUNet 虽然凭借Attention Gate 模块，在复杂边界的肿瘤分割中有较好的性能表现，却存在不完整分割问题，且对于多尺度肿瘤的分割容易出现严重的漏检现象（见图5 中第一、三行）；Inf-Net 通过反向注意力和边缘注意力模块在多尺度和边界模糊的肿瘤分割中都有更好的表现，但对于多尺度小目标的复杂分割，会出现分割不足现象（见图5 中第三行）。提出的BBTUNet 网络的分割结果更接近于专家的手工标注结果，相较于其他网络，可以获得更清晰的分割边界，整体性能表现优异，且在复杂的分割情形中也能取得更精确的分割结果。

3 结论

针对目前肝脏肿瘤分割任务中的难点和现有医学图像分割方法的不足，该文提出了一种基于Transformer 的分割网络BBTUNet。为了提升肝脏肿瘤的分割精度，将原UNet 网络的跳跃连接结构中加入基于Transformer 的上下文Bridge，获取不同尺度特征层的上下文依赖性关系，弥补传统CNN 局部特征的不足，并对传统Transformer 的前馈神经网络改进，通过由可分离空洞卷积构成的边界细化模块细化Encoder 所提取的边缘，进一步学习边界特征。实验结果表明，在肝脏肿瘤分割任务中，提出的BBTUNet 模型能够增强肿瘤的边界特征，较为准确地分割出肝脏肿瘤的边界，针对不同尺度肿瘤的分割也表现出了一定的优势，分割精确度达到82.1%，显著高于其他分割模型。在临床医学中，准确获取肿瘤的位置、数量、形状等信息对疾病诊断、后续治疗方案的制定有着重要作用，在今后的工作中，可将文中提出的分割模型推广到医学分割领域的其他分割任务中，提升计算机辅助诊疗在临床应用中的精度，使之在未来得到更好的发展。