一种多模态的脑肿瘤图像分割方法

熊志勇，邓天齐，李娜

(中南民族大学 计算机科学学院，武汉 430074)

脑肿瘤是一种恶性脑部疾病，由正常细胞变异形成的肿瘤细胞生长而成.临床上诊断脑肿瘤通常观察以核磁共振成像(Magnetic Resonance Imaging, MRI)技术对大脑做断层扫描形成的三维图像.MRI可以在不伤害人体的情况下观察任意地点的切面，显示软组织的精细结构，对于诊断有着极大的帮助，已成为脑部病变检查中最常用的手段[1].从MRI里人工分离肿瘤区域费时费力，分割结果受到图像成像质量和操作者个人因素的影响往往不稳定，用计算机辅助分割肿瘤的需求因此而生.

自计算机技术发展以来，图像分割领域出现了许多分割方法.传统分割方法主要包括阈值分割、分水岭分割、边缘查找[2]、聚类[3]、区域生长[4]等.它们有着实现简单、快速高效的优点.相对地，传统分割方法需要复杂的图像预处理与参数调整，处理脑肿瘤分割任务较为困难,精度也不尽人意.机器学习方法以人工提取的图像特征为出发点，通过优化目标函数完成分割任务，主要分割算法有RF[5]、SVM[6]、KNN[7]、贝叶斯等等.相比起传统分割方法精度有了较大提升，但是提取特征的手段比较复杂.近年来神经网络的崛起使脑肿瘤分割的任务有了新的变化.从AlexNet[8]伊始，ResNet[9]、Unet[10]、Vnet[11]、DenseNet[12]等各种各样的模型不断地出现.它们或是提出了新的卷积网络思路，或是直接用于分割肿瘤，使肿瘤分割正确率节节上升，相应地网络复杂程度和训练开销也大大增加.结合条件随机场与全卷积网络形成的FCNN-CRF网络[13]中先训练了FCNN，然后训练了CRF-RNN校正FCNN的分割结果，提升了整体的分割能力.在U-Net中添加BN层、叠加层和跳跃连接机制简化了U-Net的计算和内存消耗[14].结合注意力机制学习不同尺度块对应的权重，加权得到像素分类的attention U-Net[15]能够准确分割肿瘤区域，提升了U-Net对细节的把握.但是该网络没有考虑类别平衡，使处理病变体素数量少的类别结果不佳.

综合考虑机器学习和神经网络的优劣和性能后，考虑到脑肿瘤集中于部分区域，本文提出一种结合增强随机森林和改进后DenseNet的方法，旨在保证分割精度的前提下降低计算消耗.方法分为粗分割与精细分割两部分.粗分割部分用随机森林在下采样的MRI上分割肿瘤，得到感兴趣区域；精细分割用DenseNet在感兴趣区域上完成像素级分割.最后把精细分割结果还原到感兴趣区域的原始位置，得到最终分割结果.实验结果与其它算法对比证实：提出的方法在保证一定的分割准确率时网络参数数量大大减少，提升了计算效率，简化了训练过程.

1 算法主要流程

1.1 基于增强随机森林的粗分割

1.1.1 图像预处理

由于扫描仪和病人的特异性，不同的MRI图像有着不同的统计特征.为了统一统计特征，使用减去图像大脑区域的灰度平均值再除以标准差的方式归一化图像.归一化后大脑区域和其它部分取值均在0附近，且大脑区域取值大于-8.为了避免算法混淆大脑与其它区域，并放大大脑中不同部分的差异，对大脑区域进行变换，使其平均取值为1000.整体的变换公式为：

(1)

其中x为点的灰度值，μ为图像均值，σ为图像标准差，a=80，b=1000.变换后对MRI进行五倍下采样形成sMRI图像.

1.1.2 基于随机森林的粗分割

sMRI的Flair、T1c、T2模态中坐标相同的点的灰度可以组成一组特征向量.随机森林能在这些特征向量上粗分割出肿瘤.本文设定最小分裂样本数量为800，训练了一个包含27棵树的随机森林，得到初步粗分割结果.

1.1.3 基于边缘查找的粗分割增强

为了排除初步粗分割结果中的过分割部分，由于T1c模态能够凸显肿瘤区，本文使用Laplace算法锐化sMRI中T1c模态(简称sT1c)后用Otsu算法寻找肿瘤边缘，进而分割出肿瘤核心.

Laplace算法能够锐化图像.如果将锐化后的图像边缘视作前景，其它部分视作背景，Otsu算法[16]能够简易地提取出前景.根据初步粗分割结果能够找到sT1c中可能包含肿瘤的切片.这些切片中包含了脑边界与肿瘤边界.脑边界可以腐蚀未经Otsu过滤的切片获得，据此可以得到经Otsu过滤的sT1c切片中仅包含肿瘤边界的图片，结合初步粗分割结果去除其中的过分割部分.

1.1.4 基于区域生长的粗分割增强

区域生长能够补足初步粗分割中欠分割部分.简单的上下阈值区域生长极容易生长出充满大量空洞的三维图像，同时存在过分割与欠分割并存的问题，一种基于局部极小值的区域生长方法能够弥补这种不足.

首先将粗分割结果全部设置为种子点，并设其均值为μ.定义边缘种子点为与该种子相连的6个点中存在不是种子点的种子.对于一个边缘种子点，在sMRI的Flair模态中搜索以其为中心，5×5×5的区域中灰度最小的种子点灰度值，并记为E.那么，生长规则设定为：对于任意一个与边缘种子点相连接的非种子点P，若其灰度值为ρ，当aE≤ρ≤bE且cμ≤ρ≤dμ时，将该点加入成为新的种子点.反复循环直到整个图像中所有满足条件的点均变成种子点，生长结束.

1.2 基于改进DenseNet的精细分割

为了提升卷积网络分割准确率，传统的做法是添加更多的卷积层，期望网络学习到更多图像特征.实践中发现这种做法不仅使网络过于复杂，而且梯度消失问题反而令分割精度下降[9].DenseNet使用密集连接块(DenseBlock)结构提升了分割精度[12].DenseBlock结构加强了特征传递，使特征有效地向深层网络传播，缓解了梯度消失问题.基于DenseNet的语义分割在CamVid数据集上整体精度达到了91.5%[17].

传统的DenseNet有参数量大，计算量大的问题.本文以DenseNet为基础提出了DWDenseNet，其中DW指深度可分离卷积(Depthwise Convolution).由于DenseNet中存在大量DenseBlock结构，一种优化思路是改良DenseBlock以减少参数数量.DenseBlock的卷积结构为C×3×3，其中C为输入图像的Channel数量.将此过程拆分为1×3×3和C×1的深度可分离卷积[18]，卷积过程如图1所示.

图1 深度可分离卷积过程Fig.1 The process of Depthwise Convolution

假设对3通道图像卷积，输出2个类别，使用3×3大小的卷积核，DenseNet的一次卷积需要训练56个参数，改进后一次卷积仅需要训练38个参数，节省了参数量和计算量，简化了网络.

考虑到Leaky ReLU比ReLU多了负值输入时的响应，能够保留更多信息[19]，将DenseBlock里的激活函数更改为Leaky ReLU也有利于网络学习.图2是改进后DWDenseBlock的结构，比起DenseBlock它替换了ReLU并拆分了Conv.

图2 DenseBlock和DWDenseBlock的对比Fig.2 The comparison of DenseBlock and DWDenseBlock

另外一个改进是使用空洞卷积.在卷积核里插入间隔，能够在不增大卷积核尺寸的情况下提升感受野[20].由于卷积核中的间隔会使特征图丢失部分局部信息，为了减少负面效应，本文把DenseNet的输入卷积层改为Concat Conv层.在Concat Conv中，使用间隔为0、1、2的卷积核对原始图像采样，叠加形成输入特征.

最终得到的改进网络如图3，具体结构如表 1，其中Concat Conv中每个空洞卷积输出24 Channels，整体输出72 Channels.改进后的网络需要训练的参数数量为6.8×105个，相比之下同结构的DenseNet参数数量为2.6×106个，改进大大减少了参数数量，降低了网络复杂度.

图3 DWDenseNet 流程图Fig.3 DWDenseNet flowchart

表1 DWDenseNet 整体结构Tab.1 The whole structure of DWDenseNet

网络的详细训练步骤如下：

(1) 将数据集划分为训练集和验证集；

(2) 使用Adam优化网络学习率，设定网络初始学习率为1×10-4，β1=0.9，β2=0.999.损失函数设定为CrossEntropyLoss函数，网络最多训练200轮；

(3) 根据粗分割结果提取包含肿瘤的切片，从Flair、T1c、T2中抽出相应的切片，将灰度压缩到255级，合成一张三通道图像；

(4) 利用粗分割结果得到108×108大小的感兴趣区域，保留三通道图像的感兴趣区域为训练数据；

(5) 输入训练数据训练DWDenseNet网络，并在验证集上计算差异L.假设模型预测结果与人工分割结果(Ground Truth，GT)中不一致的像素点数量为Nne，GT中像素点数量为N，L=Nne/N；

(6) 重复步骤5，直到达到预定的训练次数，或者某一轮过后差异L在16轮以内没有降到更低.取差异L最小的模型为最佳模型.

2 实验结果与分析

本文使用的数据集来源于BRATS2015，由MICCAI(medical image computing and computer assisted intervention)会议提供.数据集中包含274例样本(220例HGG和54例LGG)，每例样本包含去除颅骨的Flair、T1、T1c和T2模态图像，以及GT.GT包含坏死、水肿、非增强肿瘤区、增强肿瘤区和其他5类标签.分割任务为：全肿瘤区域(complete tumor，CT，包含坏死、水肿、非增强肿瘤区和增强肿瘤区)，肿瘤核心区域(tumor core，TC，包含坏死、非增强肿瘤区和增强肿瘤区)和增强肿瘤(enhancing tumor，ET，仅包含增强肿瘤区).四个模态尺寸均为240×240×155像素.对实验结果的评价采用dice系数(dice similarity coefficient)、精确率(precision)和召回率(recall)三个指标.

2.1 粗分割

按照前文所述得到初步粗分割结果后，为了测试不同参数对区域生长结果的影响，设定三组不同的参数得到标注效果，结果如表 2所示.可以看出第2组参数的综合性能最佳.

表2 不同参数对区域生长结果的影响Tab.2 The influence of region growing results with different parameters

表3是RF分割和增强RF分割的分割结果.可以看出Laplace + Otsu + 区域生长的增强处理提升了RF的分割结果.图4中增强的RF分割能够排除RF分割中误分割并缓解欠分割，使粗分割能够较为完整地包括肿瘤区域，避免后续处理中感兴趣区域没有完整包括肿瘤区域的问题出现，增加整体计算量.

表3 粗分割处理结果对比Tab.3 Comparison of rough segmentation processing results

图4 RF分割与增强RF分割结果比较Fig.4 Compared with the segmentation results of RF and enhanced RF

2.2 DWDenseNet分割

2.2.1 改进方法的有效性

本节用小批量实验验证深度可分离卷积与空洞卷积结合的效果更好.从数据集里随机取出30例MRI，其中20例设置为训练集，剩下10例为验证集.使用2.2节的训练方法和相同的训练参数训练了仅空洞卷积改进的DenseNet(Dilated-Net)、仅深度可分离卷积改进的DenseNet(DW-Net)和DWDenseNet.表 4的分割结果对比中可以看到，任意一种改进方法都不如综合起来的DWDenseNet分割更准确.

表4 Dilated-Net、DW-Net和DWDenseNet的分割性能比较Tab.4 the segmentation performance comparison between Dilated-Net, DW-Net and DWDenseNet

图5是2例分割结果的展示.和DWDenseNet相比，DW-Net处理非增强肿瘤部分的准确度不佳，Dilated-Net对图像细节分割错误较多.DWDenseNet很好地综合了两者的长处，分割结果最好.

图5 不同改进方法的分割效果对比Fig.5 The segmentation results with different improved methods

2.2.2 DenseNet分割与DWDenseNet分割结果对比

为了验证改进的效果，本文随机选取了150份MRI(包括120例HGG和30例LGG)，其中120份(包括95例HGG和25例LGG)为训练集，30份(包括25例HGG和5例LGG)为验证集.在其它参数相同的情况下同时训练DWDenseNet网络和DenseNet网络.考虑到感兴趣区域可能无法包括整个肿瘤，粗分割指示结果过大时会将其切割并扩展成多张108×108尺寸的图像，分割完成后合并为原始图像的分割结果.由验证集评估的结果在表 5中展示.可以看到，DWDenseNet的Dice系数和召回率优于DenseNet，全肿瘤分割中精确率也是DWDenseNet更高，证明DWDenseNet确实拥有着更好的分割性能.

表5 DWDenseNet和DenseNet的分割结果Tab.5 The segmentation results of DWDenseNet and DenseNet

图6显示了DWDenseNet和DenseNet的训练过程，其中diff就是差异L.可以看到，DWDenseNet从训练开始，L总是比DenseNet的更小.图7是训练即将结束时的差异放大对比图.图中很明显地指出DWDenseNet在第42次训练时得到了最好模型，而DenseNet直到第50次训练才得到最好模型.不仅如此，DWDenseNet得到最优模型时的L也比DenseNet更小.这说明DWDenseNet收敛更快，得到的模型比同训练参数下的DenseNet更准确，但是网络参数量更少，模型也更简单.

图6 DWDenseNet训练过程Fig.6 The DWDenseNet training process

图7 局部放大图Fig.7 Local enlargement

图8是两个网络对3份样本的预测结果.可以看出，DenseNet与DWDenseNet分割病变区域的能力类似，但是在分割增强肿瘤核心与坏死的能力上DWDenseNet更胜一筹.整体而言，实验结果证明了改进后的DWDenseNet优于DenseNet.

图8 3例分割结果演示Fig.8 The illusion of 3 instances of segmentation results

2.3 与其他方法的对比

为了评估整个方法的有效性，本文把本文方法与U-net[21]和CACNN[22]进行了对比.三个方法使用与3.2.2节相同的训练集和验证集进行训练和评估.图9是三个方法对于三例图像的分割结果，展示出不管是对全肿瘤的划分还是对肿瘤的内部结构划分本文方法稍逊于CACNN，超过了U-net.

图9 不同方法的3例分割结果Fig.9 Predictive image of 3 instances with different methods

表 6是三个方法的统计数据.可以看出，本文方法性能优于U-net，CT、TC和ET的Dice系数分别提高了6.62%、5.12%和8.46%，平均分割时间也大大减少.相比于CACNN，本文方法的CT、TC和ET的Dice系数仅分别降低了0.53%、3.24%、0.99%，但是平均分割时间约为前者的百分之一.考虑到CACNN提取的感兴趣区域大于本文方法，并且三维卷积计算量远超于二维卷积，所以本文方法和CACNN相比以小部分精度为代价大大提升了计算效率.平均分割时间也从侧面验证了计算量差异，证明本文方法需求的计算量更小.

表6 不同模型分割效果的评价Tab.6 Evaluation of tumor segmentation results with different models

3 结语

针对现有的全卷积网络完成像素级肿瘤分割任务的方法中参数数量大、计算量大的缺陷，提出了一种先使用增强RF粗分割肿瘤，再用改进的DenseNet精细分割的方法.提出的方法中，粗分割部分在下采样的MRI上分割肿瘤，简单快速地定位感兴趣区域；精细分割部分使用深度可分离卷积、Leaky ReLU和空洞卷积增强DenseNet的分辨性能并减少参数数量，分割感兴趣区域，最后还原成最终分割结果.通过对比实验可知，本文提出的方法不仅保证了分割精度，而且分割图像所需时间远少于其它方法.我们下一步将在此方法的基础上结合图像的更多特征，在保持计算效率的情况下提升对非增强肿瘤和增强肿瘤的分割能力，实现更高精度的肿瘤分割.