基于卷积神经网络的MRI脑瘤图像分割方法研究

(山东师范大学物理与电子科学学院，250358，济南)

1 引 言

脑瘤是一种常见的肿瘤疾病，每年超过20万的病人被诊断为原发或转移性脑肿瘤.神经胶质瘤是最普遍的原发性胶质瘤，非恶性胶质瘤(Low Grade Gliomas,LGG)较恶性胶质瘤(High Grade Gliomas,HGG)有更长的存活时间和存活几率.现今脑肿瘤的标准治疗以外科手术为主，辅以放疗和化疗等治疗措施.核磁共振(Magnetic Resonance imaging,MRI)是医学诊断和治疗的重要组成部分，利用磁共振现象从大脑中获得电磁信号,并重建出脑部信息，对大脑提供一个有效的解剖成像，从而增加医学诊断者的诊断能力.在MRI图像上进行脑瘤分割对于制定治疗计划和跟踪评价有重要的作用[1].

脑瘤分割自被提出以来已经经历了三个阶段：人工分割，半自动分割和自动分割.传统的人工分割方法浪费时间且主观性强[2]，不同专家对不同患者进行分割得到的结果不同，即使同一专家在不同时间对同一患者也存在差别.半自动分割对专家的经验和知识的依赖性较大，经验与知识的丰富与否直接影响分割结果的好坏，因此减少人的干预仍是研究的重点.在最近的几十年里，自动分割技术成为致力研究的目标且取得了巨大进展.

自动脑瘤分割方法大致可以被分为两种：基于生成模型的方法和基于判别模型的方法.生成模型虽然收敛速度快，但需要大量的样本和信息来提取先验知识.Wang等[3]人提出用混合高斯模型进行脑瘤分割，用多重高斯分布去模拟多重脑组织.与此相反，判别模型准确率高，所需计算资源少.SVM[2]将分类问题转化为二次规划优化问题.Chaddad[4]通过最小化泛化错误得到最优决策树来实现分类.但是判别模型收敛速度相对较慢，且需要手动提取特征，特征提取的好坏对分割有很大影响，因此自动特征提取成为研究的方向.

作为能主动提取特征的自动分割方法，卷积神经网络(Convolutional Neural Network,CNN)已经被用于脑瘤图像的分割.Havaei[5]将网络的训练分成两个阶段，并同时提取图像的整体特征和局部特征.Lyksborg[6]提出利用二元网络对MRI图像进行体积分割.相比于传统CNN只在一个尺度上进行操作，Liya[7]对图像在不同尺度上进行卷积来获得区域的多尺度信息.上述方法都是在2维图像上进行的分割，为了充分利用图像的3维特征，Urban[8]对3D滤波器的卷积效果进行了评价，但是这种方法对计算量的要求比较大.在本文中，我们提出了一种特定的CNN模型进行脑瘤分割.首先，我们将级联层与短连接相结合，在提取更精细的特征的同时增加了网络的收敛速度；然后，多尺度卷积被应用在网络中，从不同尺度上提取卷积特征使得分割结果更加准确；最后，用卷积层代替全连接层，构成全卷积神经网络，实现端到端的像素级分割.

2 方 法

2.1预处理为了减少三维图像的计算时间，我们利用从轴向得到的二维图像进行脑瘤分割.在获取MRI图像时，偏移场容易发生畸变，因此需要对图像进行偏移场矫正.与此同时当序列穿过不同的图像时相同组织的灰度发生变化，即使是同一个病人在同一场景的不同时间点上拍摄的图像，灰度也是不同的.我们利用N4ITK[9]来处理这一变化,同时对MRI序列进行灰度归一化，使得序列穿过不同的物体时组织的灰度分布在同一灰度阶上.对图像进行正则化以后，得出图像块的平均值和标准差，然后对序列的图像块进行正则化，得到零均值和单位方差.为了在训练过程中减少数据量对图像分割效果的影响，我们利用数据扩增：将原始图像块旋转90°的倍数来增加数据库中的样本数量[10].

2.2传统卷积神经网络传统的CNN通常由卷积层，激活函数，池化层，全连接层四个部分组成.卷积层的作用是进行特征提取，每层有多个包含独立神经元的二维平面组成，每一个神经元通过权值与上一层特征图的局部块进行连接，不同的神经元利用相同的权值提取特征，不同特征图提取不同特征.

为了增加网络的信息提取能力，激活函数对卷积得到的结果进行非线性转换.常用的激活函数包括Sigmoid，tanh，ReLU等，ReLU的收敛速度比sigmoid和tanh快，但是当流过ReLU神经元的梯度流过大时，神经元容易“死亡”.为此，本文中我们使用LReLU(a=0.33)[11]，函数定义如下,

(1)

池化层的作用是通过下采样来降低下一阶段的计算复杂度，同时增加特征表示的紧凑型和稳定性，一般选用最大化池化或者平均池化.但池化在对图像进行子抽样的同时有可能会导致部分重要信息缺失，因此本文使用重叠池化，如图1所示.

图1 重叠池化示意图(池化因子3，步长2)

与卷积层中的局部感受野不同，全连接层是指本层的每一个神经元都与上一层的所有神经元相连，将前面提取到的特征进行整合实现最后的分割.

2.3改进卷积神经网络整体的分割框架如图2所示，此框架更有利于在大范围内有效提取特征进行脑瘤分割.

图2 分割框架

2.3.1 级联 传统CNN中，经常是单个卷积层与池化层交替出现，并且根据卷积核的大小，输出特征图的尺寸也会发生变化.为了增加卷积层之间的联系，我们将多个卷积层进行级联，且保持输入与输出特征图的大小不变.在相同感受野的情况下，级联操作在增加网络深度的同时提高网络的非线性转换能力，因此可以提取更多特征信息.

2.3.2 多尺度卷积 传统网络中，每两层之间进行特征提取的卷积核大小是单一且固定的，主要关注于某个像素点的固定范围内图像信息的提取.无论是大范围信息还是小范围信息对于图像分割都尤为重要.因此利用不同大小的卷积核从多种尺度上分别进行特征提取实现多尺度信息利用.

2.3.3 全卷积神经网络 全连接层是传统CNN中的重要组成部分，但是它的存在一方面使得图像输入的大小必须一致，另一方面网络的计算量也会增加.我们提出将网络中的全连接层用卷积层代替，从而打破了输入图像大小的限制，同时使得图像分割在像素水平上进行，增加了分割的准确率.

本文中，我们将网络分成三部分：小卷积核级联，多尺度卷积和输出.级联部分共包含6层，是由两个级联层串联而成，每个级联网络由三个卷积核大小为3×3卷积层组成.在相同的感受野中，随着卷积层数的增加，提取到的特征也更加抽象.级联层的存在使得网络的非线性增加，准确性增加，训练速度和收敛速度却因此变慢，为了解决此问题，我们将第一层的输出与最后一层的输出相加实现短连接，以此来提高网络的收敛性.为了在增加图像的鲁棒性和减少网络的计算量的同时减少信息的丢失，我们采用池化因子为3，步长为2 的重叠池化.多尺度卷积部分由四个不同尺度的并联卷积层组成，卷积核大小分别为1×1，3×3，5×5，7×7.我们将四种尺度同时作用于上层的输出特征图，分别从不同范围内提取图像的特征信息，包括局部信息(纹理、边缘等)和整体信息(位置、亮度等).在输出部分，我们并没有采取传统网络中的全连接层，而是用包含5种卷积核的卷积层进行信息整合，得到最后的分割效果.

2.4训练CNN的训练过程主要分为两个阶段，向前传播阶段和向后传播阶段.向前传播阶段利用随机梯度下降(Stochastic Gradient Descent,SGD)，通过损失函数计算出网络输出模型的预测值与与真实值之间的误差. 向后传播阶段根据计算出的实际输出与理想输出之间的差，通过BP算法反向调整权值矩阵.在第一阶段中我们利用SGD来得到损失函数的最小值，但是SGD每次的参数更新方向只取决于当前位置的梯度，且在曲率低的地方更新速度很慢，因此采用NAM(Nesterov's Accelerated Momentum)使得参数更新方向受当前位置和上一次位置的共同影响，且加快了算法的速度.

3 实验结果

本次实验是在BRATS2013数据集[12]上进行的，包括三个数据集：训练集，Leaderboard，Challenge.训练集包括20个HGG和10个LGG.Leaderboard总共由25个病例组成，其中21个HGG，4个LGG，同时Challenge包含10个HGG.在BRATS中每个病人由T1，T1c，T2，Flair四种不同的MRI序列组成.手动分割将脑瘤区域划分为5部分：非肿瘤，水肿，坏死，非持续增长肿瘤，持续增长肿瘤.由于Leaderboard和Challenge上的手动分割图像是不公开的，因此我们将两个训练集得到的分割图像上传到在线测试平台[13]进行效果评价，评估标准如下,

(2)

(3)

(4)

TP代表真阳性的数量，TN代表真阴性的数量，FP代表假阳性的数量，FN代表假阴性的数量[14].

3.1级联将级联层用感受野大小相同的卷积层来代替，卷积核大小为7×7.在一定程度上，特征提取准确度会随着卷积层数量的增加而有所提高.如表1所示，除了Challenge的PPV，在其他指标上级联得到的结果比传统网络得到的效果要好，将单一卷积层用感受野相同的多个小卷积核级联会增加数据转换能力从而提高分割效果.

表1 级联卷积层与传统卷积层比较结果

3.2单一尺度与多尺度同一像素点，不同范围的周边信息所包含的信息量是不同的，实验中所利用的多尺度卷积核分别为1，3，5，7.为了验证多种尺度对于实验结果的最终影响，我们将多尺度卷积分别与四种单一尺度的卷积核进行比较.网络中的其他结构不变，把所有的卷积层分别用1×1，3×3，5×5，7×7代替，得到的实验结果如表2.通过结果可以看出，在单一尺度中，除了卷积核为3×3的实验，在其他实验中随着卷积核大小的增加，每个像素所取范围越大，包含的信息越多，得到的结果越准确.实验证明3×3是最适合的卷积核尺寸，除此之外，将四种尺度融合在一块所得到的表现比卷积核为3×3的单尺度卷积得到的效果更好，证明结合不同范围内的信息可以明显的使网络的表现受益.

表2 多尺度与不同尺度比较结果

3.3全卷积网络在网络的最后，我们将卷积层用三个全连接层代替，卷积核数量分别为256，256,5.从表3和图3中可知，全卷积网络对信息有更好的感知能力，主要是因为打破了传统网络中像素块大小对感知区域大小的限制.除此之外，网络的训练速度提高了6%左右，因为传统网络中针对每个相邻像素点所取像素块基本上是重复的，对每个像素块进行卷积会使得计算有所重复，从而增加了计算量.将操作从图像水平转到像素水平上，精确度与计算效率都得到了提升.

表3 传统网络与全卷积网络比较结果

图3(a)(b)(c)(d)显示的是四个序列：Flair，T1，T1c，T2;(e)(f)显示的分别是全连接网络和全卷积网络进行分割得到的结果.

3.4与其他方法进行比较图4展示了本文方法与Zhao[7]，Davy[15]，Havaei[5]进行比较的结果.实验结果表明多尺度与级联层的联合得到的分割效果更加准确.虽然Havaei的平滑效果是最好的，但是对于细节信息的捕获却不如Zhao.Zhao由于过度分割出现了冗余信息.综合分析，本文算法的效果是最好的，多尺度使得网络从不同的像素范围内获得信息，级联增加了数据的非线性转换能力，两者相结合促使网络提取的特征更加仔细，分割能力也得到了提高.

图4(a)(b)(c)(d)显示的是四个序列：Flair，T1，T1c，T2;(e)(f)(g)(h)显示的是分别用本文方法，Zhao，Davy，Havaei进行分割得到的结果.

4 结 语

本文中，我们提出了一个新颖的基于卷积神经网络的自动脑瘤分割方法.首先，我们用N4ITK，灰度正则化等对图像进行预处理，同时加入数据扩增来处理脑瘤位置、形状、大小的多变性.其次，我们将小卷积核级联与短连接结合来增加网络的训练速度.而且多尺度操作可以同时学习不同范围内的像素信息.我们利用BRATS2013进行测试，将得到的测试结果在在线评价平台上进行评价，证明文中网络结构在现有水平上得到了提高.在未来，除了会进一步研究网络结构的调整，我们还会继续探索如何减少卷积神经网络对于标签的依赖性，如何在较少的标签性逐步提高网络的性能.