基于级联式三维卷积神经网络的肝肿瘤自动分割

李渊强，吴宇雳，杨孝平

1.南京理工大学理学院，江苏南京210094；2.南京大学数学系，江苏南京210094

前言

肝肿瘤是世界范围内最常见的癌症之一，且近年来发病率越来越高［1］。对于癌症，早期诊断和治疗是提高生存率的关键，医学影像学技术对此提供了很大的帮助。在许多不同的成像方式中，计算机断层扫描（Computed Tomography,CT）因能提供相对较高分辨率的解剖学信息而被广泛应用于肝脏疾病的诊断。从CT图像中对肝脏和肿瘤进行三维分割是肝癌早期诊断、规划治疗和监测的重要前提。然而，在临床实践中，医师常通过人工交互的方法来分割肝肿瘤，人工分割不仅数据量大、费时费力，而且不同医师对同一病例的诊断分割是有差异的。由于对精确、有效的肿瘤描绘的需要，使得发展半自动或自动的肿瘤精准分割方法尤为迫切。

对于肝肿瘤，不同病人的肿瘤在形状、大小和位置方面有较大的差异，此外，大部分肿瘤与周围正常肝组织的对比度较低、边界模糊，这导致三维肝肿瘤分割仍然是一项具有挑战性的任务。目前提出的肝肿瘤分割方法主要包括聚类、图割、水平集以及机器学习，且较多方法基于二维分割。Anter等［2］提出一种自适应区域生长的肿瘤自动分割方法，应用带标记点的分水岭算法检测区域生长的初始种子点。也有研究者提出一种基于随机游走的监督学习方法，用于肝肿瘤自动分割［3］。主动轮廓模型，如水平集算法，也是常用的分割技术。但是，为了获得精确的分割结果，需要较好的初始化和能量函数，特别是对于具有不均匀灰度和弱边界的肿瘤。Li等［4］提出结合先验信息的水平集模型来分割肿瘤。Wu等［5］使用改进的模糊聚类方法以及图割来实现肝肿瘤的半自动分割。深层卷积神经网络被提出以来，在解决目标识别、分类和分割等计算机视觉任务方面已经得到科学技术界的广泛关注，最重要的是，卷积神经网络已经被证明其对于变化的图像外观是高度鲁棒的，Chlebus等［6］提出基于深度学习的肝肿瘤自动分割算法，并用形状约束模型进行后处理。在神经网络的基础上，为了得到更加精准的分割结果，也采用了基于形状先验的后处理方法［7］。为了通过输入图像的信息量来确保分割精度，Christ等［8］同时将MR图像作为网络输入，增加肿瘤的信息，Sun等［9］等采用不同期的CT图像同时作为输入来增加肿瘤的信息。Li等［10］提出一种二维和三维结合的分割方法，在利用三维空间信息同时通过二维分割实现精细分割。为了保证分割精度，Baâzaoui等［11］提出一种基于熵的半自动分割方法，可以分割单个和多个病灶。本研究提出级联式的深度学习模型来自动分割肝肿瘤，不需要进行其他后处理就可以实现肿瘤的全自动分割，并且网络模型参数较少，有利于实际应用。本研究主要针对提出的网络框架，包括定位网络和分割网络，以及实验结果进行分析。

1 方法

1.1 全卷积神经网络

深度神经网络是一种特殊的深度学习模型，通过深层的非线性神经网络结构实现任意复杂函数的逼近。深度神经网络可以学习多层信息表示，利用低层的特征构建高层的特征，以级联方式形成深层特征。

传统的卷积神经网络包括卷积层、池化层和全连接层，其中卷积层运算如式（1）所示。

其中，Xl为第l层输出；Wl,l+1为权重参数；Bl为偏置量；f表示激活函数；*表示卷积操作。

卷积层用来提取图像特征，并通过权值共享的形式减少网络参数；池化层通过下采样的方式整合特征，减少参数，在一定程度上保持特征平移和旋转不变性；全连接层可以将二维特征图转变成一维特征向量，并且可以改变向量长度。传统卷积神经网络对一个像素进行分类，需要将以该像素为中心的像素块作为网络输入进行训练和测试，这种方法需要不断滑动窗口选取像素块，需要较大的存储空间，而且对整张图像分类是需要遍历所有的像素点，计算效率低下，此外，像素块的大小影像了感受野的大小，通常像素块会比整张图像小很多，这会导致像素块只能提取局部特征，造成最终结果不准确。

Long等［12］提出把全卷积神经网络用于图像语义分割，在图像分割应用中，全卷积神经网络可以实现端对端训练，在不添加预处理的情况下也可以达到较高的精度。他们工作的主要思想是用完全卷积层替换传统卷积网络最后的全连接层，使得最后的卷积层特征图可以通过反卷积被放大到输入图像大小。和传统的卷积网络结构相比，全卷积神经网络可以实现整张图像像素级的预测而不是基于像素块进行分类。Ronneberger等［13］针对图像分割提出U-Net结构，其在神经网络的不同隐层之间增加了跳跃连接，使得深层网络可以应用浅层网络特征，利用语义和空间信息进行训练，结合了图像的浅层特征和深层特征，并通过先下采样后上采样的结构减少了网络计算，加快了训练时间。Çiçek 等［14］将 U-net用于3D数据的分割，更好地保留了数据的空间信息。

1.2 肝脏分割

在U-Net网络结构中，对图像分割过程中会对图像先下采样，然后再上采样，通过池化层降低分辨率和损失原图信息的方式扩大感受野，这样必然会造成信息的丢失，导致最终分割精度不足。但是不使用池化层会导致感受野变小，模型学习不到全局信息。为了能有效扩大感受野而不增加计算量，Yu等［15］提出扩张卷积，在不降低图像分辨率的情况下可以有效扩大感受野，避免信息丢失。扩张卷积的结构如图1a所示，左侧为标准卷积核，扩张率为1；右侧为扩张率为2的扩张卷积核，即在标准卷积核中根据扩张率添加0，增大卷积核大小，以此来增大卷积操作后特征图的感受野。可以看出卷积操作计算量是不变的，而且经过扩张卷积操作后，感受野相对于标准卷积操作扩大了。

一般理论上认为网络层数越多，提取细节和抽象能力越强，但是实验发现层数越多，越容易出现梯度爆炸或梯度消失的情况，虽然正则化可以解决这个问题，但是会导致网络退化，网络层数增多，准确度反而下降。He等［16］提出残差网络解决这个问题，其基本思想是在标准的前馈神经网络上添加一个跳过这些层的连接，残差结构块如图1b所示，其中Conv为卷积操作，一般残差块可以包含多个卷积层，而本研究提出的网络中每个残差块包含两个扩张卷积层。结合以上对全卷积神经网络的改进以及高分辨率网络 HighResNet［17-18］的成功应用，本研究提出肝脏分割网络结构。

图1 网络模块Fig.1 Network module

肝脏分割网络模型是基于三维数据构建的，相比于二维分割，三维分割能更有效地利用空间信息，使分割结果更加精准。因为CT原始数据大小为512×512×N，直接将原图作为输入计算所需内存会很大，故在此，首先将数据缩放成64×64×64大小作为网络输入。在肝脏分割网络中，一共使用了3种不同扩张率的残差块，扩张率分别为1、2、4。所提出的网络结构一共21层，结构如表1所示，其中第一层是标准的卷积层，接下来是残差块，每一个残差块由两个相同扩张率的卷积层构成，Conv2和Conv3是标准的卷积层。在网络中一共使用了9个残差块，通过扩张卷积的方式增大感受野，而不需要对图像进行下采样，在保证信息不丢失的同时集成了全局信息。通过网络分割结果即可确定肝脏在CT图像中的位置。

1.3 肿瘤分割

与肝脏分割相比，肿瘤的特异性更强，不同病人之间的差异性也更大，为了减少腹部其他脏器的干扰，通过肝脏定位分割结果可以将肝脏区域提取出来，只在较小的肝脏区域内分割肿瘤。在实验中发现直接在肝脏区域做二分类分割肿瘤效果不好，因此，采用三分类方式对数据进行标注，分为背景、正常肝组织和肿瘤这3部分，并对网络结构重新进行设计，与分割成两类相比，精度得到了较大的提升。

表1 肝脏分割网络结构参数Tab.1 Structural parameters of liver segmentation network

与肝脏分割类似，提取肝脏区域后缩放成64×64×64大小作为肿瘤分割网络的输入，这样可以有效减少所需内存，肿瘤分割网络结构如表2所示，网络结构一共19层，采用4种不同扩张率，一共8个ResBlock模块，相比肝脏分割网络使用了更大的扩张率，这是因为肿瘤在位置、大小和形状方面都有较强的特异性，需要更多的信息来精准分割，使用大的扩张卷积能有效扩大感受野，应用到全局特征分割肿瘤。

表2 肝肿瘤分割网络结构参数Tab.2 Structural parameters of liver tumor segmentation network

2 实验结果和评价

在实验中所用数据来自南京大学附属鼓楼医院和2017年MICCAI公开比赛LiverTumor Segmentation Challenge（LiTS），该比赛数据集为评价肝脏和肝肿瘤分割的公认标准数据集，其中训练集包括130个数据，并且公开了由专家勾勒的肝脏和肿瘤的金标准；测试集包括70个数据，未公开金标准，可通过上传分割结果进行评分。

在CT图像中，像素点CT值范围为［-1 000,1 000］，但是软组织CT值约为［20,70］，为了减少干扰，需要对数据进行预处理。根据临床经验，选取CT值［-160,240］部分区域，即窗位为40，窗宽为400，令CT值小于-160的像素值等于-160，大于240的等于240，然后将像素值线性压缩到［0,255］，这样既保留肝脏区域信息，也能有效去除其他组织干扰。因为深度学习是以数据驱动的学习模型，因此数据量的大小对于模型训练极为重要。对于医学图像，数据获取是比较难的，为了增加训练数据集，本实验采用随机截取、旋转以及白化的方式进行数据增广。

在网络训练过程中所使用的损失函数为：

Dice计算公式如式（3）所示，体积重叠误差（Volume Overlap Error，VOE）如式（4）所示：

其中，A、B分别为数据金标准和算法分割结果。Dice主要作为分割问题的评判标准，用作损失函数，有利于提升分割精度。在第一步肝脏分割中，肝脏分割结果平均Dice分数为0.924，肝脏分割结果在边界上略有不足，但对于定位肝脏已经足够了。在肝脏分割结果上向各个方向扩张25个像素以保证提取到所有肝脏区域，然后将此区域作为肿瘤分割网络的输入进行肿瘤分割，最后根据肝脏定位坐标可以将肿瘤分割结果放到原图对应位置。

为了定量分析肿瘤分割结果，采用Dice及体积重叠误差进行分析，结果见表3。相比于文献［19］、［20］，本研究提出方法有较高的Dice分数，为0.663，且网络结构较简单，参数量少，可以在20 s内完成肿瘤的三维分割。

表3 肿瘤分割结果比较Tab.3 Comparison of tumor segmentation results

为了进一步验证本研究提出的网络的稳定性，对鼓楼医院提供的数据进行分割，医院的数据由多名医师共同进行标定。分割结果的平均Dice分数为0.71。图2展示了一个分割病例，第一张为原图；第二张为二维分割结果，其中红色为金标准，绿色为分割结果；第三张和第四张分别为金标准和分割结果的三维重建结果。可以看出，网络分割结果只是在边缘细节与金标准有差异，整体肿瘤分割是准确的，这对医生有较大的参考价值。

3 总结

本研究提出一种级联式的三维卷积神经网络框架进行肝肿瘤分割。通过级联式的网络首先对肝脏进行定位，然后在肝脏区域中进行肿瘤分割，能有效避免其他器官的干扰并减少计算时间。在网络结构中使用扩张卷积，使得网络架构不需要进行下采样，避免信息损失，能有效利用全局信息，有更高的效率。此外，该网络模型无需后处理，直接对三维数据体进行分割，相比于二维分割及人工交互式分割，三维分割能有效减少人工操作复杂度，实现肿瘤的快速分割。实验结果也证实了本模型对肝肿瘤分割的有效性。

医学图像数据采集困难，本实验采用数据量较少，并且未对肿瘤种类进行分类，后期可以继续增加数据量，对肿瘤进行分类，以进一步完善模型，达到更高的分割精度。

图2 肿瘤分割图像对照Fig.2 Comparison of tumor segmentation images