基于多残差UNet的CT图像高精度稀疏重建

张艳娇，乔志伟

（山西大学计算机与信息技术学院，太原 030006）

0 引言

计算机断层成像（Computed Tomography，CT）的出现，极大地促进了医学影像学的发展，对于各种疾病的诊断也有重要的意义。CT 图像重建算法主要有两种：一种是以滤波反投影（Filtered Back Projection，FBP）［1-2］算法为代表的解析重建算法；另一种是基于压缩感知（Compressed Sensing，CS）［3-4］的迭代重建算法。解析法［5］因其重建速度快而成为了目前商用CT 机的主流算法。因X 射线对人体有潜在的致病危险，低剂量CT 成为了当前研究的热点。稀疏重建即从稀疏角度下采集的投影重建图像，是实现低剂量CT的有效方法；然而，解析法稀疏重建的图像中往往包含严重的条状伪影，导致无法进行正确的疾病判读，为此，研究者开始设计新型的重建算法，以压制条状伪影。

芝加哥大学Pan 等［6-7］分别于2006 年及2008 年提出了扇束和锥束CT 的总变差（Total Variation，TV）最小化算法，实现了高精度稀疏重建。其后，人们提出了很多改进的TV 模型，以进一步提高重建精度，如保边TV（Edge-Preserving TV，EPTV）模型［8］、自适应加权TV（Adaptive-weighted TV，AwTV）模型［9］、高阶TV（High-Order TV，HOTV）模型［10］、非局部TV（Non-Local TV，NLTV）模 型［11］及TpV（Total p-Variation）模型［12］等。同时，研究者也提出了基于字典学习［13］和秩最小［14］的稀疏重建算法，这些基于压缩感知的重建算法有力地推动了高精度稀疏重建的发展；然而，该类算法的迭代过程耗时较长，影响了其在商用CT机中的产业化进程。

2006 年以来，深度学习技术由于大数据、大网络和大算力的结合，在工业界和学术界成为了最热门的机器学习技术。它已经在人机对弈、机器翻译、智能问答及计算机视觉等领域展现了其强大的、优于传统方法的性能。同样，基于深度学习的图像处理也得到了深入研究，如深度学习图像识别［15-16］、目标检测［17］、图像分割［18-19］、图像去噪［20-21］以及超分辨率［22］等。

图像去条状伪影也是一个经典的图像处理问题，自然也可以采用深度学习的方法来处理。Han 等［23］基于一种新颖的持久同源分析，表明条状伪影的流形在拓扑上比原始的更简单，并设计了一种深度残差学习体系结构来估计条状伪影，通过从输入图像中减去条状伪影来获得无条状伪影图像，实验结果表明，该深度残差学习方法可以有效地抑制条状伪影；Han 等［24］基于UNet 提出了Framing U-Net，实验结果表明，其提出的Framing U-Net 比UNet 能更好地恢复稀疏图像中的高频边缘；Jin等［25］提出了FBPConvNet结构，将残差UNet和传统的FBP 算法相结合来解决CT 图像稀疏重建中出现的条状伪影问题；Xie 等［26］提出了GoogLeNet 结构，同时运用残差学习机制来去除稀疏重建中条状伪影；Zhang 等［27］针对稀疏重建产生条形伪影的问题，提出了稠密网络和反卷积结合的DDNet（DenseNet and Deconvolution）网络结构；Guan 等［28］结合Dense 网络与UNet 提出FD-UNet（Fully Dense UNet）架构，用于去除从稀疏数据重构的二维光声层析成像（PhotoAcoustic Tomography，PAT）图像中的伪影，实验结果表明，FD-UNet 在去除图像伪影方面有很好的性能，同时也被证明是更好和更紧凑的卷积神经网络（Convolutional Neural Network，CNN）。

经典的UNet 只包含1 个从输入到输出的整体残差，而在网络内部没有残差元素。He 等［16］提出的ResNet 则是将很多残差块堆叠在一起，并发现使用残差块能训练更深的网络，有助于解决梯度消失和梯度爆炸问题，在训练更深网络的同时，又能保证良好的性能。鉴于此，本文拟在UNet 的基础上，提出一种基于多残差网络（Multiply residual UNet，Mr-UNet）结构的CT图像高精度稀疏重建模型，以解决由解析法稀疏重建产生的条状伪影问题。

1 本文方法

近年来，CNN在图像处理方面取得了很大的成功，本文将深度学习的方法应用于医学CT图像稀疏重建中，以解决稀疏重建过程中产生条状伪影的问题，得到高精度重建图像。为此，本文设计了一个深度卷积神经网络Mr-UNet，对解析法重建后的低质量图像进行图像后处理来去除条形伪影。

1.1 基于CNN的高精度稀疏重建的原理

CNN 是一种多层的监督学习神经网络，基础的CNN 是由卷积、激活、池化三部分构成，其本质上是一种输入到输出的映射。它能够学习大量的输入与输出之间的映射关系，而不需要得到它们之间精确的数学表达式，直接以原始图像作为输入，内部所有参数一起训练，以最终回归问题的结果为输出。

如图1 所示，基于CNN 的稀疏重建模型是将FBP 稀疏重建得到的含条状伪影图像作为输入，将与其对应的高精度图像作为标签来学习条状伪影压制方法。

图1 基于CNN的稀疏重建框架Fig.1 Sparse reconstruction framework based on CNN

1.2 Mr-UNet网络结构设计

卷积神经网络中网络的深度与网络结构的性能好坏有很大的关系，网络越深，能获取的信息越多，提取的特征也越丰富，更利于图像的恢复，但是过深的网络层数会造成梯度消失和梯度爆炸。基于此，本文提出的Mr-UNet 结构在UNet 的基础上将原先UNet四层下采样的结构加深到五层，还在每一个卷积单元（这里将每次下采样后到下一次下采样之前的两次卷积操作称作一个卷积单元）中引入残差学习机制，期望能提取到更多的图像特征，避免因网络过深造成的梯度消失和梯度爆炸问题。

Mr-UNet 结构如图2 所示，该网络结构包括5 个池化和上采样操作，以提取到更多的图像细节信息。网络结构的输入是大小为256×256 的CT 稀疏重建图像，每个卷积单元中都包含两层卷积操作，其中所有的卷积操作都是使用3×3 大小的卷积核，在卷积操作之后均连接了批量归一化层和修正线性单元（Rectified Linear Unit，ReLU）激活函数，并在每个卷积单元内的两个卷积操作结果中加入了残差学习机制。将每个卷积单元的卷积通道数分别设置为32、64、128、256、512、1 024。在左侧收缩路径中使用最大池化对特征图进行下采样，使得特征图的维度降为原先的一半，在右侧的扩张路径中使用反卷积操作进行上采样，同时在扩张路径中将每次上采样操作的特征图与收缩路径上相同大小的池化后的特征图进行通道拼接，以便可以在上采样过程中使用先前在网络中学习到的更高分辨率的特征。最后一层卷积层则是1×1 的卷积操作，且将通道数转换为1，与输入图像做残差操作并输出结果图像。

图2 Mr-UNet结构Fig.2 Architecture of Mr-UNet

1.3 数据集的构建

实验过程中用到的数据集包含2 000 张从TCIA 数据集（https：//www.cancerimagingarchive.net/）中下载的大小为256×256的正常CT图像，包括头部、胸腔和腹腔等部位的CT图像，然后对其进行radon 变换得到相对应的稀疏投影图像，将其结果用滤波反投影（FBP）算法在60个投影角度下稀疏重建为含条形伪影的图像。

在这2 000 张大小为256×256 CT 图像对中，将1 900 对图像对作为训练集，50对作为验证集，剩余的50对作为测试集，输入到网络中进行训练。

2 实验结果与分析

2.1 网络训练方法及超参数设定

Mr-UNet 结构训练时使用随机梯度下降法（Stochastic Gradient Descent with Momentum，SGDM）最小化损失函数，Momentum 参数为0.9，Epsilon 为1E-8，初始学习率为0.1。网络共训练了100个epoch，批量大小为16。

本文网络训练的环境是Matalb 2020a deep learning toolbox，CPU 是Inter Xeon CPU E5-2620 v4 2.10 GHz，GPU 是NVIDIA Geforce GTX 1080 Ti。

2.2 对比算法

在稀释重建的过程中，迭代重建算法构建的线性方程组是欠定的，使得该线性方程组有无穷多个解，而TV 算法就是从无穷多个解中选择TV最小的解。基于压缩感知的TV重建算法可以使用稀疏投影来高精度重建CT图像，其实现策略是在数据保真的约束下，使图像的稀疏变换的ℓ1范数最小。在FBP 稀疏重建过程中会产生条状伪影，TV 算法通过对这种高频噪声进行低通滤波，去除了条状伪影，达到高精度重建。而自适应最速下降-投影到凸集（Adaptive Steepest Descent-Projection Onto Convex Sets，ASD-POCS）算法作为一种求解TV 的最优化算法，在估计投影数据在可用数据的指定公差范围内且图像像素值为非负的约束下，使得图像的TV 最小化。TV重建模型如下：

其中：‖Af-g‖≤ε为数据保真项，表示重建结果图像和真实图像之间的误差值需限制在ε 以内，保证了数据的一致性；‖f‖TV是正则项，这里指的是图像的TV范数。

本文用到的TV算法以平行束方式采集投影数据，输入图像大小为［256，256］，旋转中心为［90，90］，探测器探元个数为256，图像像素大小和探测器探元大小均为1，在［0，π］范围内等间隔采集60 个角度下的投影数据进行实验。更为详细的TV算法伪代码及相关参数参考文献［7］。

2.3 图像质量评价指标

为了更加清楚地描述不同算法的处理结果，本文采用结构相似度（Structural SIMilarity，SSIM）、均方根误差（Root Mean Square Error，RMSE）等评价标准对各算法进行定量描述，其中SSIM、RMSE的定义如下：

其中：x表示含条形伪影的图像；y表示标准的图像；N2是图像像素总数；μx是x的平均值；μy是y的平均值；是x的方差；是y的方差；σxy是x和y的协方差；c1、c2是常数。均方根误差是用来衡量两张图像之间的偏差，取值越接近0，说明两张图像越相似；结构相似性是一种衡量两张图像相似度的指标，取值范围为0～1，取值越接近1，说明两张图像越相似。

2.4 各种算法的重建比较

为验证本文Mr-UNet 模型的有效性，选取了两张不同的CT图像进行测试。本次实验用到的CT图像是在60个稀疏角度下重建出来的图像，在训练过程中，将其作为输入，分别用TV 算法、UNet 模型以及Mr-UNet 模型对其进行处理，实验中TV 算法进行了500 次迭代，使其结果充分收敛，大概需运行5 h。UNet 及Mr-UNet 运行了100 个epoch，分别需要约5 h、3.5 h运行时间，可得出，Mr-UNet在运行效率上略优于其他两种算法，节省了大量的时间。除此之外，在实验过程中，UNet和Mr-UNet模型所用到的参数始终保持一致。

算法对比的实验结果如图3～4 所示。不难看出，FBP 算法在稀疏重建过程中产生了严重的条形伪影。从示例1 可以看出，TV 算法表现较好，在局部放大图中也可以看出，Mr-UNet 比UNet 重建的细节更加完善，但不如TV 算法，但是就图像整体而言，TV 算法重建图像下才有较明显的未去除的条状伪影。对示例2 来说，可以明显看出Mr-UNet 是最好的，无论图像整体效果还是局部放大图中细节信息，都可以看出Mr-UNet 要比UNet 和TV 算法效果更好，表现最优。总体来说，Mr-UNet 在抑制伪影的同时有效保留了图像细节信息，重建图像更为清晰。所以，从视觉效果来看，本文所提Mr-UNet的重建图像精度更高。

图3 各种算法的重建结果Fig.3 Reconstruction results of various algorithms

表1 是用客观评价指标来量化比较各方法的重建结果。由表1 可知，在两幅图像中，Mr-UNet 重建结果与标准UNet 相比，SSIM 值都有所提高，RMSE 值也都有所降低。与传统TV算法相比，某些图像重建结果的定量指标表明TV 算法的SSIM 值比Mr-UNet要高一些，这是因为TV算法更适合处理平滑区域较多的图像，而示例1 的腹部CT 图像很明显具有此特征；但是从重建图像来看，其处理效果并不比TV 算法差。从图4局部放大图中也可以得出上述结论。

图4 各种算法重建结果的局部放大图Fig.4 Local enlarged images of reconstruction results of various algorithms

表1 各算法重建结果的比较Tab.1 Comparison of reconstruction results of various algorithms

2.5 各种稀疏度情形下网络性能演变规律

为了比较不同稀疏度下Mr-UNet 结构的抑制条状伪影的性能演变规律，实验分别在[0，π]范围内分别均匀地选取了15、30、60、90 个稀疏度进行比较。图5 是腹部CT 图像稀疏图像和经过Mr-UNet 结构处理的重建结果。从图中定性分析可知，随着投影角度的增多，Mr-UNet 重建图像中条形伪影越来越少。

表2 是不同稀疏角度下Mr-UNet 的重建图像的RMSE 值和SSIM 值。在表2 中，当训练结束后，会发现相较于15、30、60 的稀疏角度的重建图像，Mr-UNet 在90 个稀疏度下的重建图像其RMSE值更低，SSIM值也更趋近于1。

表2 不同稀疏度下Mr-UNet和UNet重建图像的SSIM值和RMSE值Tab.2 SSIM values and RMSE values of Mr-UNet and UNet reconstructed images under different sparsity

图5 给出了在不同稀疏度下Mr-UNet 的重建结果。由图5 可看出，对于真实CT 图像模体，如箭头所指方向可以看出，90 个稀疏度下的重建图像精度更高，图像结构清晰且保留了更多的细节信息，而15和30个稀疏度的重建图像明显地看出有多处条形伪影。而在实际重建条件下，根据物体复杂程度的不同，凭经验选取稀疏度。

图5 不同稀疏度下的稀疏图像及Mr-UNet重建图像Fig.5 Sparse images and Mr-UNet reconstruction images under different sparsity

同时，为了与Mr-UNet 在不同角度下的性能演变规律比较，本文还探索了UNet不同角度下的抑制条状伪影的规律演变。同样地，在[0，π]范围内均匀地选取15、30、60、90 个角度。

图6 是不同角度的稀疏图以及UNet 处理之后的重建图像，而表2则是UNet处理结果的定量表示。从该实验结果中也可以得出上述结论：随着投影角度的增多，网络抑制条状伪影的能力越强，重建图像的精度更高。而与Mr-UNet的实验结果进行比较，可以得出：本文所提Mr-UNet 方法在较少角度下的重建效果略不如UNet，但是在投影个数较多的情况下，本文算法的结果比UNet的效果要好。经过实验表明，在绝大多数含条状伪影的CT 图像中，Mr-UNet 抑制条状伪影的性能比UNet和TV算法效果更明显，重建精度更高，更有利于医生的诊断。

图6 不同稀疏度下的稀疏图像及UNet重建图像Fig.6 Sparse images and UNet reconstruction images under different sparsity

3 结语

本文提出的Mr-UNet：一方面加深了网络，提高了网络的表征能力和拟合能力，使网络抑制条状伪影的效果有一定的提升；另一方面，在每个卷积单元中引入了残差学习机制，有效避免了因网络加深而带来的梯度消失和梯度爆炸问题。将Mr-UNet 与传统的解析法结合，解决了解析法稀疏重建中产生条形伪影的问题。将Mr-UNet 与UNet、TV 算法进行比较，实验结果表明，在真实CT 图像中，所提网络结构重建的图像很好地抑制了条状伪影，更好地保留了图像纹理和细节信息，解决了解析法必须获得完备投影数据的问题，减少了患者检查时接受的辐射剂量，具有一定的实际应用价值。但是今后仍需要在该研究的基础上，引入更多的新思想，以此来提高CT 图像稀疏重建的精度。此外，本文算法以及今后所做的改进将会应用于更多的医学图像领域，比如医学图像分割、医学图像去噪等。