定量磁化率成像中磁化率重建伪影的清除：基于多通道输入的卷积神经网络方法

斯文彬，冯衍秋

1南方医科大学生物医学工程学院，广东 广州 510515；2医学图像处理广东省重点实验室与医学成像诊断技术广东省工程实验室，广东 广州 510515

磁化率是描述物质被外部磁场磁化程度的物理属性。定量磁化率成像（QSM）能够根据扫描物体对磁场均匀性的改变来定量磁化率空间分布。而对磁场均匀性改变有贡献的物质包括铁［1-3］、钙、脂质与髓磷脂等。而在人体内这些物质的不正常变化，往往和疾病的进程相关。所以磁化率值的改变可以作为疾病诊断的依据。

尽管QSM在科学研究和临床应用方面显示出了巨大的潜力，但其精确重建需解决重建过程中偶极子反卷积这个病态问题。多方向采样（COSMOS）方法［4］通过对成像物体进行多个方向扫描来获得准确结果，通常作为QSM成像的金标准。但COSMOS采样时间久且摆位困难，临床上往往采用单方向QSM重建。阈值截断k空间（TKD）方法［5］使用固定阈值替换偶极子频率响应中的近零值来缓解噪声放大问题。为了进一步抑制条纹伪影，Li等［6］开发了一种改进的稀疏线性最小二乘（iLSQR）方法。Wei等［7］对iLSQR方法进行了改进，提出了条形伪影消除的重建（STAR-QSM）方法。类似的，Yaghmaie 等［8］提出了一种新的伪影减少技术（QSMART）。能够达到消除皮质伪影与暗色伪影的效果。除此以外，研究者们提出了多种基于先验信息的正则化算法［9-11］。但单方向重建也存在局限性。例如，TKD法重建结果存在较多的条形伪影，MEDI需要手动调整正则化参数且重建时间长，STAR-QSM对于磁化率变化平缓的组织的重建结果较差。

为提升单方向重建的性能，深度学习被引入QSM重建中，并且与传统的重建方法相比，表现出更高的准确性［12-14］。在2018年，Yoon等［15］提出了QSMnet，用U-Net网络来学习偶极子反卷积。并在此基础上提出QSMnet+［16］，通过独特的数据增强优化了网络的泛化性能。DeepQSM［17］使用全仿真数据作为网络训练的输入。AutoQSM［18］直接学习场图到磁化率的映射。除此以外，其他网络结构也被用于磁化率重建，例如生成对抗网络，残差网络和八度卷积网络［19,20］。最近，模型驱动的深度学习方法被用于解决QSM中的偶极子反卷积问题，这些方法通过基于模型的迭代算法构建网络［21,22］。

在两种磁化率差别较大的组织分界面上，磁场均匀性发生改变，这会导致在高磁化率侧出现强烈的阴影伪影以及条形伪影。上文所述深度学习方法并不能特异性地消除伪影。为消除这两类伪影，本文提出了一种消除QSM 重建伪影的多通道输入卷积神经网络方法（MAR-CNN），用于单方向磁化率重建中的偶极子反卷积。MAR-CNN使用磁化率的阈值与静脉掩膜将原始组织场分成两个分量，并将这两个分量与原始组织场拼接作为MAR-CNN的三通道输入。

1 方法

1.1 实验数据

本文所用的数据集包括来自QSMnet的12名健康志愿者脑成像数据［15］。这些志愿者的数据使用3维单回波梯度回波序列扫描，成像参数包括：主磁场强度为3T，回波时间为25 ms，脉冲序列重复时间为33 ms，射频翻转角为15o，分辨率为1mm各向同性。对每个受试者进行5 个头部方向的扫描，并使用多方向方法（COSMOS）重建多方向采集的QSM结果，以获得参考磁化率图像。

除此以外，使用GE磁共振扫描系统采集了一例脑出血患者数据，成像参数包括主磁场强度为3T，射频翻转角为15o，第一个回波时间为5 ms，回波时间间隔为4.6 ms，回波数量为6，采集矩阵大小为184×210×144，分辨率为1mm各向同性。使用iLSQR方法重建磁化率图像。

并用上述出血数据进行高敏感区磁化率图像的仿真。根据上述出血结果手动勾画病灶。然后，将该病变区域重叠到多方向数据中单个方向的参考磁化率图上，以获得具有高磁化率值的仿真图像。最后，将磁化率与偶极子核卷积，并加入高斯噪声生成相应的组织场图像。

1.2 MAR-CNN网络结构

在两种磁化率差别较大的组织分界面上，磁场均匀性发生改变，使高磁化率侧出现强烈的阴影伪影以及条形伪影［7,23］。尤其是在静脉、空气和骨组织界面处的高磁化率区域附近。Wei等［6］提出了一种条形伪影减少的磁化率重建算法STAR-QSM，通过将低磁化率与高磁化率部分分开重建。结果表明，STAR-QSM可以有效消除磁化率剧烈变化导致的条形伪影。本文将这种思路引入到网络架构中。并在此基础上优化了划分策略。

MAR-CNN的网络结构如图1A和1B所示。图1中掩膜一与掩膜二生成过程如图2A和2B所示。首先，利用iLSQR方法将组织场重建为存在较多伪影的QSM图像，使用阈值0.1 ppm生成高磁化率掩膜与低磁化率掩膜，如图2A中所示。其次，对幅度图像使用frangi血管增强滤波器［24］生成静脉掩膜，将组织场分为静脉部分与非静脉部分，如图2B所示。Frangi滤波器中的参数经过优化，以使用幅度图像的Hessian特征值在多个尺度上增强静脉管状结构。接着将磁化率掩膜与血管掩膜1∶1组合，获得更为精细的高低磁化率掩膜。将其应用于组织场，将组织场分为高磁化率分量和低磁化率分量。最后，将原始组织场、高磁化率和低磁化率分量拼接起来，作为3个单独的通道输入U-Net网络。

图1 本文提出的MAR-CNN方法概述Fig.1 Overview of the proposed MAR-CNN method.A:Network architecture of MAR-CNN.B:Schematic diagram of the multichannel Unet.

图2 高磁化率掩膜与低磁化率掩膜的生成示意图Fig.2 Generation of the high susceptibility mask (A) and low susceptibility mask(B).

MAR-CNN采用了多通道输入3D U-net架构［25］。首先，在网络的编码器组件中有5个编码器块。每个编码器块包含两个3×3×3卷积层。第1层有32个通道，与前一层相比，下一层的通道数量增加了一倍。在每个卷积层之后应用批归一化［26］（BN）和ReLU激活函数［27］。并在每个区块之后执行2×2×2最大池化。其次，解码器组件中有4个解码器块。每个解码器块由3×3×3转置卷积层和相应的特征级联组成。每一个串联之后都有两个卷积层。最后，在网络最末层中使用一个1×1×1卷积层。

使用QSMnet 中的物理模型损失函数（model loss）、基于体素的损失函数（l1 loss）和基于边缘的损失函数（gradient loss）：

其中，d为空间域中的偶极子，*为卷积，x为网络的输出，y为ground truth。总损失函数的定义为上述三个损失函数的加权和：

经验确定的权重分别为w1=0.5、w2=1和w3=0.1。使用ADAM优化器[28]在训练期间优化网络的权重。初始学习率设定0.001，当在20个epoch内，指标没有提升，则将学习率衰减到原先的10%。Batch size设置为8，训练达到160个epochs时停止训练。

1.3 网络的训练与测试

提出的MAR-CNN网络是在Python 3.6上实现的，并使用NVIDIA TITAN X（Pascal）GPU进行训练。为了适应GPU内存，MAR-CNN训练的输入块大小为64×64×64。每两个块之间以66%重叠的方案生成。为了提高训练效率，训练过程中丢弃组织面积小于10%的patch。12名健康受试者的数据都有五个方向，他们被分为五例进行训练，两例进行验证，五例进行测试。此外，为了增加训练数据集中方向的多样性，将旋转矩阵应用于COSMOS磁化率图像和组织场图中。选择旋转角度为-15o和15o，最终用于训练的总patch数为12 763。此外，仿真的出血数据用来测试网络对于高磁化率数据重建的效果。

1.4 定量磁化率重建的效果评估

为了证明MAR-CNN提高了定量磁化率图像重建的性能，使用QSMnet和MAR-CNN分别对五例健康志愿者测试数据进行处理。此外，使用TKD、MEDI 和iLSQR三种非学习方法重建磁化率结果来进行比较。在MEDI重建中，lambda设置为2000。并以COSMOS重建结果为参考，计算了以下指标，用于定量评估磁化率算法重建效果：高频误差范数（HFEN）、峰值信噪比（PSNR）、归一化均方根误差（NRMSE）和结构相似性指数（SSIM）［29］。

高频误差范数是基于测量的磁化率值xp与COSMOS的磁化率值xr之间的误差定义的：

归一化均方根误差的定义与HFEN类似，其定义如下：

峰值信噪比的定义与HFEN类似，其定义如下：

结构相似性指数的定义如下：

其中，c1和c2为常数，μp和μr为磁化率测量值xp的均值和COSMOS磁化率xr的均值，σp和σr为xp和xr的标准差，σpr为xp和xr的协方差。在本文中，这四个指标都只计算脑组织区域，不计算背景区域。并采用配对t检验进行多元统计分析判断方法间是否具有显著性差异。

此外，对于仿真得到的高磁化率值脑出血QSM图像，定性比较TKD、iLSQR、QSMnet和MAR-CNN重建的效果。

2 结果

2.1 QSMnet数据集的结果

三通道MAR-CNN 在HFEN、NRMSE、PSNR 和SSIM方面都优于所有两通道MAR-CNN（表1）。

表1 具有不同通道的MAR-CNN 的定量性能指标的均值和标准差Table 1 Means and standard deviation of the quantitative performance metrics for MARCNN with different channels

通过不同方法重建的一个代表性测试集的定量磁化率图和相应的误差图（图3）。从第一列开始，磁化率图像重建的方法分别是COSMOS，TKD，MEDI，iLSQR，QSMnet和MAR-CNN。与非学习的方法相比，MAR-CNN方法重建的结果具有更少的条纹伪影和阴影伪影。如黄色箭头所指，和QSMnet的重建结果相比，MAR-CNN提供了更准确的磁化率重建结果。图4给出的是的图3的放大视图。与TKD，MEDI和iLSQR结果相比，MAR-CNN结果中的噪声更小。与QSMnet相比，MAR-CNN在尾状核和苍白球等大脑区域更加接近COSMOS。如红色箭头所指，在小脑皮层附近强磁化率值的区域，QSMnet方法重建结果出现了明显的错估，而这种错估在MAR-CNN中得到了纠正。

图3 使用基于非学习的偶极子反卷积算法（TKD，MEDI和iLSQR）以及QSMnet和MAR-CNN重建的一个受试者的定量磁化率结果比较Fig.3 Comparison of QSM of a participant reconstructed using non-learning-based dipole inversion algorithms (TKD,MEDI and iLSQR),QSMnet and MAR-CNN.Yellow arrows indicate regions with obvious difference between QSMnet and MAR-CNN.

图4 受试者的定量磁化率结果（第一行）和相应的差异图（第二行）的轴向视图Fig.4 Axial view of the QSM map (first row) and the corresponding difference maps (second row) of the subject in Fig.3.Zoomed-in view of the map shown in the last two rows.Red arrows indicate regions with obvious difference between QSMnet and MAR-CNN.

表2给出了COSMOS作为金标准，5种重建方法在五名受试者数据上的定量指标的对比结果。在所有重建方法中，MAR-CNN 重建结果具有最高的PSNR（43.12±1.19）和最低的NRMSE（51.98±3.65）。并采用配对t检验进行多元统计分析。结果表明，4个量化指标，差异有统计学意义（P＜0.05）。

表2 五种重建方法的定量性能指标的均值和标准差，包括HFEN、NRMSE、PSNR 和SSIMTable 2 Means and standard deviation of the quantitative performance metrics

2.2 仿真出血病人结果

图5给出了仿真的出血病人数据用4种不同方法（TKD，iLSQR，QSMnet，MAR-CNN）重建的磁化率图像。从上到下分别是冠状面，矢状面和横断面的结果。最左侧一列给出的是上文所述仿真方法得到的参考图像。从图像上来看，在非出血区域，TKD，iLSQR，QSMnet，MAR-CNN 4种方法都能重建出清晰的磁化率结果。而在出血区域和非出血区域的边界处，TKD与iLSQR的重建结果出现了严重的条纹伪影，如黄色箭头所示。而QSMnet和MAR-CNN这两种网络方法都很好的抑制了条形伪影。然而，QSMnet重建结果在出血区域周围出现了明显的阴影伪影，如红色箭头所示。相比之下，这些伪影在MAR-CNN重建中被有效抑制。除此以外，从矢状面的重建结果来看，QSMnet方法在出血区域出现了明显的错误估计，而这种错估在MAR-CNN中得到了纠正。

图5 仿真的高磁敏感ICH 病变的定量磁化率结果Fig.5 QSM results of a simulated high-susceptibility ICH lesion.The reconstructions of TKD and iLSQR show serious streaking artifacts at the border of the diseased area (yellow arrows).MAR-CNN outperformed QSMnet in suppressing shadow artifacts around the lesion(red arrows).

3 讨论

本文提出了一种新的基于深度学习的MAR-CNN网络方法来解决定量磁化率重建中的偶极子反卷积问题。QSM重建的伪影主要来源于两部分。第1种来源为偶极子频率响应中的零值导致的数据缺失。第2种来源为两种磁化率差别较大的组织分界面上磁场均匀性发生改变导致的信号扭曲，使高磁化率侧出现强烈的阴影伪影以及条形伪影。MAR-CNN使用磁化率的阈值与静脉掩膜将原始组织场分为两个分量，并将每个分量作为单独的通道输入多通道U-Net网络的方式来重建低伪影的结果。结果表明，在健康志愿者的HFEN、NRMSE、PSNR和SSIM等定量准确度指标方面，MARCNN方法优于MEDI、iLSQR和QSMnet。此外，与其他方法相比，MAR-CNN在高磁化率出血病变周围产生的伪影更少。

QSM重建中的阴影伪影与磁化率伪影主要出现在磁化率值变化大的区域。在磁化率差别较大的组织边界处，由于磁场均匀性的快速变化导致边界附近的局部信号出现不正常的增强或者衰减。

TKD法［5］通过去除傅里叶域内偶极子的近零值，但这导致的数据缺失更多。而STAR-QSM［6］与QSMART［8］方法通过将高低磁化率区域分开重建的方法来消除伪影，但这两种非学习方法在较平滑区域的重建性能不如深度学习方法。在本文提出的基于深度学习的偶极子反卷积中，MAR-CNN方法将这一思想融入了QSMnet［15,16］中使用的U-net网络构建中，这可能解释了MAR-CNN在组织边界与血管区域的重建性能优于QSMnet的原因。而DeepQSM［17］与AutoQSM［18］使用与QSMnet相同的网络结构，DeepQSM使用全仿真数据作为网络训练的输入，这导致DeepQSM在真实数据上的重建性能不佳。AutoQSM直接学习场图到磁化率的映射。除此以外，其他被用于磁化率重建的网络，包括生成对抗网络，残差网络和八度卷积网络［19,20］。然而，这些卷积神经网络方法中的网络结构没有考虑磁化率的物理性质。从出血样本的实验结果来看，MAR-CNN消除伪影的效果更加明显。所以在设计用于性能改进的深度学习磁化率重建方法时，可以考虑磁化率内部的物理特性。

MAR-CNN的性能取决于将组织场分为高磁化率和低磁化率分量的阈值。阈值越大，低磁化率分量包含的区域越大，高磁化率分量包含的区域越小。考虑到网络训练的大量计算负担，确定最佳阈值非常耗时。在本研究中，我们通过从0.1到0.4的初步手动选择来确定划分的阈值，增量为0.1。在不同阈值下的结果表明，在选择0.1作为阈值时，三通道MAR-CNN方法的性能接近最优。在实践中，最佳阈值可能需要依据不同组织的磁化率分布特性来调整。

本文提出的消除QSM重建伪影的多通道输入卷积神经网络QSM重建方法有一些局限性。首先，在当前的MAR-CNN网络中，只是将组织场分为了两个部分。通过使用更多通道划分策略，可以将组织场分割成更多的部分，然后作为不同的通道输入网络。这种策略有可能提升网络的性能。其次，在当前的实验中，patch大小被设置为64×64×64。使用更大的patch size有利于捕获更多全局信息来进行QSM重建，但计算复杂度和GPU内存需求显著增加。最后，我们仅将多通道输入与U-Net结构相结合。实际上，通道划分策略可以扩展到在磁化率领域中表现出良好性能的网络，我们将在未来的研究中探讨这种可能性。