基于超像素重建的多尺度B样条医学图像配准

刘 晨， 张龙波， 王 雷， 卢海涛

(山东理工大学 计算机科学与技术学院, 山东 淄博 255049)

0 引 言

医学图像配准是指采用适当的空间变换方法，使一幅医学图像与另一幅医学图像上的对应点达到空间上的一致，或至少是具有诊断意义的点及手术感兴趣的点都达到匹配的技术[1]，是近年来医学图像处理领域中的关键技术之一，具有很高的临床和实践意义。

目前医学图像配准主要分为刚性医学图像配准和非刚性医学图像配准2类。刚性配准领域，目前应用较多的是基于特征的图像配准方法[2-4]。非刚性医学图像配准是医学图像配准的重要分支，也是当前医学图像配准领域的热点和难点[5]。当前常见的非刚性配准方法有基于样条的配准方法[7]、弹性配准模型和光流场模型[8]等。由于医学图像的大部分研究对象都是非刚性的，在非刚性形变过程中具有局部形变存在，而B样条[9-10]由于具有很好的局部控制性，一个控制点的移动只影响到相邻的控制点，与其它控制点无关，一个控制点移动只对图像局部产生影响，不会对整体图像形变产生影响。

但如果待配准图像与参考图像之间存在较大的仿射变换时，基于B样条的算法存在局部极值问题，导致配准失败。针对这一问题本文结合SIFT与B样条算法，提出了基于超分辨率重建的多尺度B样条配准算法。

1 算法框架

首先通过SIFT对医学图像进行仿射变换，然后利用高斯金字塔对图像进行尺度变换，得到低尺度下的图像，用该图像进行B样条配准后最后经过超分辨率重建还原到原始图像分辨率大小，该算法不仅减少了配准时间同时也保证了图像质量。算法流程如图1所示。

图1 本文算法流程图

2 SIFT配准

SIFT是文献[11]提出的一种基于特征的图像配准算法，该方法在尺度缩放、光照变化、图像旋转和仿射变换等条件下都能获得良好的匹配结果。

SIFT算法的主要步骤包括：

(1)提取2幅图像的SIFT特征点；

(2)匹配这些特征点；

(3)通过匹配的特征点计算仿射变换矩阵；

(4)对需要配准的图像进行仿射变换。

为了让计算机在不同的图像尺度下感知是同一物体，需要让计算机预先知道图片在不同视觉程度上的信息。在实际中如果离物体远，则在视觉上感觉很小，随着距离的缩小，视觉上就逐渐变大，最后变模糊，所以可以用高斯核函数来描述这一过程。

用9个尺度不同的高斯掩模分别对中值滤波之后的图像卷积，得到9种在不同高斯掩模处理的图片，利用的高斯掩模函数如下：

(1)

其中，Gi(x,y)代表第i个高斯掩模；Ki表示第i个高斯掩模的权值；σi表示第i个高斯掩模的标准差。

然后将2个相邻尺度的高斯图像相减，得到高斯差分(difference of gaussian,DoG)的多尺度空间。在DoG尺度空间金字塔中，如果一个点的值是上下2层26个近邻像素值的最大或最小值，就认为该点是该尺度的一个特征点，特征点所在16×16邻域内像素梯度方向峰值为其主方向。以特征点为中心取16×16的窗口，分成16个4×4的子块，每个子块上统计8个梯度方向可以得到SIFT的128维的特征向量。

图2为颅脑核磁共振图像配准过程中获取SIFT特征向量的结果。

图2 特征匹配和向量生成

3 B样条配准方法

B样条配准算法的思想就是通过控制一个覆盖在二维图像上的控制点网络，使图像产生形变。由于B样条具有良好的局部形变模拟效果，可以使二维图像上的某些控制点移动只影响其附近的点，避免了重复的全局计算，减少了时间花费。

将二维图像表示为Q={(x,y)|0≤x≤X,0≤y≤Y}，网格中每一个网络交叉点代表一个控制点。假定在X方向上网格间距为δx，共有nx个控制点，Y方向上的网格间距为δy，共有ny个控制点，则单个控制点记为φi,j=(0≤i≤nx,0≤j≤ny)，用向量Φ表示整个控制点网格，Φ的维数是2nxny。对于待配准图像中的每个控制点，设其在周围4个控制点网格范围内移动，每移动到一个新位置，根据B样条理论，相应网络中的点(x,y)移动到新的位置(x+Δx,y+Δy)，其位移量(Δx,Δy)T可表示为：

基于精确度和时间上的考虑，这里选取3次B样条基函数，表达式如下：

B样条由于其具有局部支撑性，在计算偏移量的过程中只与该控制点周围4×4个控制点有关，控制点φi,j位置的改变影响的仅是该控制点周围网格区域内临近点的位移情况，而图像中其它区域的控制点则不受该控制点移动的影响。

4 基于深度学习的超分辨率重建

为了更好地捕捉轮廓信息，可以将原始图像多尺度变换后选择小尺度图像作为图像配准的输入，然后将小尺度(降采样)的图像进行B样条配准后，再利用深度学习进行超像素重建[12-13]恢复到以前的分辨率大小。

4.1 超分辨率重建问题描述

单张图像超分重建问题的解决可以被阐述成：输入低分影像，通过对一系列高低分影像对的学习，生成重建后的高分影像。每一个高分图像块的生成不仅和相对应的低分图像块有关，还和相邻的高分图像块有关。前者决定准确性，后者决定局部兼容性和平滑性。为了满足以上设想，算法具有3个属性：

(1)每一个高分块都与多个转化方式(训练集中学习中得来)相对应；

(2)局部低分块之间的关系应该在高分集中体现出来；

(3)高分集中的相邻块通过重叠约束来增强局部的兼容性和平滑性。

4.2 基于ResNet网络的超像素重建

深度可分离卷积(Xception)[14-15]技术自CVPR 2017(Computer Vision and Pattern Recognition) 后便受到了广泛的关注。Inception模块结构在深度学习技术中已是众人皆知的，其在ImageNet上频频取得的突破和成果也是令人瞩目的。Inception模块通过组合不同卷积核和池化等结构，以更少的参数和计算量就能学习到丰富的特征表示。

Xception模型的思想是：先使用1*1的卷积核将特征图的各个通道映射到一个新的空间，在这一过程中学习通道间的相关性；再通过常规的3*3或5*5的卷积核进行卷积运算，来同时学习空间上的相关性和通道间的相关性。此时的3*3或5*5的卷积运算仍是多通道输入的，如果将所有的3*3或5*5的卷积核都作用在只有一个通道的特征图上，这样通道间的相关性和空间上的相关性就达到了完全分离的效果。

深度可分离卷积方式如图3所示。首先进行通道的空间卷积，然后进行1*1的卷积，之后输出。值得注意的是，用于学习通道间相关性的卷积与用于学习空间相关性的卷积之间不需要加入任何的激活函数。

图3 Xception模块[15]

5 实验结果及分析

5.1 实验环境

本次实验的软件环境在matlab 2018a中进行，硬件配置28核心，56线程，内存大小为64 G，GPU为4块GTX1080TI 11G。对2幅头部图像进行配准，参考图像和浮动图像分辨率为598×598，如图4所示。

图4 参考图像(左)与浮动图像(右)

5.2 实验过程

首先，把2幅测试图像输入，进行SIFT仿射变换，结果如图5所示。

图5 参考图像(左)与SIFT配准结果(右)

由图5可以看出，虽然对图像进行了旋转、尺度等变化，但局部形变依然没有得到很好的配准。将经过SIFT特征配准后的图像作为基于深度学习的B样条配准的输入，同时也作为传统B样条配准的输入，最后对比二者与原图的NMI(互信息)和SSIM(结构相似性)作为评价指标。

由图6(a)可知，由于图像存在较大仿射变换，传统B样条局部会严重扭曲，导致配准失败。图5(c)为多尺度B样条配准结果，虽然在形变上做到了配准的要求，但是由于多尺度和降采样的原因使得图像模糊不清。图(d)基于深度学习的配准算法，通过超像素重建，图像在清晰度上获得了较大质量的提升，实验结果见表1。

图6 实验结果对比

配准算法SSIMNMI直接B样条0.4020.433多尺度B样条0.8741.759本文算法0.8751.868

6 结束语

针对医学采集的图像中同时存在刚性形变和非刚性形变的图像配准问题，本文提出基于超像素重建的多尺度B样条配准方法。实验证明，该方法在提高配准鲁棒性的同时，提高了图像质量。