基于并行卷积神经网络的X线图像成像部位识别

【作　者】郭磊，贺宏伟，王玉军，王昌元，杨秀云，刘露

泰山医学院，泰安市，271016

0　引言

医学图像中成像部位的识别是医学图像处理的关键技术，是实现临床应用中医学图像自动化处理的基础。当前研究[1-3]通过构建数字重建图像，将成像部位的射野图像与其进行自动配准，是放疗定位及误差分析的常见方法。区别于图像配准方法，相关研究[4]提出通过提取图像特征，执行支持向量机算法进行成像部位和摆位方式识别的方法。该方法实现了X线图像成像信息的自动检测，但其准确率受到预先设定的图像特征和支持向量机分类性能的限制，实验过程对需识别的成像部位进行了限制。图像特征人工选取在当前医学图像处理中有着广泛应用[5-6]，然而提取的图像特征往往由于维度过低或者缺乏代表性，影响医学图像处理结果的准确率。如何保证提取图像特征的多维度和代表性，是当前医学图像处理研究的重要方面。

深度学习作为当今人工智能研究的热点领域，在计算机视觉、语音识别、自然语言翻译等方面表现出好于传统方法的性能。它利用深度神经网络对输入数据进行前向传播，通过多隐层拓扑结构进行逐层反馈训练[7]。卷积神经网络作为一种深度神经网络，其特定网络结构，如卷积核、池化层、反向传播训练算法的使用等，使其具备很强的特征自动提取和分类识别能力。卷积神经网络已被广泛应用于图像识别[8-10]和语义分割[11-13]，使得图像分类识别和语义分割的准确率显著提高。鉴于卷积神经网络优异的特征学习和分类能力，将卷积神经网络应用于医学图像中成像部位识别过程，提高对图像多维特征的表达能力，保证图像特征的自动提取和分类识别的准确性，为自动图像引导放疗设备的研发提供方法和工具。

该文首先结合卷积神经网络当前研究提出并行卷积神经网络结构；其次将并行卷积神经网络应用于X线图像成像部位识别；再次结合放疗定位中X线图像数据进行并行卷积神经网络识别的实验分析；最后总结当前工作并探讨下一步研究思路。

1　并行卷积神经网络

1.1　卷积神经网络概述

卷积神经网络是一类特殊的深层前向神经网络模型，其结构一般包括输入层、卷积层、池化层、全连接层（或全卷积层）及输出层[14]。其中，输入层通常是矩阵输入，例如一幅数字图像；卷积层是将上一层网络输出作为输入，按照可学习的卷积核执行卷积操作，通过特定激活函数获得输出特征图；池化层是按照采样策略，对上一层网络输入的采样输出；全连接层则将所有通道的二维图像特征图拼成一个一维特征向量作为输入；输出层是结合全连接层特征向量进行前向传播的判定结果。卷积神经网络的另一关键理论基础是反向传播算法，即完成网络权重随机初始化后，按照梯度下降方法沿判定结果误差减小的方向调整网络权重的过程。

图像分类识别应用中，AlexNet[8]，VGG[9]和GoogLeNet[10]通过增加网络层数，达到更为优异的分类识别性能；文献[15]通过增加全连接层的层次深度和多卷积层并行连接的方式，获得较为全面的图像美感特征描述，实现较好的图像美感分类效果；文献[16]采用网络中特定隐层跨连至全连接的方式，可以获得不低于传统卷积网络的性别分类结果。文献[17]采用信息熵描述低层级特征图，采用区域平均的方法描述高层级特征图，结合二者构建具有较强表达能力的深度层次特征。

1.2　并行卷积神经网络实现

医学图像是对人体特定部位成像细节的展现，其图像特征可以通过卷积神经网络学习和提取。考虑到医学图像中局部特征的多样性，本文设计两种尺寸的卷积核（图1），用于学习和提取不同尺寸的图像特征，然后基于两种尺寸的卷积核分别实现两类卷积神经网络，进而通过并行连接方式组织并行卷积神经网络。

图1 并行卷积神经网络结构Fig.1 Structure of parallel convolutional neural networks

图1是用于X线图像中成像部位识别的并行卷积神经网络结构，包括18个层级，分别是输入层、若干卷积层、池化层、全连接层和输出层，图1中下方标注层级序号，上方标注对应层的通道数。输入层接收256h256像素的3通道X线成像部位图像。网络对输入信息逐层并行处理，其中上行网络从L1至L15迭代执行卷积核尺寸为2h2的卷积和步数为2的2h2下采样，在L16实现包含1 024个神经元的列向量全连接输出；下行网络从L1至L16的信息处理方式，除采用尺寸4h4的卷积核执行卷积外，与上行网络相同。网络在L16、L17及L18合并上行网络和下行网络并实现层间全连接，其中L16输出2h1 024维，L17输出2h512维，L18采用softmax分类器输出成像部位类别概率分布。

通过采用不同尺寸的卷积核，并行卷积神经网络实现不同尺寸的图像特征的学习和提取；同时通过设置一定数目的卷积核，既可保证图像特征具有更多维度，又能降低网络训练的计算量。

2　基于并行卷积神经网络的成像部位识别

成像部位识别是根据医学图像特征，采用特定方法实现成像部位分类的过程。为保证图像特征提取的多维度和代表性，提高成像部位的识别准确率，将并行卷积神经网络应用于成像部位识别。识别过程分为数据准备和模型实现两个阶段。

2.1　数据准备

采用X线成像部位图像数据作为并行卷积神经网络训练和测试的数据集。训练集用来进行网络训练，测试集用来测试经过训练网络的性能。按照拍摄部位和摆位方式不同将成像部位图像分为57类，单类图像设置训练样本和测试样本。成像部位图像类别明细，如表1所示。

2.2　模型实现

对于给定的训练数据集，并行卷积神经网络采用反向传播算法更新所有连接权值和偏置，具体执行过程如算法1所示。

算法1并行卷积神经网络训练

初始条件：网络结构参数

输入数据：训练集S

1：随机初始化所有的权值和偏置；

2：for all 训练样本s ∈ 训练集S do{

计算样本s的实际输出；

for all 网络层l ∈ 并行卷积神经网络PCNN反向逐层 do{

for all 通道c ∈ 网络层级l所有通道 do{

计算网络层l中通道c的反向传递误差；

计算网络层l中通道c的所有权值和偏置的偏导数；

新网络层l中通道c的所有的权值和偏置；

}

}

}

输出数据：网络的权值和偏置。

算法执行前，应确定网络采用的神经元激活函数和更新权值和偏置的学习率，选择具体训练策略，如训练批次、Dropout技术等。通过训练和测试的迭代，并行卷积神经网络识别准确率不断提升。待识别准确率达到较高水平，即可结束训练。

3　实验分析

前期工作已积累大量放疗定位的X线图像。实验数据准备阶段将X线图像尺寸调整为256h256h3，按照成像部位分成57类；每类图像分成训练集和测试集，分别设置训练样本300个，测试样本60个。为增加训练和测试数据量，对全部样本沿图像纵轴做180o反转。从各类图像的训练集中选取图像特征清晰明显的样本200个，进行图像局部平移或偏转操作。最终形成包括57类成像部位，每类包含800个样本的训练集和120个样本的测试集。

实验平台搭建阶段选用三台16核心的虚拟机各自部署深度学习框架caffe，并分别实现图1中上行网络、下行网络和并行网络。网络参数设置中，选取限制线性单元ReLU作为神经元激活函数，全连接采用Dropout技术并设置其比例为0.5，训练过程学习率取固定值10-5。对训练批次及训练样本输入网络顺序进行限定：每一批次均包含有全部成像部位类别的样本且只有一个；每一类别训练样本按照清晰度由高到低依次编入一个批次。因此，整个训练过程共执行800批次，每个批次各有57个训练样本。

实验过程中，执行一个批次训练任务用时1～2 min，随着训练批次执行，三类不同结构的神经网络损失率均逐步减小。为进一步定量分析神经网络的识别能力，设定神经网络每执行100批次训练任务，即对测试集所有样本进行验证识别，识别准确率为正确识别的样本数占测试集样本总数的比例。随着训练批次执行，三类结构的神经网络对测试集的识别准确率变化如表2所示。

表2　识别准确率变化情况/%Tab.2 Variations of the recognition accuracy

分析实验数据可知，随着训练批次执行，三类结构的神经网络识别准确率逐步上升，相同批次训练的并行卷积神经网络性能要优于单一的卷积神经网络。相比基于支持向量机的成像部位识别[4]，该方法在保证较为全面拍摄部位和摆位方式的同时，取得较高的识别准确率。由此可见，并行卷积神经网络由于使用了两种尺寸的卷积核，能够学习和提取到更多有代表性的图像特征，结合这些图像特征的识别结果具有更高的准确率。

4　总结展望

医学图像中成像部位的识别技术是医学图像自动化处理的基础。卷积神经网络在图像处理方面具有相较传统方法的显著性能优势。该文提出一种并行卷积神经网络结构并将其应用到X线图像中成像部位的识别。实验分析表明，并行卷积神经网络能够提取更多维度和有代表性的图像特征，较好实现医学图像中成像部位识别。下一步工作中，将继续改进训练方法和积累训练样本，优化卷积神经网络结构，进一步提高网络性能和识别准确率。

[1]Ma B J, Larreyruiz J, Verdúmonedero R, et al. DRR and portal image registration for automatic patient positioning in radiotherapy treatment[J]. J Digit Imaging, 2011, 24(6): 999-1009.

[2]陈诚, 黄劭敏, 邓小武, 等. 兆伏级放疗射野图像与模拟图像自动配准算法研究[J]. 中华放射肿瘤学杂志, 2010, 19(3): 256-260.

[3]郑亚琴, 田心. 一种射野图像和参考图像的自动配准方法[J]. 中国医学物理学杂志, 2009, 26(6): 1481-1484.

[4]Chang X, Mazur T, Li H H, et al. A method to recognize anatomical site and image acquisition view in X-ray images[J]. J Digit Imaging, 2017, 27(6):1-10.

[5] Vallières M, Freeman C R, Skamene S R, et al. A radiomics model from joint FDG-PET and MRI texture features for the prediction of lung metastases[J]. Phys Med Biol, 2015, 60(14): 5471-5496.

[6]陆雪松，涂圣贤，张素. 一种面向医学图像非刚性配准的多维特征度量方法[J]. 自动化学报, 2016, 42 (9): 1413-1420.

[7]Hinton G E, Osindero S, Teh Y W. A fast learning algorithm for deep belief nets[J]. Neural Computation, 2006, 18(7): 1527-1554.

[8]Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[C]. Inter Conf Neural Inform Proc Syst, 2012, 25(2): 1097-1105.

[9]Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[J]. Comput Sci, 2014, 14(9): 1556-1569.

[10] Szegedy C, Liu W, Jia Y Q, et al. Going deeper with convolutions[C]. IEEE Conf CVPR, 2015, 10(63): 1-9.

[11] Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation[C]. IEEE Conf CVPR, 2015, 79(10): 3431-3440.

[12] Chen L, Papandreou G, Kokkinos I, et al. Semantic image segmentation with deep convolutional nets and fully connected CRFs[J]. Comput Sci, 2014, 12(4): 357-361.

[13] Ronneberger O, Fischer P, Brox T. U-Net: Convolutional networks for biomedical image segmentation[J]. LNCS, 2015, 93(51): 234-241.

[14] Bouvrie J. Notes on convolutional neural networks[J]. Neural Nets,2006, 18(5): 162-169.

[15] 王伟凝, 王励, 赵明权, 等. 基于并行深度卷积神经网络的图像美感分类[J]. 自动化学报, 2016, 42(6): 904-914.

[16] 张婷, 李玉鑑, 胡海鹤, 等. 基于跨连卷积神经网络的性别分类模型[J]. 自动化学报, 2016, 42(6): 858- 865.

[17] 李钦, 游雄, 李科, 等. 图像深度层次特征提取算法[J]. 模式识别与人工智能, 2017, 30(2): 127-136.