基于深度残差网络的儿科肺炎辅助诊断算法

张科，张春晓

山东第一医科大学附属省立医院（山东省立医院）医学工程管理办公室，山东 济南 250021

引言

世界卫生组织报告指出，儿童肺炎在众多致命疾病中的致死率仍占据首位，全球每天至少有2400名儿童死于肺炎引起的并发症，据统计，2017年，全世界因肺炎死亡的儿童人数达到了80万，在5岁以下的死亡儿童中，死于肺炎的比例已经达到15%，超过疟疾、艾滋病和麻疹致死人数的总和[1-5]。值得注意的是，绝大多数被诊断患有临床肺炎的儿童主要分布于发展中国家[6-8]。X线检查是目前肺炎诊断的重要辅助手段，且在流行病学筛查中也占据重要地位[9-10]。然而与成人不同，患儿在不同的年龄段，其肺炎症状在X光胸片上的影像表现呈现多样化情况。因此，在利用X光片进行儿科肺炎诊断时，对医生的专业能力具有较高的要求，且往往需要医生拥有丰富的经验。近年来，随着数字化进程的推进，计算机辅助诊断（Computer-Aided Diagnosis，CAD）在临床诊断中发挥越来越重要的作用，其中深度学习在肺炎的辅助诊断中也逐渐引起研究者们的关注，并取得了一定的研究成果[11-12]。

然而受到儿童肺炎影像数据较为稀缺的限制，目前国内对基于深度学习方法仍集中于成人领域[13-17]，儿童肺炎辅助诊断算法的系统性研究相对较少，因此对拟采用的深度学习方法开展进一步的研究对满足儿科临床诊断要求具有重要意义。本研究提出了一种深度神经网络模型，该模型由ResNeXt-50网络结构改进而来，在构建过程中，将缩聚-激发网络（Squeeze and Excitation Network，SE-Net）融合到ResNeXt中建立特征通道之间的关联，对医学影像图像的分类具有显著的效果；同时，本研究使用Leaky ReLU函数替代Re LU函数，组归一化（Group Normalization，GN）作为归一化方法，以期提升儿童肺炎图像识别的精准度。

1 资料与方法

1.1 数据集

本研究中用于训练和评估所提方法的数据集为Chest X-Ray[18]，该公共数据集是基于广州妇女儿童医学中心1～5岁儿科患者的X射线扫描数据库制作的（图1）。Chest X-Ray数据集共包含5856张胸部X射线图像（图像格式为JPEG）。本研究随机抽取5232张儿童的影像图像，包括3883张肺炎图像和1349张正常图像参与深度学习算法的训练和验证；在训练完成后，再使用剩余的624张儿童图像（包括234张正常图像，390张肺炎图像）来测试所提出模型的性能。

图1 Chest XRay2017数据库示例图

1.2 数据预处理

深度卷积神经网络因其训练参数众多而拥有强大的特征表达能力。为获得良好的分类效果，往往需要大量甚至海量数据来训练这种深度模型。本研究首先对图像进行预处理，将图像尺寸调整为224×224，然后在训练中每次对原始图像进行图像水平、垂直翻转和随机角度的旋转变换等扰动处理，经过多轮训练后，数据增强，用以增强卷积神经网络对肺炎影像特征判断的精确性和鲁棒性。数据集进行数据增强的结果如图2所示，表明数据增强后可有效提高分类的准确性。

图2 数据增强结果

1.3 网络结构设计

本研究采用ResNeXt-50模型为基础网络，相较于传统的残差网络，ResNeXt-50不仅具有更高的训练精度，其计算量也更少。同时将SE-Net融合到ResNeXt-50中，利用Leaky ReLU函数的优势，将组归一化作为归一化方法，以小批尺寸实现快速神经网络训练，提升分类效果。网络整体架构图如图3所示。

图3 整体架构图

1.3.1 ResNeXt

Xie等[17]的研究中认为在提升网络性能时，可采用ResNeXt，而无须使用传统加深和加宽网络层次的方法，原因为与Inception相比，ResNe Xt在设计上使用具有相同拓扑结构的多条路径，减少了人工环节，不再需要复杂的Inception细节方面设计。通过先拆分，再进行转换，最后再合并的过程，实现了分支卷积策略大幅度提升的结果，并且这一方法较为简单，整体可近乎无限扩展。ResNeXt（path=32）结构示意图如图4所示，图中分支数量表示不增加整体模型复杂度的情况下，对模型准确性的提高程度。

图4 ResNeXt结构示意图

1.3.2 SE-Net

SE模块[11]是进行特征重调，即对每个特征通道的重要程度进行排序的一种机制，可增强重要的特征，削弱不重要的特征。SE模块通过自身的堆叠构建SE-Net，还能对已有的深度网络结构中的模块进行替换衍生出新的网络。SE模块功能的充分发挥，会经历缩聚操作与激发操作2个重要的步骤。缩聚操作用通道描述符号来代表各通道的二维特征，以此来显示二维特征通道上分布情况；激发操作则利用学习参数W的方式赋予每个特征通道一定的权重，此权重表示建模时各参数之间的相关性大小。

SE模块的流程如下：① 对输入图像X，，对其进行卷积，然后进行加权并计算C个特征图U，其中第c个特征图为UC，计算方式如公式（1）所示；② 为缩聚操作，对输入的C个特征图U，其大小均为H×W，然后进行全局平均池化，转化成C个1×1的特征输出m，因此，第c个特征图UC的全局平均池输出计算方式见如公式（2）所示；③ 激发操作如公式（3）所示，分别用m与网络学习到的参数W1和W2进行乘法运算，这2种运算均为全连接操作，可达成通道维度的变换，得出输出权重。

式中，卷积核的权重组合为V，V=[v1，v2，…vc]，vc为第c个卷积核，vcl为第c个卷积核作用于第l个输出；xl=xijl为第l个输出的特征图。

式中，δ[ ]为ReLU激活层；σ[ ]为sigmoid激活函数。

本研究使用的SE-ResNeXt50基本结构如图4所示，其中C是通道数，代表输入特征与输出特征；C/r则是将特征维度降低到输入的1/r，并以此种方法来降低计算量。SE-ResNeXt结构示意如图5所示。

图5 SE-ResNeXt 结构图

1.3.3 激活函数

ReLU函数图像如图6a所示，其在深度学习算法中应用较为广泛，且ReLU的表达形式也较为简单。在x＞0时，保持导数值恒为1的ReLU函数，可以使深度的神经网络在训练过程中得到快速收敛，并可避免在多层神经网络中常常出现的反向传播过程中梯度消失的情况。但该函数也存在一定的缺点，如在x＜0时，其函数值全为0，这会导致神经元的死亡。基于ReLU函数，Maas等[20]提出了改进后的激活函数Leaky ReLU，其函数图像如图6b所示。该改进后的函数可以有效解决ReLU函数出现的上述问题。本研究在ResNeXt模型中将全连接层激活函数修改为Leaky ReLU，将ReLU层修改为Leaky ReLU激活函数。

图6 ReLU（a）和Leaky ReLU（b）激活函数曲线图

1.3.4 归一化方法

本研究中数据的输入早于卷积计算，因此，在深层网络内梯度弥散的同时，还需要加快模型收敛的速度，使用归一化的方法来处理不同量纲的实验数据是必不可少的。在常规深度学习研究中，常用的归一化方法有以下几种：批归一化[12]、层归一化[18]以及实例归一化[19]。在ResNeXt模型中，往往采用的数据归一化方法为批归一化。但在对卷积神经网络进行训练时，批归一化层的计算是存在数据偏差的，有些研究则使用组归一化方法[21]进行数据的预处理，该方法将通道分为很多组，然后在各组内分别计算实验数据的均值和方差，以此来规避批归一化导致的数据偏差。此外，本研究发现，致使深层卷积神经网络的训练与收敛速度变缓的主要原因在批归一化层，因此本研究将ResNeXt模型中的批归一化层改为了GN层。

2 结果

2.1 实验环境

实验使用Python语言基于Pytorch框架进行编程，实验平台为DGX的Ubuntu系统 NVIDIAv100。数据预处理环节是在CPU环境下进行的，CNN模型在GPU上进行训练，以此来加快数据的并行计算，提高实验效率。

2.2 训练策略

本研究使用ImageNet上预训练的权值初始化改进后的网络模型，然后在Chest X-Ray数据集上进行迁移学习。在实验中训练深度卷积神经网络模型时采用小批量数据（batch_size）的方式，具体的batch_size为16，分类函数使用softmax函数，损失函数则采用交叉熵函数（Cross Entropy Loss），优化方法使用的为随机梯度下降（Stochastic Gradient Descent）算法，动量设为0.9。将初始学习率设为0.01，并在训练过程中第20轮和第65轮分别下降10倍。

2.3 评价标准

在进行模型的性能评价时，本研究选择准确率（Accuracy）、召回率（Recall）以及精确率（Precision）作为评价指标。准确率表示预测患者是否患有肺炎与实际结果的一致性，说明了模型对疾病诊断效果的预测能力；召回率为实际肺炎患者预测为患有肺炎的概率，召回率越高表示漏诊的概率越低；精确率是指正确预测为肺炎的患者占全部预测为患者的比例。

准确率、召回率与精确率的计算方式分别如公式（4）～（6）所示。

式中，TP、TN、FP、FN分别表示真阳性、真阴性、假阳性、假阴性的数量。

2.4 实验结果

本研究数据集准确率曲线如图7所示，该训练集的初始准确率为72.50%，随后呈现出波动上升的趋势，该上升趋势表示该神经卷曲网络每次权重参数的调整都对整体网络起到了优化作用，使该训练集可以在之后的实验中获得更高的准确率。而从测试集的曲线中可以看出，该曲线的准确率从起点即高于训练集数据，表明通过训练集的逐步训练，可以很好地提升整个网络的准确率。同时，从图中可以看出，虽然测试集的准确率曲线存在一定幅度的波动，但整体看来上升趋势较为明显，准确率最高可达92.18%。

图7 训练集准确率曲线

由损失函数曲线（loss曲线）也可评估网络的可靠性与稳定性，如图8所示，随着测试次数的增加，loss曲线的波动幅度逐渐减小，在最后批次的测试数据中，loss值达到0.171，表明整个网络的可靠性和稳定性呈缓慢上升趋势。

图8 损失函数图

原始ResNeXt网络模型、数据增强+ResNeXt网络模型、ResNeXt网络模型+GN+Leaky ReLU与本研究网络模型识别准确率、精确率和召回率的对比情况如表1所示，通过对比实验发现，本研究网络模型的识别精度最高，准确率、精确率和召回率分别达到了91.19%、89.70%和91.39%，表明本研究的网络模型具有一定的实用性，能够更好地拟合肺炎图像数据集。其中通过数据增强可有效提高肺炎的分类准确率，约提高3%。同时利用Leaky Re LU和组归一化的方法，改善了模型的分类性能，准确率约提高2%。

表1 原始ResNeXt网络模型与改进后网络模型对比（%）

为验证模型的有效性，选择在Chest X-Ray数据集上现有的研究成果进行对比。如表2 所示，DCNET是梁高博[22]提出的引入扩张卷积以代替部分普通卷积层的扩张卷积神经网络模型的分类方法；RES_SE_DCNET[22]是其进一步结合注意力机制以提升网络判别能力的分类方法；Finetuning_RES_SE_DCNET[22]则是采用RES_SE_DCNET网络迁移学习的分类方法；Liang等[23]在实验中也使用了迁移学习的策略，提出了ResNet+空洞卷积方法，该方法是以ResNet残差网络为基础，采用空洞卷积[24]方法，使影像图片的空间损失率降低为最小。从表2可以看出，与其他深度神经网络模型相比，从识别准确率来看，本研究提出的计算模型在该指标中最高，这也说明了本研究提出模型的有效性，但是由于数据量不足且不均衡导致精确率和召回率低于其他模型。

表2 本文计算模型与现有研究成果的对比（%）

3 讨论

本研究提出了一种改进的深度卷积神经网络模型，能够应用到儿童肺炎图像的识别分类中，是深度学习方法在儿科肺炎中的应用的一种新尝试。早期，大多数研究采用传统机器学习的方法来对肺炎进行识别[25-26]。目前，关于医学影像图像的研究主要集中于图像处理方法的更新、模式识别方式、科学计算的算法以及可视化处理技术等方面，关于肺炎图像的分类方法，越来越多的研究开始集中于深度学习[27-29]。潘丽艳等[30]利用深度分析模型联合迁移学习技术建立了病原菌自动分类模型，用以指导小儿肺炎的治疗，结果表明，基于深度卷积神经网络的肺炎病原二元分类模型，准确率可达80.48%。Liz等[31]将机器学习应用到儿科肺炎X线影响的分类中，且开发了新的集成深度学习模型来分类胸腔X光片，该模型允许使用小数据集进行训练，获得良好的分类效果。Siddiqi等[32]通过提出一种21层卷积神经网络PneumoniaNet，定制的VGG16最高的测试集精度达到95.83%，证明了使用深度可分离卷积可以提供有效的肺炎检测模型。曹磊等[33]将深度学习应用到肺炎的分类系统中，通过对比随访、渲染分割等研究，证实了结合迁移学习方法训练的融合深度学习模型对肺炎评价的有效性。

本研究以儿科肺炎的影像图片分类为切入点，以ResNeXt网络为基础网络，将SE-Net融合到ResNeXt中建立特征通道之间的关联，提升分类效果。同时利用Leaky ReLU函数替代Re LU，组归一化作为归一化方法。在对比实验中，本研究所提出的模型在训练集和测试集上均表现出了比其他已有模型更好的识别效果。

4 结论

本研究以ResNeXt网络为基础网络，将SE-Net融合到ResNeXt中建立特征通道之间的关联，同时利用Leaky ReLU函数替代ReLU，组归一化作为归一化方法，对于计算机辅助诊断在临床中的应用是一种新的推进，尤其是在儿科肺炎图像的分类中作用尤为明显，后期该方法还可以应用到图像X线片图像后处理系统的升级之中，帮助医生进行肺炎种类的判断，以减少漏诊、误诊现象，加快儿科肺炎对症治疗的进度。此外，本研究精度还需进一步提高以应用于临床中，今后考虑到医疗图像的特殊性，可利用语义分割技术对图像进行预处理，再利用深度神经网络对精确分割得到的图像进行分类预测，以获得更好的图像分类效果。