基于自适应非对称卷积网络的精神分裂症MRI图像分类研究

焦玉宏,校景中,谭 颖

(1.西南民族大学计算机系统国家民委重点实验室,四川 成都 610041;2.西南民族大学计算机科学与工程学院,四川 成都 610041; 3.成都东软学院计算机与软件学院,四川 成都 611844)

精神分裂症(Schizophrenia,SZ)是一种病因未明且致残性较高的疾病,多发于青壮年时期,全世界大约有1%的人口受该疾病的影响[1].根据世界卫生组织报告,目前全球估计有超过2 100万人受到此类精神疾病的影响,并发现该疾病的死亡率较普通人群高出2～3倍[2].然而,由于症状的复杂性以及医生诊断的主观性,可能会出现漏诊和误诊等情况.因此,精神分裂症的早期诊断仍是一个富有挑战性的问题[3].

磁共振成像(Magnetic Resonance Imaging,MRI)作为一种非侵入性脑成像技术使得客观分析精神分裂症成为可能.sMRI因其具有良好的软组织分辨力和多方位任意切层能力而被广泛应用[4-6].研究表明,与健康对照(healthy control,HC)相比,精神分裂症的发病机制可能与大脑的结构组织的病变有关[7].然而,医生难以直接通过肉眼观察出精神分裂症患者早期细微的影像异常,并对患者进行精准的治疗.深度学习能够从神经影像中挖掘出人眼难以直接发现的成像信息,用于辅助临床医生对SZ的诊断.近年来,深度学习在脑疾病辅助诊断中得到了广泛应用,例如卷积神经网络(Convolutional Neural Networks,CNN)[8]、稠密网络[9]以及残差网络[10]等.然而,基于传统卷积神经网的方法在特征提取时仅仅关注了神经影像的局部特征,而忽略了全局特征.为了克服上述局限性,本研究提出了一种自适应非对称卷积神经网络.该模型能够自适应地确定特征图像素之间的连接关系,从而切换局部和全局推理来处理内部特征表示.此外,本文还引入了非对称卷积块,在不增加额外参数的情况下增强特征表示能力,从而提高模型的分类性能.

1 相关工作

深度学习在图像识别、自然语言处理等领域取得了令人瞩目的成绩.近年来,深度学习模型在医学图像分析中取得了较大的突破.Ulloa等人[11]设计了一个10层的多层感知机(Multilayer Perceptron,MLP)模型,并基于sMRI数据验证了该方法对SZ分类的有效性.Hong等人[25]提出了一种多图谱多层感知机算法,该方法由多个MLP模块组成,不同图谱提取的形态特征将由不同的MLP模块进行分类,最终通过投票决策分类结果.然而,由于MIP隐藏层的每个神经元都被赋予了一个权重,因此MLP网络的参数通常异常庞大,在训练阶段容易过拟合.为了缓解该问题,Hu等[13]人设计不同的CNN框架对精神分裂症患者进行分类,并取得了优于MLP模型的分类结果.Zhou等人[14]和Oh[15]等人利用多站点的sMRI数据构建了网络模型,获得了比单个站点更好的分类准确率.Yagis等人[16]基于sMRI提出了一个深度3D CNN模型用于阿尔兹海默症患者分类,获得了73.4%的分类准确率.

尽管CNN已被证明明显优于MLP,但由于CNN只从局部邻域像素中提取信息,各层内部的卷积运算不具有全局推理能力.因此,依赖于局部推理的卷积运算可能会导致脑部疾病分类模型的性能次优.为了解决CNN中的局部性问题,近几年许多研究被提出并取得了可喜的成果[17-18].自适应连接神经网络[19]继承了MLP和CNN的优点,可以动态地捕捉全局和局部依赖关系.人的大脑是一个整体,病变的区域与整体也是密不可分的,但是现有研究大多是利用局部特征来构建分类模型,忽略了全局信息的重要性.受自适应连接网络的启发,在本文提出了一种新的网络框架以更好地捕获特征信息,用于精神分裂症患者的结构磁共振图像分类.

2 材料与方法

2.1 数据集来源及预处理

本研究使用了两个公开数据集来评估模型的性能:新墨西哥大学生物医学研究中心数据集 (Center for Biomedical Research Excellence,COBRE)和加利福尼亚大学洛杉矶分校数据集(the University of California Los Angeles,UCLA).

COBRE数据集共包括148名被试,除去数据信息缺失的两个样本,本实验使用其中的146个数据,包括患者72名、健康对照74名.UCLA数据集共包括50名患者和130名健康对照,排除数据信息缺失的5个数据,现共有175个被试.所有受试者均采用3T Siemens Trio扫描仪来采集全脑图像,数据排除了具有神经系统疾病,使用过精神药物,重大精神疾病或多动症的病史,以及当前的情绪或焦虑障碍的受试者.所有参与者都按照相关组织机构审查委员会批准的程序给予了书面知情同意.表1显示了COBRE和UCLA数据集的人口统计学和临床信息.

表1 数据集的人口统计Table 1 Demographics of the datasets

本实验使用二维切片作为训练数据,因此需要对三维结构像MRI进行预处理,并对三维MRI的轴向面、矢状面和冠状面进行切片.实验使用MATLAB中的SPM12工具包对图像进行预处理.预处理过程主要包括以下几个步骤:1)以前连合-后连合的中点为原点建立三维坐标,得到可进行后续操作的标准脑图谱.2)去除头皮、颅骨等组织.3)将图像配准到蒙特利尔神经病学研究所标准模板中,进行偏置场矫正.4)采用高斯核函数进行平滑化处理提高信噪比.

2.2 基于图像熵的数据筛选

神经网络模型的训练往往需要大量的数据,模型的准确率会受到数据集的影响,当数据集中包含过多的无用数据或噪声时可能会降低模型的性能.通过磁共振扫描仪得到的结构磁共振图像具有多个切片,并且在数据预处理时发现,前几个切片几乎不包含任何信息,这表明sMRI扫描的单个切片中信息水平的差异也可能对模型的整体精度产生影响.因此,如何选取信息价值较高的切片,构建一个更适合精神分裂症分类的数据集是研究的重点之一.为了克服上述限制并保证更高的分类精度,我们使用了一种包括数据组合和基于熵的切片选择方法的数据选择方案,对数据进行增强.

通过先验研究可以发现熵值较高的切片有更多的脑组织面积和特征,而熵值较低的切片大多位于扫描的边缘位置,具有更多的噪声.因此,本研究中采用像素的概率密度函数来计算图像的熵值,并基于该值来表示每个图像所包含的信息.单个图像的熵值计算如所示:

(1)

Hk表示第k个切片的熵,pi,k是第k个切片中第i个像素强度出现的概率值.在图1中展示了根据熵值对不同平面的切片数量统计.

(a)健康被试的横截面切片数量统计

(b)SZ的横截面切片数量统计

(c)健康被试的冠状面切片数量统计

(d)SZ的冠状面的切片数量统计

(e)健康被试的矢状面切片数量统计

(f)SZ的矢状面切片数量统计

根据图1可知,无论哪个方向的切片,熵值接近于0的切片占据了较高比例.如果将全部的切片用来训练会影响模型的性能.先验研究表明,当选择熵值较大的切片训练时,模型会取得较优的分类性能[20].因此,为了提高模型的分类性能,依据文献[20]的实验结论,本工作选取每个方向中熵值大于5的切片作为训练集.具体选择切片数据的方法为:

Q=[(H1,H2,...,HSn)>5].

(2)

其中Q是基于熵值选择的信息量较大的切片集合,Sn是每个sMRI图像的整体切片数.

2.3 自适应非对称网络

在本研究中,我们提出了一种新颖的自适应非对称卷积网络用于精神分裂症的辅助诊断研究.该模块融合了非对称卷积和自适应连接的优势,可以代替标准的卷积层从而构建自适应非对称神经网络(AACNet).该方法的主要框架如图2所示.首先对数据进行预处理操作.其次,基于图像熵的方法对数据进行筛选,保留富含特征信息的图像用于下游任务.最后基于自适应非对称网络进行特征提取,并将特征投影到分类目标空间用于最终的分类任务.该方法能够缓解CNN中的全局信息丢失的问题,同时增强了局部信息的特征表达,可为计算机辅助诊断精神分裂症提供一定的支撑.

图2 自适应非对称网络用于精神分裂症分类的主要流程框架Fig.2 The main process framework of adaptive asymmetric network for schizophrenia classification

2.3.1 自适应特征选择

自适应连接神经网络主要从两个方面改进了传统的卷积神经网络,它继承了MLP和CNN的优点,并且弥补了卷积神经网络只能从局部邻域像素提取特征的不足,通过自适应地确定特征节点之间的连接,能够灵活地切换全局和局部推理,为神经网络的改进提供了新思路.

假设给定一个输入信号X.自适应连接可以自动搜索该节点与其他节点的最佳连接方式,其相应的传播公式如下:

(3)

其中yi表示输出信号的第i个输出节点,j是与第i个节点相关的一些可能节点的索引.uij,vij和wij分别指三个不同集合的第i个和第j个节点之间的可学习权重.

2.3.2 非对称卷积网络

非对称卷积网络[21]是一种增强标准卷积层的方法,该网络可以通过构造一个包含三个平行层的非对称卷积块替换原始的d×d卷积核,这三个平行层分别包括d×d,1×d和d×1核,并将其输出进行求和以表示丰富的特征空间.为了在不增加额外参数的同时增强特征的表达能力,在本工作中引入了非对称卷积块以增强图像的主干特征,同时提升模型对图像反转和旋转的鲁棒性.具体如图3所示.

图3 非对称卷积块Fig.3 Asymmetric convolution block

对于传统的CNN,设X为一个输入图像数据,xi,yi分别是输入数据和输出的一个像素,其中i,j∈[1,H×W].那么一般的3×3卷积可以表示为:

(4)

其中S是包含与给定的第i个节点有交互作用的节点的集合,vij为节点之间的连接权重.而对于非对称卷积来说,可以利用卷积的可加性将方框核在相应的位置相加,从而得到一个与传统卷积相同的等效核.因此在非对称卷积网络中,可以将其卷积表示为如下形式:

(5)

其中vij,pij和qij为不同卷积核的权重.

2.3.3 自适应非对称卷积

受非对称卷积和自适应连接的启发,本研究设计了一个新的网络模块,用于自适应地捕捉图像的局部特征和全局特征,同时凸显特征图的主干信息,增强特征的表示能力.自适应非对称卷积块的网络结构如图4所示,其传播公式可表示为:

(6)

α,β和γ分别对应每一种模式的重要程度.uij,vij,pij,qij和wij表示不同集合的第i个和第j个节点之间的可学习权重.AACNet通过自适应学习α,β和γ,在不同的推理模式之间的切换.且满足:

α+β+γ=1,α,β,γ∈(0,1].

(7)

(8)

α是以λα为控制参数的softmax函数计算获得的,该函数可以通过标准反向传播来学习.类似地,β和γ分别通过使用另一个参数来定义,通过学习权重参数从而达到自适应连接的效果.

图4 自适应非对称卷积块Fig.4 Adaptive asymmetric convolution block

3 实验结果及分析

本研究在COBRE和UCLA两个数据集上对模型的性能进行了评估,并将其与较为先进的方法进行比较.实验将每个数据集的80%设为训练集,20%设为测试集.为了保证公平性,所有模型设置相同的学习率和批处理大小,并使用准确性(Accuracy,ACC)、灵敏度(Sensitivity,SEN)、特异性(Specificity,SPE)、精确度(Precision,PRE)和F1分数作为评估指标.具体公式如下所示:

(9)

(10)

(11)

(12)

(13)

真正例(True Positive,TP)表示正确识别为精神分裂症患者的数量;假正例(False Positive,FP)表示错误识别成精神分裂症患者的数量;真反例(True Negative,TN)表示正确识别为健康被试的数量;假反例(False Negative,FN)表示错误识别为健康被试的数量.

3.1 基于不同方向切片的分类结果比较

本实验中,基准模型选用的是具有代表性的ResNet18,在此基础上加入本文提出的非对称卷积块.不同截面的切片可以提供不同的特征信息,本研究将不同切面作为模型的输入对模型进行了探讨,结果如表2所示.

在COBRE数据中分别对三种平面的数据进行训练及测试.如表2显示,在横截面数据集中,本文所提方法得到了93.22%的准确率,灵敏度、特异性、精确度和F1分数分别为94.43%,94.51%,93.62%和93.00%.与横截面相比,在矢状面方向上准确率提高了0.19%.在冠状面的数据集中准确率更高,达到94.08%.通过实验结果可以发现,在精神分裂症的患者中,相比于横截面和矢状面数据,冠状面的数据可能包含了更多的病变区域.最后,我们在三种平面组合的数据集上评估了模型的性能,获得了95.77%的分类准确率,与单一的数据集相比,准确率约提升2%,且具有更高的灵敏度、特异性、精确度和F1分数,均比单一平面高出2%～3%,如图5(a)所示.这表明对多种截面特征进行融合可以实现特征互补的优势.

如图5(b)所示,在UCLA的数据中,冠状面的数据同样获得了较高的准确率,这与上述在COBRE数据集中得出的结论一致,使得我们确信冠状面包含更多的特征信息.此外,与单个平面数据相比,三个截面融合的数据集仍然具有更高的准确率,达到了96.99%的分类准确率,比单个平面高出2%～3%.灵敏度、特异性、精确度和F1分数高达96.81%,97.39%,93.17%和94.31%,均高于采用单个截面作为数据的分类性能.这再次验证了使用各个平面的组合数据可以提高模型的分类性能的结论.

图5 不同方向切片在AACNet上的分类结果比较Fig.5 Comparison of classification results of slices in different directions on AACNet

3.2 消融研究

根据上述实验得出的结论,组合的数据会提高模型的准确率,因此在后续的实验中均采用组合数据作为模型的输入.为了验证所提方法每个模块的有效性,本文设置了一系列消融实验,实验结果如表3和表4所示,其中AC-ResNet18表示在ResNet18上引入非对称卷积操作的网络模型,AS-ResNet18表示基于自适应特征选择的网络模型.为了直观分析每个模块的性能,图6展示了不同模块下的分类性能.

表3 COBRE数据集上的比较结果Table 3 Comparison of results on the COBRE dataset

表3展示了在COBRE数据集上的消融研究.实验结果表明,单独引入非对称卷积或者自适应连接网络均会提升模型的性能,与基准模型相比,其准确率分别提升了0.7%和1.5%,但在其他指标上却提升不大,有些还略低于基准模型.但通过实验分析可以发现,本文提出的模型展现出了较大的优势,不仅准确率比基准提高了2.37%,灵敏度、特异性、精确度和F1分数也分别提高了1.66%,1.9%,2.86%和2.64%.

表4 UCLA数据集上的比较结果Table 4 Comparison of results on the UCLA dataset

表4展示了在UCLA的数据集上消融研究结果.与基准模型相比,AC-ResNet18和AS-ResNet18在各评价指标上都取得了提升,其中准确率分别比基准模型提高了1%和1.22%.AACNet在此数据集上的表现依然良好,准确性、灵敏度、特异性、精确度和F1分数分别比基准提高了2.58%,2.44%,1.67%,3.75和4.04%,且准确率比单独使用一种改进的方法提升了1.5%左右.总体分析,本文所提方法在识别SZ方面具有一定的优越性,获得这种性能的主要原因是所提方法可以从数据集中提取有效的特征.

图6 对于模型结构进行消融研究的实验结果Fig.6 Experimental results of ablation studies on model structures

3.3 与现有模型的比较

为了验证所提方法的有效性,本文将提出的模型与其他几种具有代表性的模型进行比较,分别为ShuffleNet[22],MobileNetV3[23]和GoogLeNet[24].实验结果如表5所示.从实验结果可以看出,本文所提模型在两个数据集上均取得了较好的分类性能.与传统方法相比,在COBRE数据集上提升了2.99%～6.13%的分类准确率,在UCLA数据集上提升了3.03%～6.58%的分类准确率.从图7可以发现,AACNet-18的收敛速度最快,且模型的稳定性更好.

表5 与其他现有模型比较的分类准确率Table 5 Comparison of classification accuracy with other existing models

图7 不同方法的准确性比较Fig.7 Comparison of the accuracy of different methods

4 结语

在本研究中,我们提出了一种新颖的自适应非对称网络用来区分精神分裂症患者和健康被试,并在不同的切片数据集中验证我们模型的性能.首先,利用图像熵的方法选取合适的阈值,构建更能表征磁共振图像特征的数据集.然后,提出一种自适应非对称神经网络用于自动捕获图像的局部特征和全局特征,增强特征表征能力.我们在COBRE和UCLA两个数据集上评估了AACNet模型的性能,分别获得了95.77 %和96.99 %的分类准确率.实验结果表明,相比于传统卷积网络,引入非对称卷积块和采用自适应特征提取方式均可以提升模型的性能.为了进一步提升疾病的诊断性能和病灶区域的探索,在未来,我们将考虑多种模态数据的融合以及发展模型的可解释性去探寻精神分裂症的生物标志物.