深度学习在胰腺医学影像中的应用综述

王旷怡，胡秀枋

（上海理工大学医疗器械与食品学院，上海 200093）

0 引言

胰腺癌发病隐匿、预后极差，经临床数据统计，胰腺癌患者5 年生存率只有8%，当胰腺癌发生转移时，该比例会下降到3%［1-2］。尽管胰腺癌诊断可通过医学影像技术如CT 等进行初步诊断，但准确率差强人意［3］。

随着人工智能技术的发展，作为其重要技术之一的深度学习也得到了广泛研究。深度学习技术的日渐成熟为辅助医生实现高精度诊断提供了新机会［4-5］。目前深度学习在医学影像上的应用十分广泛，并取得了显著成果［6］，但针对其在胰腺医学影像上的应用还缺乏综述性研究。因此，本文对其进行综述，以期为后续相关研究提供参考。本文回顾了深度学习发展历程，总结了深度学习在胰腺医学影像上的应用，包括胰腺组织病理图像、CT 图像及超声图像等，并介绍了现阶段深度学习在胰腺医学影像诊断中面临的问题及对未来的展望。

1 深度学习发展史

1.1 深度学习起源

从1943 年心理学家McCilloch与数学逻辑学家Pitts［7］提出MCP 模型开始，人工神经网络的大门就此打开。1958年，计算机科学家Rosenblatt 发现了一种类似于人类学习过程的算法（感知机学习），并且提出了感知机模型，这对于神经网络的发展具有里程碑式的意义［8］。但在1969 年，Marvin 等［9］编写了《感知器》，证明感知器本质上就是一种线性模型（Linear Model），无法解决线性不可分问题，至此人工神经网络进入第一个寒冬期，神经网络研究也陷入了将近20 年的停滞。

1.2 深度学习发展

1986 年，神经网络之父Hinton 提出一种适用于多层感知器（Multi-Layer Perceptron，MLP）的反向传播（BackPropagation，BP）算法，采用Sigmoid 进行非线性映射，完美地解决了非线性分类问题［10］，使得沉寂已久的神经网络再一次获得了大众关注。但受当时计算机硬件条件的限制，无法解决由于神经网络规模变大，BP 算法会出现梯度消失现象，导致模型无法进行有效学习的问题，阻碍了深度学习的进一步发展。

1.3 深度学习爆发

2006 年，Hinton 等［11］在世界顶尖刊物《科学》上提出解决梯度消失问题的方案：通过无监督预训练对权值进行初始化，再使用有监督训练进行微调。该文章一发表，立即在学术圈引起巨大反响，掀起了深度学习研究的高潮。2012 年，Hinton 课题组凭借深度学习模型AlexNet 在著名的ImageNet 图像识别比赛中夺得冠军，其首次采用ReLU 激活函数，可很好地抑制梯度消失问题。深度学习算法在世界大赛中的脱颖而出，再一次吸引了研究者们的关注，基于深度学习的卷积神经网络（Convolutional Neural Networks，CNN）也得到了更深入的研究［12-14］。

2 深度学习在胰腺医学图像诊断中的应用

2.1 深度学习在胰腺病理学图像上的应用

组织病理学是临床上肿瘤诊断的金标准，组织病理学图像是病理学医生临床诊断的重要辅助工具，病理学医生通过显微镜观察组织切片作出诊断。组织病理学诊断工作任务繁重，每组的病理医生每天分析的病理切片数量约为400 张［15］，而成为一名优秀的医生需要有10 万张以上的切片分析经验。截至2018 年，我国有执照的病理医生仅为一万余人，缺口达到90%［16］。病理学医生极为短缺，无法满足我国日益增长的胰腺癌诊断需求。

如今深度学习在组织病理学上已被广泛使用。如Wang 等［17］使用基于GoogleNet的模型在Camelyon 乳腺癌淋巴结转移分类挑战赛上取得了0.925的受试者工作特征曲线下面积（Area Under Curve，AUC）的最佳成绩，说明深度学习在组织病理学图像分类上具有很好的表现；Momeni-Boroujeni 等［18］使用多层感知器神经网络（MNN）分析胰腺细针穿刺活检细胞图像，对胰腺非典型病例的良恶性分类可达到77%的准确率，说明深度学习在病理学中具有改善患者预后的潜力；Krzysztof 等［19］将神经网络模型应用于胰腺管内增生性病变分类，分析来自慢性胰腺炎及需要胰腺切除的肿瘤手术患者细胞，细胞核分类的正确率达到73%，可作为探讨胰腺导管癌早期诊断方法的起点。

以上研究采用了比较简单的模型，对今后的研究具有启发性作用，未来研究或许可应用更复杂的模型。目前深度学习在胰腺组织病理图像上的应用尚较少，原因之一是可用的胰腺病理图像数据集很少，因此还需作进一步研究。

2.2 深度学习在胰腺CT 图像上的应用

电子计算机断层扫描（Computed Tomography，CT）是利用精确、准直的X 线束、γ 射线、超声波等，与灵敏度极高的探测器一同围绕人体某一病变部位进行连续断面扫描，具有扫描速度快、图像清晰等特点，如今已得到了广泛应用。深度学习在CT 图像领域也有一定应用。基于CT 图像的高精度胰腺是医学图像分析的基本内容［20］，但因为胰腺在整个腹部CT 中只占很小比例，所以胰腺分割具有很大的挑战性［21］。

在胰腺CT 图像分割方面，Roth 等［22］提出基于多层深度卷积网络（convnet）的概率自底向上腹部CT 胰腺分割方法，戴斯相似性系数（Dice Similarity Coefficients，DSC）达到83.6±6.3%；杨争争［23］提出双向卷积门控循环网络（Bi-Directional Convolutional Gated Recurrent Unit，BDC-GRU），可有效提高胰腺分割精度，DSC 达到87.63%；Zhao 等［24］提出一个基于CNN的全自动两阶段胰腺分割框架，在NIT 数据集上DSC 平均值达到85.99%；Liu 等［25］利用U-Net 模型，使用边界框处理CT 数据，同时添加边界区域进行胰腺器官图像分割，在NIS 数据集上DSC 达到86.70%；Ma 等［26］提出一种结合深度卷积网络的贝叶斯模型，在NIS 数据集上DSC达到85.32%，如表1 所示。

Table 1 Application of deep learning in pancreatic CT image Segmentation表1 深度学习在胰腺CT 图像分割上的应用

上述研究利用深度学习模型进行胰腺器官分割，取得了不错的效果。胰腺分割分为两个阶段：①训练一个神经网络对胰腺器官进行粗分割，获得一个胰腺器官的边框；②训练一个卷积神经网络对胰腺器官边界框进行细分割，最终实现对胰腺器官的分割。然而，目前基于深度学习的胰腺CT 影像分割在临床上还没有得到广泛应用，在未来的研究中，进一步实现对胰管和肿瘤的分割对后续影像分析与肿瘤消融将具有重要作用。

在对胰腺CT 图像良恶性分类预测方面，Liu 等［27］设计一种基于卷积神经网络的增强CT 图像识别模型，AUC 可达到0.96，诊断一张CT 图像仅需0.2s，说明使用卷积神经网络进行图像分析是一种高效、精准的胰腺癌诊断方法；Chu 等［28］使用三维深度监督网络对156 例胰腺癌患者及300 例正常病例进行分类，敏感性为94.1%，特异性为98.5%；Liu 等［29］利用卷积神经网络在本地测试集（台湾中心370 名胰腺癌患者及320 名对照者的对比增强CT 图像）上的准确率达到98.6%～98.9%，在外部验证集（美国公开的胰腺数据集）上的准确率为83.2%。

采用深度学习技术对CT 图像良恶性进行预测，结果令人满意，但在外部测试集上的预测精度相比内部测试集还存在一定差距，原因之一是不同地区的胰腺CT 图像质量存在差异，甚至不同医院及不同CT 机上获得的图像数据集都会对模型产生一定影响。目前的解决方法是获取不同分布的数据集，模型通过学习可解决一部分因图像质量差异造成在外部测试集上模型预测精度低的问题。将来会研究增强模型的泛化性，使其在不同分布的数据集上具有相似的效果。

2.3 深度学习在胰腺超声图像上的应用

超声内镜（EUS）是一种将内镜与超声相结合的消化道检查技术，其将微型高频超声探头安置在内镜顶端，在体内观察消化道的同时进行超声实时扫描，获得其层次结构及组织学特征的超声图像。临床上，发生肿瘤改变的胰腺局灶性病变患者中近四分之一需要进行EUS 检查，但由于胰腺肿瘤和胰腺炎症通常具有相似的EUS 图像，即使是经验丰富的内窥镜医师也可能会出现误诊或漏诊的情况。EUS 图像是由像素组成的数字图像，这些像素的排列反映了EUS 图像的组织结构［30］。作为计算机辅助诊断技术之一的数字图像分析可根据EUS 图像信息对胰腺肿瘤作出诊断［4］。

Ozkan 等［31］利用多层感知机（Multilayered Perceptron，MLP）模型对332 张胰腺EUS 图像进行分析，诊断的灵敏度、特异性与准确率分别达到83.3%、93.3% 及87.5%；Sǎftoiu 等［32］利用基于实时EUS 弹性成像的MLP 模型，为达到区分胰腺癌良恶性的目的，将色调直方图数据转换为弹性成像帧数，诊断的灵敏度、特异性与准确率分别达到87.6%、82.9%及84.3%［32］。Kuwahara 等［33］的研究表明，与常规EUS 特征及人工诊断方式相比，深度学习算法可能是诊断胰腺导管内乳头状粘液肿瘤（IPMNs）更准确、客观的方法，其灵敏度、特异性与准确率分别达到95.7%、92.6%及94.0%，其中准确率远高于人工诊断的56.0%，如表2 所示。

Table 2 Application of deep learning in ultrasound image of pancreas表2 深度学习在胰腺超声图像上的应用

以上研究都只获取了单中心的患者数据，还不足以证实该模型在其他数据集上也能达到同样效果。Kuwahara等［33］的研究使用了数据增强与迁移学习等人工智能技术，获得了超过500 000 张图片，已足够构建一个高效的模型，研究结果也证明了深度学习模型可用于术前评估IPMNs的恶性程度。但因为相关数据只包含了外科病例，而在临床上，大多数IPMNs 患者只是接受监视而非进行手术切除，导致最后的结果可能会发生偏差。

3 结语

本文回顾了深度学习发展史，综述了深度学习在胰腺病理学图像、CT 图像及超声图像上的应用现状。目前深度学习在胰腺影像方面的应用仍存在许多困难，首先是样本量不足，医学影像数据集较难获取，能够用于训练的数据集很少，而过少的数据集常常会造成模型过拟合，使得深度学习模型在其他数据集上表现很差；其次是医学影像标注问题，需要经验丰富的医生花大量时间进行标注。此外，随着医学图像的分辨率越来越高，当前的硬件设备无法支持对如此高分辨率图像的处理，需要对图像进行分块送入深度学习网络进行训练，从而影响模型无法提取出更多完整的空间信息。

为应对这些问题，研究者们探索出了一些新方法，如迁移学习、数据集扩增与对抗生成网络（Generative Adversarial Network，GAN）在处理数据集缺乏问题时具有较好效果。目前在医学影像标注方面也进行了数据自动标记相关研究，可解决人工标注费时、费力等问题。使用少量标记数据和大量无标记数据的半监督学习在图像分类任务中已取得了很好的效果，在胰腺癌诊断上的应用也指日可待。未来无监督学习的研究与发展也会解决人工标注数据集缺乏的问题，为胰腺癌的智能诊断提供很大帮助。