深度学习影像组学新技术及其在肿瘤诊断中的应用

金诗晨，孙晓鸣，蒋皆恢，左传涛

1. 上海大学通信与信息工程学院生物医学工程专业，上海 200444；

2. 复旦大学附属华山医院PET中心，上海 200235

近年来，磁共振成像（magnetic resonance imaging，MRI）、正电子发射体层成像（positron emission tomography，PET）、超声等医学影像学技术被广泛应用于肿瘤诊断和预后研究。医学影像结合人工智能分析，可帮助医师通过非侵入性的方式获取肿瘤的表型特征，探究肿瘤在基因、蛋白质、微环境等层面上表现出的时间和空间异质性，从而代替有创组织活检［1-3］。其中，影像组学方法逐渐成为肿瘤研究领域的热点之一，该方法通过高通量计算，从医学影像中快速地提取大量影像学信息，实现目标特征提取与诊断模型的建立。然而，传统影像组学方法在临床实践中仍然面临一些挑战。例如，感兴趣区（region of interest，ROI）分割是传统影像组学方法面临的最大挑战，无论手工分割、半手工分割或全自动分割，均耗时、费力且需要比较丰富的临床先验知识，不利于大规模临床推广；如何保证不同机型/成像参数下获取影像学特征的鲁棒性则是第二个重大挑战；此外，传统影像组学方法还面临着流程复杂、耗时、费力等问题。

为了弥补传统影像组学方法的不足，研究人员提出了深度学习影像组学（deep learning radiomics，DLR）方法，该方法有望在不增加样本量的情况下提高传统影像组学流程的自动化水平，提升诊断和预测结果的准确性和可靠性，具有较大的潜在临床应用价值［4］。本文将主要针对现有DLR方法及研究进展进行综述，并展望其未来发展前景。

1 影像组学

影像组学的概念最早由荷兰学者Lambin等［5］在2012年提出，其思想来源于肿瘤的异质性。由于实体肿瘤在基因、蛋白质、微环境等层面上表现出时间和空间的异质性，使得病理学和分子生物学等有创检测方法的准确性和代表性受到限制，影像组学假设微观层面的基因或蛋白质等模式的改变可在宏观影像学特征上有所反映。2014年，Aerts等［6］完善了影像组学方法，奠定了影像组学方法的基本框架，包括数据采集、ROI定位、影像学特征提取、特征筛选、应用模型构建。

影像组学特征主要包括形状、纹理及变换特征等［7］，影像组学技术可以将影像学特征与患者其他临床特征相结合，对海量影像学数据信息进行更深层次的挖掘、预测和分析来辅助医师作出最准确的诊断。例如，Gibbs等［8］通过提取79例患者动态对比增强MRI（dynamic contrastenhanced MRI，DCE-MRI）图像的灰度纹理特征来识别45例乳腺癌，结合逻辑回归分析，良恶性鉴别的曲线下面积（area under curve，AUC）可达0.80。Yu等［9］在对315例口咽癌患者人乳头状瘤病毒的状态预测中，AUC可达0.915。

然而，传统影像组学计算框架流程中存在着一些不足，例如，自动化和标准化程度低、特征提取步骤繁琐及耗时费力，传统影像组学特征在预测结果的准确度和鲁棒性方面仍有较大的提升空间。

2 DLR

为了克服传统影像组学方法的缺点，研究者将深度学习网络输出特征代替或补充传统影像组学特征，并与经典分类器结合，该方法被称为DLR。

相较传统影像组学提取的基于病灶灰度直方图的一阶统计学特征或者二阶纹理特征，DLR方法中深度学习神经网络的多层结构能够自动学习层次更为丰富的影像学特征，如较浅的卷积层可学习到病灶局部区域的特征，而较深的卷积层则能够学习到更为抽象的特征，从而有助于提高分类识别性能。此外，与临床参数结合或将传统影像组学特征与DLR特征进行融合，有助于进一步提高分类或预测结果的准确性。

同时，作为端对端的方法，DLR能够对全图像直接进行操作，避免冗长繁琐的特征提取过程，提升模型的预测效率。

综上所述，DLR方法有望在样本量不变的前提下提高影像组学流程的智能化程度、改善特征提取结果和提升预测模型的准确性［10-11］，因而具有较大的优势和临床应用价值。

3 DLR工作流程

如图1所示，DLR方法工作流程通常包括原始数据的采集、深度网络预训练、影像学特征提取、特征筛选/特征融合、建立应用模型。

3.1 深度网络预训练与特征提取

深度学习神经网络预训练的目的是对原始图像进行病灶特征提取。网络预训练阶段通过对备选网络进行调优，并依据训练时间、预测准确度等因素选择最佳的网络作为DLR特征编码器。影像学特征提取一般可分为两步：首先从上述编码器获取输出的特征图；然后用池化方法将从卷积网络最后一层获得的特征图转化为可供训练和测试的特征数据。备选深度学习网络可基于先前研究。例如，Fu等［12］在晚期直肠癌辅助放化疗反应预测研究中，使用来自ImageNet数据库的大约120万张图像分别对卷积神经网络（convolutional neural network，CNN）和牛津大学科学工程系视觉几何组（visual geometry group，VGG）提出的VGG19进行预训练，并将它们作为模型的特征编码器；Zhu等［13］在脑膜瘤术前分级的研究中，将Xception网络［14］作为编码器在ImageNet数据库中预训练，并从卷积网络的最后一层获得2 048个特征图，通过最大池化的方式将每个特征图转换为对应的特征值。

3.2 特征融合与筛选

特征融合通过将深度学习特征与传统影像学特征（如影像组学特征、体素值特征等）或临床量表参数相结合，以提升DLR模型在诊断中的准确度。特征筛选通过筛选稳定特征、删除冗余特征，有助于提升诊断模型的鲁棒性。例如，Lao等［15］在使用DLR方法预测多形性胶质母细胞瘤患者生存率的研究中，先后采用4个步骤进行特征筛选：① 首先通过“inter-rater”分析［16］，对特征进行稳定性筛选；② 计算每个特征的中值绝对偏差（median absolute deviations，MAD）［17］，MAD等于0的特征被删除；③ 通过一致性指数（concordance index，C-index）［18］来选择具有预后预测价值的特征，其中C-index≥0.580的特征被认为是有预测价值的；④ 通过相关性分析移除高度相关的特征来进一步删除冗余特征。

3.3 建立应用模型

在诊断模型构建阶段，研究者大多采用机器学习模型，如支持向量机（support vector machines，SVM）、随机森林（random forest，RF）等。Yin等［19］在骶骨肿瘤良恶性预测的研究中用不同的分类器［RF、SVM、逻辑回归（logistic regression，LR）和k最邻近法（k-nearest neighbor，KNN）］构建多种分类诊断模型，并在研究中比较各自的性能差异。

4 DLR在肿瘤诊断中的应用

目前，DLR模型已成功地应用于肿瘤的多个方面，例如诊断［11，19-27］、分期分型预测［10，13，28］、生存预后评估［12，15，29-31］等。表1列举了DLR方法在肿瘤诊断中的多种研究和应用。

4.1 肿瘤诊断

活体组织的病理学检查是肿瘤良恶性诊断的金标准。但是由于活检具有侵入性风险，因此基于医学影像的非侵入性诊断备受关注。

现有的DLR研究囊括了在肺、肝脏、乳腺等不同器官中的肿瘤诊断。例如，Xie等［21］使用LIDC-IDRI公开数据集中1 018个实例作为实验数据，融合纹理、形状和深度学习特征构建分类器，对肺结节的良恶性进行诊断，其操作特征AUC达到0.97；Zhang等［24］分别基于超声图像和弹性剪切波图像对106例乳腺癌患者和318例健康对照人群进行诊断分类，DLR方法在两种图像中都得到最佳结果，其AUC均为0.99。DLR方法在一些相对少见的肿瘤的诊断研究中也展现出其价值。Li等［11］基于MRI建立的DLR模型用于预测151例低级别胶质瘤患者IDH1突变状态，使用相同的数据集，基于影像组学方法的AUC为0.86，而DLR方法的AUC为0.92。基于多模式MRI的DLR方法的AUC提升为0.95。上述研究结果表明，DLR是能够从医学图像中提取深度信息的有效方法，可提升对肿瘤诊断的能力。

4.2 肿瘤分期分型预测

肿瘤的分型、分级和分期是评价肿瘤生物学行为的重要手段，对指导个体化治疗方案的制订和疗效预测有着重要的作用［32］。现有的肿瘤分期方法存在着因人眼视觉差异而导致分期结果不一致的主观性缺陷，利用深度学习技术自主学习组织层面上的特征可有效地克服这一缺陷，有助于肿瘤的分期分型预测。Zheng等［10］基于超声的DLR方法对早期乳腺癌患者腋窝淋巴结状态进行术前预测，AUC为0.90，这提供了一种非侵入性成像技术，可用于预测早期乳腺癌患者的腋窝淋巴结转移程度。未来结合多参数、多模式MRI的DLR可望为头颈部恶性肿瘤的分期作出更加准确的预测和评估。

4.3 患者生存预后评估

肿瘤部位转移性淋巴结的范围和浸润程度对指导手术具有重要意义，也是与患者生存、局部复发等密切相关的预后指标，因此对转移性淋巴结的预测至关重要［33］。目前，DLR方法也被应用于此领域。例如，Lao等［15］通过迁移学习提取深度学习特征结合传统影像学特征预测多形性胶质母细胞瘤患者的整体生存状况，建立Cox模型进行生存分析，使两种特征组合预测C-index达0.74，表明其能够作为胶质母细胞瘤患者的整体生存预测和患者分层的预后成像特征。

5 总结与展望

深度学习影像组学方法将深度学习网络与传统分类模型或回归模型相结合，构建肿瘤分类诊断与预后预测模型，既克服了传统影像组学自动化和标准化程度低、特征提取步骤繁琐等问题，又进一步提升了肿瘤分类诊断及预后的准确性和可靠性。

深度学习影像组学是医学影像结合人工智能领域中的一项新技术，其在肿瘤早期诊断鉴别、分期分型预测、生存预后评估等领域具有广阔的临床应用前景。但现有方法在临床推广中还存在一些局限：首先，基于DLR方法所提取的深度影像学特征缺乏可解释性，未来对于影像学特征的可解释性研究将有助于进一步提升DLR方法在临床应用中的价值；其次，目前对于DLR方法的研究大多局限于肿瘤的诊断。该方法在其他领域，如神经影像中的应用价值有待进一步探究。

随着大数据、深度学习技术的不断发展，DLR的应用领域将不断扩展，DLR在临床实践和研究中的价值也将进一步凸显。