基于深度学习的心脏影像学数据测量及其在心脏性猝死诊断中的应用

李泽浩 ，刘宁国，董贺文，李廉杰，何恒辉，林丽华，刘茜，杨明真

1.华中科技大学同济医学院法医学系，湖北 武汉 430030；2.司法鉴定科学研究院 上海市法医学重点实验室 司法部司法鉴定重点实验室 上海市司法鉴定专业技术服务平台，上海 200063

心血管疾病猝死占成年人猝死的第一位[1]。据统计[2]，在我国，心血管疾病引起的猝死占50%～60%，是危害性最大、猝死率最高的疾病。在法医学领域，心脏性猝死疾病的相关心脏参数测量受主观因素和人工测量方法的限制，使某些参数可能存在人为因素导致的估计偏差或测量偏差[3]，且由于法律法规和宗教习俗，一些心脏性猝死案例往往不能通过详尽的法医病理学检验进行诊断[4]。

随着法医学尸体检验技术的不断发展，死后断层影像学（postmortem cross-sectional imaging，PMCSI），也称虚拟解剖（virtual autopsy）或解剖画像（autopsy imaging，AI），可以在无需解剖的情况下获取尸体内部的信息，具有便捷性、无创性、客观性、直观性、原位性等优点[5]，可以在常规解剖前提供指导，在死因鉴定和心脏病理学研究中发挥着越来越重要的作用。有研究[6]利用CT 扫描对一名男性死者（60 岁）进行虚拟解剖，该死者因食管癌入院，行食管中上段癌根治术后10 h死亡，通过虚拟解剖发现其冠状动脉左前降支钙化，后经尸体检验明确死亡原因为冠心病继发斑块内出血。虚拟解剖作为一种非侵入性和无创性（或微创）的解剖方式，对阅片人员要求较高，而法医病理学鉴定人员阅片水平参差不齐，且临床影像学医师对于人体死后产生的变化情况不甚了解。同时，PMCSI精准诊断的主要困难来自死后变化，因此，影像学分析结果会因阅片人员的知识局限性和主观性出现一定的假阳性、假阴性，从而对影像分析结果产生影响。此外，由于虚拟解剖技术会产生海量的影像学数据，数据处理、阅片及数据分析的过程大大增加了工作量，且因人为等主观因素造成影像学数据的偏差，可能对心脏影像和病理研究造成影响。

深度学习（deep learning）是机器学习的一种，可通过使用大量专家标记的数据和包含许多层的神经网络架构进行训练，达到与人类专家识别一致的效果[7]。虽然深度学习的结果依然受到人为因素的影响，但通过学习大量专家标记的数据，可以减少个人主观因素造成的偏差，避免在应用过程中因阅片人员水平不同对影像分析结果产生的影响。应用深度学习等人工智能技术对海量的心脏影像学数据进行分析，为法医学鉴定和科研工作者对心脏疾病进行精细诊断和定量分析提供了可能。

1 心血管影像研究的主要深度学习方法

深度学习的核心算法是人工神经网络（artificial neural network，ANN），ANN 由大量人工神经元组成，每一个神经元可以有多个输入，通过矩阵乘法——每个输入通过乘以相应的权重并相加，生成的值随后通过非线性函数的方式传递[8]。通过组合多层神经元，可以建立输入和期望输出之间高度非线性的关系，实现对数据的准确预测[9]。

ANN的原理如图1所示。

图1 ANN的原理图Fig.1 Schematic diagram of ANN

1.1 全连接神经网络（fully-connected neural net⁃work，FCNN）

FCNN 是一种基本的神经网络结构，神经网络中除输入层之外的每个节点都和上一层的所有节点有连接。FCNN 具有更多的隐藏层，因此含有更多的神经元，具有更强的表达能力，几乎可以拟合任何函数，具有很强的非线性拟合能力，因此适用于图像分割等任务。但也因为其下一层神经元连接上一层所有的神经元，导致神经网络中的权重太多且没有利用像素之间的位置关系，并不适用于图像识别等任务[10]。

1.2 卷积神经网络（convolutional neural network，CNN）

CNN 是一种专门处理类似网格结构数据的神经网络，在处理时间序列数据和图像数据中具有极大优势[11]。与传统的ANN 相比，CNN 的第一个优势是具有稀疏交互（sparse interaction）的特性，即无需每个输入与输出建立连接，仅检测图像中一些有意义的点来高效地表达多个变量之间的交互关系。如在分析图像中，某些特征像素在整个图像中的占比相对较小，CNN 无需检测整个图像就能发现这些特征像素。CNN 的第二个优势是参数共享（parameter shar⁃ing），传统的神经网络中每个输入都具有一个相应的权重并只能使用一次，而CNN 只需要学习一个权重集合。因此，CNN 在计算机储存和计算效率上大大优于传统的以稠密矩阵乘法算法为主的传统神经网络。CNN 的第三个优势是平移等变性（translation equivariance），即系统在不同的位置具有相同的工作原理且其输出随着目标位置的变化而变化。如在图像分割任务中，当检测目标在图像中的位置发生了变化或相同的特征同时出现在不同的位置，CNN 仍能检测到同样的目标特征，输出同样的结果。由于CNN具有以上3 种特性，可以有效识别并保留特征参数，去掉大量不重要参数，因此其适用于心脏冠状动脉钙化识别等图像识别任务。

1.3 全卷积网络（fully convolutional network，FCN）

经典的CNN 具有数据输入层、卷积层、池化层和全连接层。卷积层对图像分块并提取每一块图像的特征，全连接层将特征向量化。CNN 在卷积层之后会连接若干个全连接层，将卷积层产生的特征图映射成一个固定长度的特征向量。该神经网络的缺点是存储开销大，计算效率低下，像素块的大小限制了感知区域的大小[12]。FCN 通过将传统CNN 的全连接层全部转换成卷积层，可以接受任意大小的输入图像，因此避免了由此产生的重复存储和计算卷积等问题。由于FCN 可以从抽象的特征中恢复每个像素所属的类别，即从图像级别的分类进一步延伸到像素级别的分类，使得精确分割图像成为可能，因此适用于心室的分割等图像分割任务。

1.4 循环神经网络（recurrent neural network，RNN）

RNN 是一种处理时序型输入的神经网络。经典的ANN 和CNN 网络结构的输入维度是固定的，且忽略了输入节点间的横向联系，因此很难处理时序型数据[13]。在RNN中，神经元不仅可以接受其他神经元的信息，还可以接受自身的信息，并利用之前的信息影响后面节点的输出，形成一个环路结构。RNN 通过不断累加样本实现预测，因此适用于磁共振成像分析、收缩末期和舒张期的容积监测、图像描述自动生成、心电图监测等任务。

1.5 生成对抗网络（generative adversarial network，GAN）

上述神经网络大多数是通过监督学习的方式，即先通过已知结果的标记样本训练神经网络，从而得到一个最优模型，再将这个模型应用在新的数据上，以达到训练深度神经网络的目的。在有监督的设置下，神经网络通过一个人工标记的输入图像实例，预测输出，计算误差，然后计算每个系数对这个误差的贡献，随后对神经网络的所有系数进行相应的调整，使误差最小化，这样重复多次，直到误差不再显著降低为止。但是由于医学数据较为庞杂，无法通过专家标记获得准确的标签。因此，使用无监督学习的方法可以利用海量未标记的数据，其中最为流行的无监督算法是GAN。GAN 存在两个不同的网络，即生成网络（generator network）和判别网络（discriminator net⁃work）。生成网络通过接受一个随机像素并生成图像，判别网络判别生成网络的真实性。GAN 通过生成网络和判别网络不断博弈，进而使生成网络学习到数据的分布。由于GAN 中权重更新并非通过数据样本，而是来自判定网络，可以产生更加清晰的样本，因此其适用于图像增强和图像去噪等任务[14]，如在低剂量造影剂或无造影剂的条件下，生成较为清晰的图像。

2 深度学习在心脏影像领域的研究进展

深度学习在CT中主要应用于冠状动脉的检查及不同组织和器官的解剖定位和分割等。CT 对于钙化显影具有显著优势。冠状动脉钙化（coronary artery calcification，CAC）扫描和冠状动脉CT 血管成像（cor⁃onary artery computed tomography angiography，CCTA）可对动脉硬化的情况进行定性和定量评估。相关研究[15-18]结果表明，通过基于CNN 的深度学习可以在CCTA 图像中自动识别并提取冠状动脉树，基于冠状动脉钙化的纹理特征识别冠状动脉的功能性狭窄。在进一步的研究[19-20]中，CNN 可以自动计算冠状动脉中心线并标记冠状动脉树段定位病变部位，进一步提高冠状动脉分割与定位的能力。研究[21-23]结果表明，CNN对于检测胸部非增强CT中的主动脉钙化和冠状动脉钙化具有显著的特异性。这表明在不使用造影剂的情况下，虚拟解剖也可以通过深度学习的方法精确检测动脉粥样硬化。ITU等[18]通过提取冠状动脉树的方式对冠心病患者冠状动脉血流储备分数（frac⁃tional flow reserve，FFR）减少量进行预测，其计算精度可与传统计算流体动力学媲美，但由于部分容积效应（partial volume effect，PVE）会导致对小直径冠状动脉管腔面积的估计过高。FREIMAN 等[24]基于一种深度学习的自动算法将PVE纳入CT血管造影FFR的评估，显著提高了诊断敏感性。更多的研究[24-26]结果表明，深度学习与任何单独运用CCTA 图像的测量相比，在测量曲线下面积（area under the curve，AUC）、狭窄严重程度、钙化斑块及总斑块体积等中有更高的敏感度和准确性。

其他基于深度学习对CT影像数据的研究着重于心脏及其组织的定位、分割及分类。COMMANDEUR等[27]使用2 个CNN 分别对心脏脂肪组织和心包进行分割。ZREIK等[15]使用基于多尺度的CNN对左心室心肌进行分割。研究[28-30]结果表明，在CCTA图像中可以提取相关心肌壁厚度、造影剂透壁灌注比和灌注强度等心肌特征，提高了检测心肌缺血的能力。LARSSON等[31]提出一种二步法，首先利用重心对器官进行标记，然后利用CNN 进行二值分类，该方法为高解剖变异性器官的分割提供了可靠的结果。EBERT 等[32-33]通过死后计算机体层成像（postmortem computed to⁃mography，PMCT）图像对器官进行自动分割，用于计算器官质量及检测出血性心包积液等异常。

心脏大血管磁共振成像（cardiovascular magnetic resonance imaging，CMR）对于心脏组织的成像具有显著优势，主要应用于心脏内部结构的分割并基于此进行一系列的量化评估。使用CMR 对心脏结构进行分割可有效量化心功能。最近的深度学习相关研究[34]结果表明，其分割算法的精确性与人类专家相当，这为自动诊断心脏疾病提供了可能。一些系列研究[35-44]结果表明，CMR 可以实现对右心室、左心室、心内膜和心外膜的全自动、高质量分割，从而可以更可靠地估计心脏质量和功能参数。基于左心室的精准分割，相关研究[45]使用基于回归方法的多视图CNN直接计算左室射血分数（left ventricular ejection frac⁃tion，LVEF），这对于心功能的评估具有重要意义。XU等[46]使用CNN 直接在非对比剂心脏磁共振成像序列中描绘心肌梗死区域，该方法具有较高的精度和一致性，有利于快速作出心肌梗死的诊断。其他关于CMR 的深度学习研究还包括主动脉瓣膜的分割[47]（用于定量血流分数）、先天性心脏病中血与心肌的分割[48]、左心室长短径的定位[49]等。

深度学习在其他成像中也有相应的应用。光学相干断层扫描（optical coherence tomography，OCT）是一种干涉成像方法，可为冠状动脉管壁提供高分辨率图像以检测动脉壁下斑块沉积情况。ABDOLMANAFI等[50]通过深度学习模型学习川崎病的OCT 成像，其卷积网络计算的分类结果具有较高的准确性、敏感性和特异性。GESSERT 等[51]通过深度学习模型直接从图像中学习粥样斑块的分类，并取得了较高的准确性、敏感性和特异性。单光子发射计算机断层成像（sin⁃glephoton emission computed tomography，SPECT）属于核医学CT技术。BETANCUR 等[52]运用SPECT与心肌灌注显像（myocardial perfusion imaging，MPI）联合分析评估阻塞性疾病，与现有的定量方法相比，深度学习可以明显提高MPI的自动判读。

3 深度学习在心脏性猝死虚拟解剖中的应用

在心脏性猝死虚拟解剖的法医学实践中，可以借鉴临床影像的相关研究。虚拟解剖和临床影像检查对冠心病冠状动脉钙化情况、心肌梗死的诊断和范围、心脏各个心腔的分割、心脏形状异常、动脉瘤、心脏及心包破裂等具有高度的一致性。但临床上对于人体死后特有的变化如死后血凝块的形成、死后腐败气体的生成等没有相关研究。因此，对于心脏疾病的法医学诊断可以借鉴临床影像学的研究，并在此基础上增加人体死后特有变化的研究，形成适用于法医学实践的心脏性猝死影像深度学习算法。

3.1 缺血性心脏病

缺血性心脏病主要与冠状动脉粥样硬化性心脏病和心脏血供受损有关，其主要的病理表现有粥样斑块形成、冠状动脉狭窄，非冠状动脉粥样硬化性心脏病主要有晚期闭塞性冠状动脉内膜增厚、冠状动脉夹层、冠状动脉开口狭窄、冠状动脉炎及动脉瘤、冠状动脉栓塞、冠状动脉痉挛和心肌桥等[53]。

对于缺血性心脏病的死后影像诊断主要基于冠状动脉和心肌的评估[54]。万雷等[55]的研究表明，尸体血管造影技术在判断血管损伤或疾病方面可以起到关键辅助或替代作用。有研究[56]通过对离体心脏进行CT冠状动脉造影发现其对于冠状动脉狭窄程度的诊断与传统组织病理学诊断具有较高一致性。最近一项对23例心脏性猝死者进行CT检查的研究[57]结果表明，CT 对于缺血性心脏病的诊断价值有限。使用深度学习技术可以最大程度直观呈现冠状动脉的形态特征，自动识别并计算冠状动脉狭窄程度，灵敏检测钙化并自动计算钙评分，并且能够有效解决CT 伪影等可视化难题，从而提高CT 对于缺血性疾病的诊断价值。一系列新技术如血管内超声成像（intravas⁃cular ultra-sound imaging）及OCT 也可运用于冠状动脉血管成像，为其提供更多检测手段[58]。JACKOWSKI等[59]在2006 年首次对8 例尸体检验案例进行缺血心肌MRI 检查，研究结果表明，MRI 能够原位检测到心肌梗死。一些学者[60-62]也报道了基于MRI 对冠状动脉相关死因进行诊断。深度学习可以在此基础上自动对心肌梗死的范围、大小、形态进行评估，根据信号衰减程度估计梗死发生时间并有效量化心功能等指标，为缺血性心脏病的死因诊断提供更加详实的证据。

血栓可以高度提示冠状动脉粥样硬化性心脏病，然而CT和MRI均不能有效区分生前血栓和死后血凝块[63-64]。有研究[65]结果表明，生前血栓一般具有典型的形态特征（如圆形或椭圆形轮廓），分布与重力作用无关，常发生在肺动脉或脑动脉中心部位，死后血凝块则表现出重力性分布（上层为血浆，下层为血细胞），而且生前血栓与死后血凝块的组织成分也存在一定差异。在深度学习的基础上，通过对血栓的CT值及形态进行分析，有望对生前血栓和死后血凝块进行区分。

3.2 心肌病

心肌病主要分为扩张型心肌病、肥厚型心肌病、限制型心肌病、致心律失常性心肌病等，主要表现为心肌的增厚或扩张。MRI可以更好地区分组织性质，且无创、分辨率更高。鉴于前文所述，深度学习可以精准地从MRI心脏影像中分割各个心腔，通过测量心肌壁的肥厚及心脏形态，其对各种心肌病的诊断将成为可能。此外，有研究[66-67]通过心肌体积乘以心肌密度的方式，计算死者心脏或某个关键心室的质量。深度学习可高效准确地剔除心外膜及心内膜的体积，并准确分割各个心腔。

虽然肥厚型心肌病与高血压心脏病等有相似的病理表现，但需要进行组织学检查加以确认。有研究[68]结果表明，心脏MRI 对于某些病因的心脏肥大（心脏淀粉样变性、结节病和法布里病）的晚期钆增强显示不同的增强效果，有利于使用深度学习对MRI影像的灰度值进行学习，进而对不同病因的心肌肥大进行鉴别。

JACKOWSKI 等[69]报道了1 例右心室游离壁脂肪浸润，MRI 显示右心室顶端心壁变薄，提示系致心律失常性右室心肌病（arrhythmogenic right ventricular cardiomyopathy，ARVC）。研究[70]结果表明，MRI 增强扫描有潜力检测到局部的心肌纤维化，局部的心肌纤维化可能是ARVC 的早期表现。使用深度学习可以更加灵敏地捕捉到心肌纤维化，从而发现一些早期和不明显的病例。使用CT 同样可以检测到ARVC 的一些放射学特征，如脂肪浸润和右心室扩张。

3.3 其他

心血管动脉畸形包括冠状动脉畸形、主动脉窦瘤、主动脉瘤、主动脉夹层等，通过CT血管造影，深度学习可以自动将心脏动脉血管进行标记并分段，辨别畸形动脉的狭窄程度、形态特征、畸形部位等，并通过计算机处理生成三维立体影像，使得病变部位的呈现更加直观。

感染性心内膜炎中，心内膜的细菌感染首先影响心脏瓣膜，死后MRI 影像可清晰显示心脏瓣膜赘生物，深度学习技术可自动识别并通过形态特征及亮度特征与血栓、血凝块等进行区分。

目前，深度学习技术在心脏性猝死虚拟解剖中的研究还较少，主要是因为能够开展虚拟解剖研究的法医机构数量较少；缺少法医病理、医学影像及人工智能相结合的专业研究人才及研究团队；死后尸体的改变会对虚拟解剖影像分析产生影响，如体内尸斑的形成，由于体内血液沉积，在MRI 成像中表现为低信号区，与心肌梗死对应的低信号区难以区分[71]，腐败气体在MRI成像中表现为低信号，导致T2加权成像中心肌结构的丧失[72]等，以往的心脏影像人工智能分析主要研究临床病例，直接将临床研究的深度学习模型应用于死后尸体将会导致诊断的准确率下降。

4 深度学习在法医心脏虚拟解剖中的应用前景

尽管深度学习已达到了较高的准确度和灵敏度，但还有许多问题亟待解决。对于相同的数据集，不同的研究人员可以得到差异很大的结果，主要原因是在训练神经网络时需要做出许多决定：如何对数据进行预处理，选择哪种网络架构（如ANN、CNN、RNN）、确定网络深度（即层数）以及如何优化网络系数或系数的数量。

在未来的深度学习与心脏性猝死影像的研究中，一是由于深度学习需要大量的结构化数据，要建立适当的数据库，对于临床影像学，已有类似的数据库开发，但对于法医影像学亟须建立相关的数据库，因此应加大对各相关研究机构影像学设备的投入，加强跨地区研究机构的沟通合作，实现数据共享；二是由于死后变化造成死后影像数据与临床影像数据不同，因此需要更多数据对现有的网络算法进行拓扑再训练。根据新的拓扑网络，建立特定的用于死后成像图像的深度学习预测模型，这需要建立专业的法医影像与深度学习学科交叉团队共同完成。

综上，虚拟解剖技术在法医学实践中具有重要意义，CT 血管造影是检查冠状动脉粥样斑块的有效手段，MRI是心肌放射性检查的首选方式。然而由于案例及数据量较大以及缺少尸体检验影像学专家，深度学习技术可为影像图像的自动诊断提供解决方案，且死后影像学检查伪影较少以及低剂量造影剂造成的噪声干扰较少，为深度学习提供了良好的学习资料。