深度学习在心脏磁共振左心室分割中的应用研究进展

田洁综述 马晓海，赵蕾审校

心血管疾病死亡率在西方国家疾病谱中居于首位[1-2]。在我国，心血管疾病死亡病例占居民疾病死亡构成比的40%以上，高于肿瘤及其他疾病[3]。及时诊断心血管疾病对患者预后至关重要。用于诊断和随访心血管疾病的影像学方法很多，其中心脏磁共振(CMR)是评价心血管系统结构和功能的常用方法之一。CMR能提供精确的心脏结构和功能、心肌运动和组织学特征等信息。心功能评价指标包括射血分数(EF)、心室舒张末期容积(VEDV)、心室收缩末期容积(VESV)和心室心肌质量(VMW)等。心功能分析需要人工分割左心室的短轴电影序列图像，主要是轮廓的分割，包括心内膜和心外膜的分割。这是一项耗时的工作，左心室的分割平均需要30 min以上[1, 4]。目前虽然一些商用软件可以自动分割，但也需要人工辅助校正勾画轮廓，因此疲劳误差难以避免。

随着计算机算法的进步、计算能力的提高和可用数据的大量增多，近几年深度学习(deep learning,DL)作为机器学习(machine learning,ML)的一个分支迅速发展，尤其在计算机视觉领域。在医学中，基于放射信息系统(radiology information system，RIS)、医学图像存档和传输系统(picture archiving and communication system,PACS)中大量病例，DL可从图像中提取信息，本文将对DL在CMR左心室图像分割中的应用进展作一综述。

1 深度学习及其在医学影像学中的价值

1.1 深度学习的意义 深度学习(DL)是机器学习(ML)的一种特殊算法，机器学习是人工智能(AI)的一个子集。人工智能(AI)概念在20世纪60年代提出，是指研发用于模拟、延伸和拓展人类智能的理论、方法、技术及应用系统的学科，是融合了计算机科学、统计学、脑神经科学等前沿学科的综合性学科[5]。在医学应用中，机器学习的方式包括监督式学习和非监督式学习，监督式学习主要用于有明确标签的数据，例如疾病分类、预后判断等有明确诊断和结局的一类数据。无监督学习即由无明确标签组成的数据，例如图像的纹理、灰度等。在医学应用中，机器学习通常输入从图像中提取的重要特征集，使用统计的、数据驱动的规则设计成特定算法程序，转化为特定的输出。例如，心脏轮廓的特征包括组织信号的对比差异、噪声特征、纹理和运动等，当特征数据收集完整，可使用训练集对机器学习算法进行训练，之后可以对训练中未见过的数据进行预测，但预测结果受训练数据的影响较大。

而在自动提取数据特征方面，DL具有良好的优势。DL不是一组预先设计好的程序指令，是一种表示学习的形式，能够从数据集中直接学习识别与区分不同的数据特征，避免了人工区分。这种数据驱动的方法能够定义更抽象的特征，更具信息性和可泛化性[6]。例如心脏磁共振左心室内外膜的定位，DL算法可以学习到能够预测出心脏内外膜最有用的图像特征[7]。DL的迅速发展由3种因素组成，分别是大量的数据、高效的处理器(CPU)和更迭的学习算法[8]。在深度学习网络中，最常用于研究分析图像的算法是卷积神经网络(convolutional neural network,CNN)[9]。

CNN由多层具有特定意义的算法构成，包括一系列层，每进行一层更高级的学习时，将每层的图像输入映射到下一层的起始点，进行端对端的传输 。在“隐藏”层面包括一系列的卷积和池化分别进行特征提取和聚合，在最后输出结果之前，完全链接层进行高级推理。CNNs通常是监督学习方式，进行端—端训练[7]、学习标注好的数据。以往的算法，如人工神经网络(ANNs)计算层面通常被限制在3层，并只对有明确标签的数据进行特定的训练[10]。CNN由多层具有特定意义的算法构成, 与以往的算法相比具有2个特点：(1)CNNs计算层面更“深”，有10～30层，计算量大时甚至超过1 000层；(2)算法更复杂，由多个神经元复杂连接，多重非线性变换无限逼近复杂函数，最后给出原始数据特征[11]。

1.2 DL在医学影像学中的价值 DL具有对特征集进行端—端学习、处理复杂多模态数据、计算性能优越等优势[10]。DL已应用于医学影像学中多个临床领域，包括乳腺癌的影像学检测，肝转移的CT分割，脑肿瘤MR分割，利用高分辨率胸部CT进行间质性肺病的分类，癌症组织病理学阅读等[12-17]。在心血管影像中，DL应用包括减少心脏影像图像重建时间、准确快速进行心血管图像分割、计算与识别、心脏疾病诊断、预后评估及危险分层[18-21]。

2 DL在心脏磁共振左心室分割中的应用现状

目前一些商用软件可以自动分割，但仍存在人工校正的情况。DL的引入可以显著提升心内、外膜的分割精度。大体上，90%以上的DL算法Dice相关系数(Dice metric)即表面重叠(surface overlap)达0.95以上[22]。

2.1 基于像素分割方法 DL算法通常对于一般磁共振心脏短轴的电影图像使用基于像素分割左心室心内外膜的方法，即利用标记像素的灰度级[1]，设定灰度阈值将心肌与心室腔、周围组织分开[23]。大多基于像素分割的DL算法是基于U-Net结构[24]， Bai等[25]用全卷积神经网络自动分析心脏磁共振，数据库选自英国生物库，数据集达4 875例，能够在几秒内应用像素的方法分割心脏磁共振短轴图像，结果表明自动分析结果与人工分析相当。Vigneault 等[26]为了提高分割的准确性，使用Ω-Net神经网络在分割之前规范心脏磁共振图像的方向，选用2017MICCAI ACDC数据集，实现全自动、多层面对心脏磁共振图像进行定位、校正方向和分割，提高分割效率和精确度，结果表明，这个算法可用于双心室的分割。Poudel等[27]研究用回归全卷积神经网络对多层左心室心脏磁共振图像分割，利用空间依赖性还原心脏立体结构，数据来源于2009MICCAI的不同病理图像，分组进行训练、调整和测试，该训练提高了在心尖部分割的准确性。Zheng等[28]应用空间传播的方式结合CNN算法，提高了分割的性能，尤其是在比较难分割的心尖层面图像。Tao等[29]用CNN对多厂商、多中心CMR数据自动识别、分割左心室轮廓，当CNN使用可变性增加的训练数据集时，数据集之外的测试性能也得到了改善。还有一些研究将CNN算法与其他机器学习算法相结合，Oktay等[30]应用T-L结构，在分析图像中纳入心脏结构等先验知识，约束神经网络训练过程，并引导神经网络得出更有结构学意义的结果，避免了输入图像信息的不足与不一致的情况。Avendi等[4]使用卷积神经网络与可变形模型结合，使得在有限的训练数据中提高分割的精确度，尤其是在基底层和心尖层的图像分割。该模型与数据库中的左心室分割结果对比，Dice相关系数高达0.94。

2.2 基于回归方法 DL算法分割图像的另一种方法是基于回归分类方法，不同于传统的像素分类方法，是使用算法模拟主要分割图像领域固有的物理特性[31-32],能提高当心肌组织与周围组织对比度较差时的分割精确度[33]。

Tan等[34]于2016年利用回归分类方法对接近于圆形的左心室进行心室轮廓的分割，利用左心室物理结构的特点，即心内膜和心外膜有一个共同的圆心和极坐标原理，用2种回归神经网络CNN分别自动定位和计算心内膜到左心室圆心的半径，分割舒张末期和收缩末期左心室的心内膜。该试验分别进行了训练和测试，训练集选自医学图像计算和2011MICCAI挑的100例数据，测试集选自2009MICCAI挑战的45个数据。结果平均Dice相关系数达0.88，平均垂直指数2.3 mm,每层精确度达97.9%，单张精确度达100%，结果表明，CNN利用回归方法可以用于在舒张末期和收缩末期自动分割左心室内膜，并且可以用于不同高度的训练集和测试集。局限性在于收缩末期和心尖层面精确度会降低。2017年，Tan等[32]利用回归分类方法进行心室轮廓的分割并计算心功能评价指标，依次进行了训练和测试各100例，结果与临床数据对照发现，射血分数(EF)无明显差异，其他评价指标EDV、ESV和VMN存在一定的高估。Du 等[33]采用回归方法分割CMR短轴电影图像双心室的心内外膜，纳入145例患者图像，结果为左心室心脏内外膜轮廓Dice相关系数达90%以上，右心室Dice指数为0.88，稍差于左心室。总之，结果表明采用回归方法分割双心室与人工分割表现一致。

DL还通过全自动分割2D和3D电影图像的心内、外膜，实现心脏影像的自动测量，同时进行射血分数计算[1]和区域运动的评估。医生通常选取2个时期即舒张末期(end diastole,ED)和收缩末期(end systole,ES)，计算心功能参数，包括心室容积、心肌质量(VMN)和射血分数(EF)。心室容积只需将各层左心室心内膜面积进行整合，而VMN是计算左心室各层心肌质量之和。射血分数是VEDV与VESV的差值与VEDV的比值，这些心功能评价指标可以对心脏疾病作一个初步筛选。Ruijsink等[35]基于深度学习模型自动测量左、右心室容积、心肌应变(myocardial strain)等心功能评价指标，结果表明与手动测量无明显差异。

3 DL在心脏磁共振图像分割中不足与完善方法

3.1 高质量数据的获取不易 深度学习需要大量的数据进行训练保证模型的稳定性及准确性。与其他系统相比，心血管系统影像数据的获取成本高，时间长，可用于分析的数据量较少。尤其是心脏磁共振，扫描层面多，序列复杂，由于心脏运动特点，不可避免地存在一些低质量的图像，且受医疗水平、患者地区分布差异的影响及不同机器扫描参数不同，心血管图像高质量数据获取不易。转移学习能把之前机器学习模型知识转移到新的模型上，有望显著地降低深度学习所需的大量数据资源[36-37]。

3.2 数据标注工作量大 深度学习目前以监督式学习为主，需要手工标注图像。建立模型需要标注大量的数据，尽可能包括所有的心脏结构形状，提高模型分割图像的准确性与稳定性。手工标注不仅工作量大，准确性也高度依赖标注者的水平。为了提高标签的可信度，往往会采取多个不同水平层次的标注者同时标注，工作量会进一步加大。因此，可采用半监督式学习，对一部分带标签的数据进行监督式学习，对剩下的未带标签的数据进行分类。此外，标注者大多是在第三方软件上标注，不利于标注者之间数据的流通，开发基于内网的数据标注工具，不仅方便管理，还可兼顾患者隐私保护[36]。

3.3 深度学习的可解释性未知 深度学习存在可解释性不足的问题。因为深度学习模型学习的是大量神经网络结构的参数，预测过程是相应参数下的计算过程，这个学习和预测的过程是不透明的，和用户也缺乏交互性[36]。例如，模型经过大量图像数据的训练诊断心肌疾病，但不能解释它是通过什么图像特征得出的结论。这需要进一步研究深度学习的可解释性。

3.4 模型预测结果有待验证 模型训练大部分是通过学习有限的心脏疾病种类图像数据，且缺乏与疾病病理相联系，无法预测出临床上多样的疾病类型。Tao等[29]虽然增加不同病理的训练集，但所选测试的数据都是回顾性的，若应用前瞻性临床应用，必须对其性能进行评估，尤其是在心血管异常和成像伪影范围更广的数据集上。现在已发起了一个合作框架[17]，通过结合临床专业知识和自动分割方法的客观性，建立共同的心脏磁共振图像识别共识，相信未来进入临床能提高医生工作效率。

3.5 模型的泛化能力有待提高 大部分研究机构都是基于自己的数据库进行模型的训练和验证。数据集小会导致分割准确性差，在学习集之外的心脏形状(如先天性心脏病、术后重建等)分割效率不高。Tao等[29]用CNN对多厂商、多中心CMR数据自动识别、分割左心室轮廓，提高了模型的泛化性。

4 小结与展望

总之，随着社会老龄化和城市化进程加快，居民不健康生活方式流行，心血管疾病患者将快速增长，心脏磁共振检查数量必将增多，医师工作负荷进一步加重。尽管深度学习技术仍有很多方面需要完善，但在深度学习技术的辅助下，准确分割心脏磁共振影像可以减轻医师负担，将精力更多专注在临床问题上，最终使广大医生和患者受益。