基于多通道的ICU脑血管疾病死亡风险预测模型

成亚鑫，李润知，赵红领

1.郑州大学 信息工程学院，郑州 450001

2.郑州大学 互联网医疗与健康服务河南省协同创新中心，郑州 450052

脑血管疾病（cerebrovascular disease，CVD）[1]是危害我国人民健康的首要杀手，它具有高发病率、高复发率、高致残率以及高死亡率的特点，给患者家庭带来严重的医疗负担和经济损失[2]。脑血管疾病是神经内科的一个急症，一旦发病都具有急、危、重的特点，治疗是否及时、合理将直接影响患者预后。在脑血管疾病发生、发展及预后的过程中对一些临床病理指标进行动态观察，能有效指导临床治疗。

重症监护病房（intensive care unit，ICU）是为重症或昏迷患者提供设备和隔离的场所，致力于为患者提供有针对性的监测和最佳的护理[3-4]。临床医生在ICU根据反映生理恶化的监测参数做出的决定具有重大的医学意义，MIMIC Ⅲ数据库对有关参数进行了记录和评估[5-7]。

传统的ICU 评分机制根据患者心率、呼吸频率、睁眼反应、语言反应和肢体反应程度等进行评分，然后进行手工加分的方式，判断评分的等级来预测ICU患者是否有发生威胁生命事件的风险。但随着ICU 患者数据的复杂性和多样性，传统的评分机制已经不能满足临床的要求。伴随着计算机技术和医疗大数据的发展，将计算机技术应用在医疗方面进行死亡风险预测已经成为医学问题新的解决思路。

死亡风险预测可根据常规体征数据预测患者是否有死亡的风险。目前关于ICU死亡风险预测的研究中，传统研究大多使用机器学习方法来预测ICU 患者的死亡风险，但由于有些研究数据量少且选取特征变量过少，导致分类器性能不理想。并且ICU数据往往存在严重的高维性和数据不平衡等现象，这都会严重影响分类器的性能。因此，为了提高死亡风险预测模型的性能，本文引入多通道的概念应用到BiLSTM 模型，使用BiLSTM模型独立地处理不同的变量，结合基于Attention机制的BiLSTM模型，提出一种基于多通道的ICU脑血管疾病死亡风险预测模型Multichannel-BiLSTMs+Attention。为医生判断ICU 脑血管患者生理状况提供了参考，辅助医护人员了解ICU 患者病情发展，为及时干预和防治脑血管疾病患者病情恶化提供参考，在脑血管患者的健康护理和医院的资源配置中发挥着重要的作用。

1 相关工作

ICU死亡风险预测因其重要性，一直以来是临床科研研究的重点，从建模方法上，主要包括机器学习方法和深度学习方法。首先，谢俊卿等[8-9]基于本地电子病历数据构建了ICU患者住院死亡风险预测模型，为了获得更优的预测性能，应用了人工神经网络、决策树和支持向量机三种机器学习模型，结果显示支持向量机的性能最优，但因选取的特征变量过少，使得分类器性能受到影响。许侨洋[10]基于MIMIC Ⅱ数据库，利用机器学习方法建立ICU死亡风险预测模型，重点根据单个特征值分类的AUC得分情况进行特征降维，解决了ICU数据维度高问题，并对比了决策树、随机森林和XGBoost 三种机器学习方法，XGBoost 的性能最优，AUC 值达到85.6%。但在解决数据高维性的过程中，该研究仅对AUC值低的特征进行降维，模型的预测性能更加优越，AUC 值达到85.3%。以上是采用机器学习方法对死亡风险预测模型的研究情况，在预测精度方面有待提高。近年来，随着深度学习技术的发展，大量深度学习模型被提出用于医学临床辅助决策，产生了很好的应用效果，刘瑞[11]基于MIMIC Ⅲ数据库采用深度学习卷积神经网络算法建立一种智能化的死亡风险预测模型，并将模型与ICU患者中普遍使用的SAPS-Ⅱ（简化急性生理评分）进行预测性能比较，针对ICU 患者死亡风险数据的非线性、复杂性和无规律性，验证了深度学习模型比SAPS-Ⅱ具有更好的泛化能力和更高准确率，其准确率达到了75.77%。在该研究中，未考虑患者数据的时序性和特征的选择。

目前ICU 使用的风险预测评分机制大多为MEWS（改良早期预警评分）表和Glasgow 昏迷评分量表。MEWS表是一种简易的病情及预后评估系统，依据患者的心率、收缩压、呼吸频率、体温和意识进行综合评分，将病情危重程度分值化，能快速、科学地对病人危险性进行预测[12]。Glasgow昏迷评分量表是医学上评估病人昏迷程度的方法，昏迷程度以睁眼、语言和运动三者得分相加来评估，得分值越高，提示意识状态越好，患者状况则相对安全[13]。本文提出的ICU 脑血管死亡风险预测模型考虑了数据的时序性和疾病研究所需的时间长度，依据脑血管疾病的相关重要参数、ICU 使用的MEWS 表和Glasgow 昏迷评分量表等选取了17 个相关变量用于预测模型构建。

2 实验数据

在ICU脑血管疾病死亡风险预测研究中，使用的数据是基于MIMIC Ⅲ数据库提取出的脑血管疾病相关时序数据。该数据库主要由临床数据库和生理波形数据库构成。数据包括生命体征、药物、实验室测量值、护理人员提供的观察结果和注释、体液平衡、程序代码、诊断代码、住院时间、生存数据等。

为实现对脑血管疾病患者死亡风险的预测，本文从MIMIC Ⅲ数据库的Patients、Admissions、ICU stays、Chartevents、Labevents、Outputevents、Diagnoses 7 个表格中提取脑血管疾病的相关时序数据。首先去除脑血管疾病数据中标签缺失、格式和内容错误的记录，其次去除了在不同ICU 病房之间有转移的记录和所有患者未满18 岁的记录。然后根据ICU 使用的MEWS 表和Glasgow 昏迷评分量表从脑血管疾病数据中提取了17项生理参数（格斯拉昏迷量表睁眼反应、格斯拉昏迷量表运动反应、格斯拉昏迷量表口头反应、格斯拉昏迷量表总计、毛细血管充盈率、舒张压、吸入氧气分数、葡萄糖、心率、体温、血压、氧饱和度、呼吸率、收缩压、身高、体重、PH 值）作为研究的特征变量。最终将3 080 位脑血管疾病患者的16 260条记录用于此次研究，其中每条记录包含着患者在24小时后的生理参数值和对应的风险性（0 代表无风险，1 代表有风险）。由于数据库中各类型的变量都是以原始值的形式存储的，所以需要将变量进行预处理，17个变量的预处理方法及处理后的数据长度见表1。

表1 特征变量预处理方法Table 1 Feature variable preprocessing method

3 ICU脑血管死亡风险预测模型

3.1 模型介绍

3.1.1 多通道BiLSTM模型

长短期记忆网络（long short-term memory，LSTM）是循环神经网络（recurrent neural network，RNN）中的一种，适合处理信息传播过程中间隔和延迟相对较长的信息，以提取重要特征，非常适合用于对时序数据的建模。如果算法模型可以像处理过去的上下文信息一样访问未来的上下文，则它对具有时间序列性的医学数据具有深远的意义。标准LSTM单元用于处理序列数据，由于数据是按时间顺序处理的，因此它通常会忽略未来的上下文信息。双向长短时记忆网络（bi-directional long short-term memory，BiLSTM）的基本思想是每个训练序列由前向LSTM 神经网络层和后向LSTM 神经网络层组成，工作原理如图1所示。前向LSTM层从头到尾编码选取的特征，后向LSTM层编码方向相反。因此，BiLSTM在t时刻的隐含层状态Ht是将前向隐含层状态与后向隐含层状态加权求和得到的，公式如式（1）～（3）所示：

图1 BiLSTM工作原理Fig.1 BiLSTM working principle

其中，Ht为Bi-LSTM 神经网络上层的输出向量，wt、vt分别代表BiLSTM 隐含层状态对应的前向隐含层状态和后向隐含层状态的权值，bt代表t时刻隐含层状态对应的偏置。

由于ICU 脑血管数据的时序性，本文引入BiLSTM模型用于实验研究。在BiLSTM 模型中，本文向前向LSTM 依次输入{x1,x2,…,xt} ，得到向量{hL1,hL2,…,hLT}，向后向的LSTM依次输入{xT,…,x3,x2,x1}，得到向量{hR1,hR2,…,hRT}。然后将前向和后向的隐向量进行加权求和得到BiLSTM模型的输出{H1,H2,…,Ht}。

多通道（Multichannel）最早应用于机器视觉中的RGB图像通道，将含有通道的图像分割成多个单通道，以便图像处理，提升图像特征学习能力。由于ICU 脑血管数据中的每个生理参数都对死亡风险预测具有重要意义，本文引入多通道的概念应用到BiLSTM 模型，提出多通道BiLSTM 模型，工作原理如图2 所示，使用BiLSTM模型独立地处理不同的变量。

图2 特征输入至多通道BiLSTM模型Fig.2 Feature input to BiLSTM model

3.1.2 基于Attention机制的BiLSTM模型

2014 年，Mnih 等提出了一种模拟人类大脑注意力的模型——Attention机制，其核心理念是将更多的注意力放在它认为重要的东西上，将较少的注意力放在其他部分上，当模型输出时，有选择地关注有关输入的相应信息。它通过权重突出关键输入，从而优化了传统模型。Attention机制的方法广泛应用于时间序列分类，包括文本自动生成、文本摘要等。Attention机制打破了传统的编译码结构在编码和解码过程中内部依赖固定长度向量的限制。基于Attention 机制的BiLSTM 模型是通过BiLSTM编码器保留输入序列的中间输出，然后训练一个模型有选择地学习这些输入来实现的。基于Attention机制的BiLSTM模型可以解决BiLSTM模型输入序列较长时很难获得合理的向量表示问题，更有利于学习每一个特征，提高分类器性能。基于Attention机制的BiLSTM 模型的工作原理如图3 所示，公式如式（4）～（6）所示：

图3 BiLSTM+Attention工作原理Fig.3 BiLSTM+Attention working principle

其中，Ht为Bi-LSTM 神经网络上层的输出向量，WW为权重系数，bw为偏置系数，ut为Ht确定的权值。αt为新隐含层状态下各隐含层状态比重的加权系数。uw是一个随机初始化的注意矩阵，在训练过程中不断学习。vt是通过Attention机制的输出向量。

3.2 Multichannel-BiLSTMs+Att模型

本文将基于Attention 机制的BiLSTM 模型与多通道BiLSTM模型进行结合，提出集成的ICU脑血管疾病死亡风险预测模型Multichannel-BiLSTMs+Attention，以获得更良好的模型性能，为医生判断ICU脑血管患者生理状况提供参考，辅助医护人员了解患者病情发展。Multichannel-BiLSTMs+Attention 模 型 进 行ICU 脑 血管死亡风险预测过程如图4 所示，本文使用多通道BiLSTM 模型独立地处理不同的变量，然后将这些BiLSTM 模型的输出按照患者id 以并集的方式concat（拼接）。再将拼接后的结果输入至基于Attention 机制的BiLSTM 模型，Attention 计算权重系数后，向量vt输出到全连接层，全连接层由线性整流（Relu）函数接收处理。由于线性模型的表达能力不足，采用激活函数来添加非线性因素。Relu 函数是神经网络中最常用的激活函数。Relu函数使部分神经元的输出为0，降低了网络的稀疏性和参数间的依赖性，减轻了过拟合的发生，减少了深度网络的训练时间。加权后的输出经过激励函数ReLu 传播到Dropout 层，Dropout 层在训练和预测时随机让网络中某些隐含层节点不工作，减少了特征个数，有效地防止了网络过拟合。最后，通过sigmoid函数计算输入，并输出最终结果。模型输出0代表无死亡风险，输出1代表有死亡风险。

图4 ICU脑血管疾病死亡风险预测流程Fig.4 Risk prediction process for cerebrovascular disease death in ICU

4 实验

4.1 评价指标

在实验中，评价指标可以了解模型的泛化能力，使用同一个指标来对比不同模型，从而得知模型的好坏，并且可以通过这个指标来逐步优化模型。本文在实验中使用的评价指标有准确率（Accuracy，Acc）、灵敏度（Sensitive，Sens）、特异性（Specificity，Spec）、AUC-ROC和AUC-PRC。其中：

（1）Acc 是指在测试集中正确分类的样本数NR占总样本数N的比率，如式（7）所示：

（2）Sens是指测试集中真阳性（true positive，TP）预测数与真阳性和假阴性（false negative，FN）之和的比率，如式（8）所示：

（3）Spec 是指测试集中真阴性（true negative，TN）预测数与真阴性和假阳性（false positive，FP）之和的比率，如式（9）所示：

（4）AUC-ROC表示的是ROC曲线与坐标轴围成的面积，用它来表示分类器的性能，值越接近1 表示分类器性能越好。

（5）AUC-PRC 表示的是PRC 曲线与坐标轴围成的面积，横轴是Recall，纵轴是Precision。Recall越大、Precision 越大表明模型效果越好，此时PRC 曲线靠近右上角，AUC-PRC值越大，分类器性能越好。

4.2 实验设置

ICU 脑血管疾病死亡风险预测研究实验使用的数据是基于MIMIC Ⅲ数据库提取出的脑血管疾病相关时序数据。本实验使用了3 080 个脑血管疾病患者的16 260 条记录的常规测量数据和其对应的风险性（0 代表无风险，1代表有风险）。实验将数据的13 008（80%）条记录作为训练集，3 252（20%）条记录作为测试集。在实验中，针对ICU 脑血管疾病数据的时序性和特殊性，提出了ICU脑血管疾病死亡风险预测模型Multichannel-BiLSTMs+Attention。实验中所有模型使用的损失函数均为二元交叉熵函数（binary cross entroy loss）。

超参数是在模型开始训练之前所设置的参数值，而不是通过训练后得到的参数数据。通常情况下，需要对超参数进行优化，给模型选择一组最优超参数，以提高学习的性能和效果。为了优化参数达到分类器最好效果，本文做了以下六组超参数实验，包括参数epoch、dropout、batchsize、学习率、优化器以及激活函数的相关对比实验。实验结果如图5所示。在此基础上，为了验证文中提出的ICU脑血管疾病死亡风险预测模型的有效性能，将该模型与其他的四种模型进行了比较，包括LSTM、多通道BiLSTM、Logistic 和SVM 模型。实验结果如图6所示。

图5 超参数对实验结果的影响Fig.5 Influence of hyperparameters on experimental results

图6 模型分类结果对比Fig.6 Comparison of model classification results

4.3 实验分析

图5 给出了本文实验模型参数最优化选取。图5（a）为epoch参数对模型性能的影响，结果显示epoch随着数量增加，权重更新迭代的次数增多，曲线从最开始的不拟合状态，进入优化拟合状态，最终进入过拟合，epoch 取120 时，模型精度AUC-ROC 达最优0.943。图5（b）和图5（c）分别体现实验中dropout rate 和batch size参数最优化选取情况，很明显当dropout rate为0.3，batch size 为8 时，模型达最优性能。图5（d）为学习率learning rate 参数选取，当学习率取0.001 时，目标函数收敛到局部最小值，图5（e）和图5（f）表明模型激活函数和优化器的选取情况，实验表明，模型选取Sigmoid激活函数，且优化器为Adam时，模型精度最高。

从图6模型对比实验结果中可以看出，本文提出的集成模型Multichannel-BiLSTMs+Attention 的预测结果表现最优，多通道BiLSTM 模型预测结果次之，Logistic模型预测结果表现最差。Multichannel-BiLSTMs+Attention 模型的Acc 值为0.892，AUC-ROC 值为0.943，AUC-PRC 值为0.952，Sens 值为0.863，Spec 值为0.912。在Acc 方面比Logistic 模型提高了0.175，比SVM 模型提高了0.138，比LSTM 模型提高了0.111，比多通道BiLSTM 模型提高了0.019。在ROC 方面比Logistic 模型提高了0.218，比SVM 模型提高了0.161，比LSTM 模型提高了0.057，比多通道BiLSTM 模型提高了0.036。在PRC 方面比Logistic 模型提高了0.201，比SVM 模型提高了0.139，比LSTM 模型提高了0.056，比多通道BiLSTM 模型提高了0.031。在Sens 方面比Logistic 模型提高了0.129，比SVM 模型提高了0.105，比LSTM 模型提高了0.007，比多通道BiLSTM 模型提高了0.045。在Spec 方面比Logistic 模型提高了0.207，比SVM 模型提高了0.161，比LSTM 模型提高了0.184，比多通道BiLSTM模型提高了0.039。

Multichannel-BiLSTMs+Attention模型比Logistic模型和SVM 模型的预测效果好，是因为Multichannel-BiLSTMs+Attention 模型考虑了数据的时序性，多通道BiLSTM 模型结合基于Attention 机制的BiLSTM 模型的集成模型方式解决了输入序列较长时很难获得合理的向量表示的问题，加强了模型对特征的学习能力，比Logistic 模型和SVM 模型更好地解决了数据的高维性和数据的时序性带来的问题。Multichannel-BiLSTMs+Attention 模型比LSTM 模型的预测效果好，是因为Multichannel-BiLSTMs+Attention 模型中每个特征学习模块的信道方向都是双向的且使用了多通道的BiLSTM模型，它有助于在将单个变量的数据与其他变量的数据混合之前对其进行预处理。通过多通道的方式，模型可以学习存储一些只与特定变量相关的有用信息。Multichannel-BiLSTMs+Attention模型比多通道BiLSTM模型预测效果好，是因为Multichannel-BiLSTMs+Attention 模型将基于Attention 机制的BiLSTM 模型与多通道BiLSTM 模型进行结合，Attention 机制打破了传统的编译码结构在编码和解码过程中内部依赖固定长度向量的限制。基于Attention 机制的BiLSTM 模型是通过BiLSTM 编码器保留输入序列的中间输出，然后训练一个模型有选择地学习这些输入来实现的，可以解决BiLSTM 模型输入序列较长时很难获得合理的向量表示问题，更有利于学习每一个特征，提高分类器性能。综上，本文提出的Multichannel-BiLSTMs+Attention 模型在ICU 脑血管疾病死亡风险预测中具有更良好的预测性能。并且，医学数据时序性较强、生理参数较多的研究均适用于由多通道BiLSTM模型和基于Attention 机制的BiLSTM 模型的集成模型Multichannel-BiLSTMs+Attention，该研究为医学ICU 风险预测提供了新的思路。

5 结束语

本文提出了一个ICU 脑血管疾病死亡风险预测模型Multichannel-BiLSTMs+Attention，实验数据来自MIMIC Ⅲ数据库，重点对提取的3 080 位脑血管疾病患者的16 260条记录进行分析建模，实验表明模型预测精度AUC-ROC值达到94.3%。该研究可辅助医生用于ICU病患死亡风险预测，为及时干预和防治脑血管疾病患者病情恶化提供参考。研究发现，在对医学中时序性较强、参数较多的医学数据进行分析建模时，多通道BiLSTM模型和Attention机制的结合，将有效提高模型精度。