多模态数据融合评估新生儿疼痛的研究进展

朱南希,杨柳,谌绍林,王刚,王靖茜,邓仁丽

疼痛被定义为“一种伴随着实际或潜在组织损伤的不愉快感官和情感体验”，世界卫生组织(WHO)将疼痛列为“第五大生命体征”[1-2]。每个新生儿在住院期间平均每天要经历7.5～17.3次操作性疼痛刺激[3]。反复的疼痛刺激会造成新生儿原发性和继发性痛觉过敏，引起新生儿机体内代谢紊乱，增加心血管系统负担，影响神经系统发育，导致严重的后遗症[4-5]。疼痛的准确评估是新生儿在住院期间的疼痛管理及治疗得到安全性和高效性的保障[6]。临床新生儿的疼痛程度多由护士采用疼痛评估量表进行评估，但人工评估存在间歇性、主观性及耗时长等缺点[7]。近年来，随着科技发展，借助计算机等设备和智能技术评估新生儿疼痛成为研究热点。目前的智能疼痛评估技术大多是基于单模态(指的生理或者行为指标中的某一个指标)研制，如对疼痛面部表情或哭声等的识别，但由于疼痛的复杂性及临床环境的限制，其临床适用性差。因此，结合行为及生理等指标的多模态评估技术的提出，是新生儿智能疼痛评估技术领域发展的一大飞跃。现将多模态数据融合(Muti-Modal Data Fusion)用于评估新生儿疼痛的研究进展综述如下，为护理同仁提供参考。

1 多模态数据融合的概述

多模态是目前最新的一种新生儿智能化评估方式，其数据来源于单模态。多模态数据融合指在研究过程中，采集不同模态的信息，一般由2个或2个以上模态组成，将不同模态下的数据集成到一个空间中，综合成统一的结果表达[8]。比起单模态数据它可以给予更为丰富及广泛的信息，并且受数据缺失的影响较小。在新生儿疼痛评估测量中，多模态数据融合是指将新生儿在疼痛状态下的行为指标(面部表情变化、身体活动、啼哭声音)和生理指标(生命体征、脑血流动力学)等方面信息的互相联合转化。由于新生儿语言交流的限制及疼痛发生的复杂性，将多模态数据融合应用于新生儿疼痛评估，能考虑到疼痛反应的个体差异性，并避免临床环境中的各种干扰因素导致的某一模态数据的丢失而造成的评估结果偏差，从而提高临床适用性及疼痛评估结果的准确性。近年来，多模态数据融合在临床上已被广泛应用于疾病诊断、信息化管理等方面的研究，在提高临床管理效能、促进医学进步上起了重要作用，推动了大数据时代与临床工作的有效结合[9]。

2 基于行为及生理模态的智能评估技术应用

2.1行为模态

新生儿在受到疼痛刺激时，会同时引起面部表情变化、身体活动及啼哭声音的发生。近些年，新生儿疼痛智能识别技术在基于疼痛行为表现的研究上已取得一定成就，研究大多利用面部表情或啼哭声音构建模型，已奠定了人工智能在临床新生儿疼痛识别应用前景的初步基础。

2.1.1面部表情 疼痛面部表情被定义为与疼痛刺激相关的面部肌肉运动和扭曲。与新生儿疼痛相关的面部运动包括鼻唇沟加深、皱眉挤眼、嘴巴水平或垂直拉伸、嘴唇撅起或张开、舌头突出或绷紧和下巴颤抖等[10]。卢官明等[11]利用支持向量机(Support Vector Machine, SVM)技术对210幅新生儿疼痛与非疼痛面部表情静态图像进行分类识别，发现性能最佳时，识别率可达到93.33%。经过深入研究后提出基于深度三维残差卷积神经网络(Deep Residual-3D ConvNet，DR3D)利用视频序列设计相应的表情识别系统，识别过程和结果可被更为直观地展示，其识别准确率达66.54%[12]。国外一项Meta分析通过比较机器学习测量疼痛面部表情与各类基于疼痛指标的量表评估结果准确性显示[13]，机器学习可以减少训练成本，快速、准确和持续地监测疼痛。但疼痛表情的识别容易受光照、遮挡、分辨率等的影响，会降低临床实用性。

2.1.2身体活动 新生儿在经历疼痛刺激时，往往会有摇头、伸展手臂和腿、张开手指等表现[7]。在关于身体运动指标的智能疼痛评估技术上，只有Zamzmi等[14]的研究中涉及，借鉴婴儿运动诊断疾病的相关研究，提出基于侵入性仪器或视频的方法分析身体运动以测量疼痛，结果显示基于仪器的方法在捕捉运动上更为敏感，但视频监测更容易被临床接受。身体运动可以作为疼痛评估的指标之一，但没有足够的疼痛特异性[15]。

2.1.3啼哭声音 新生儿啼哭是不适、饥饿或疼痛的常见迹象，可作为疼痛测量的辅助指标。葛晓利[16]以6个月内需择期手术的婴儿为研究对象，记录其在手术前至手术后离开苏醒室这一时间段内的啼哭数据，分析疼痛与非疼痛情况下的声学特征，构建疼痛哭声识别模型。Ricossa等[17]将疼痛评分结果纳入到新生儿哭声识别疼痛的技术开发中，提出利用谱熵分析的方法测量哭声的持续时间、发音障碍和基本频率，以识别痛苦级别。国内外学者[16-19]通过新生儿哭声分析疼痛已展开了大量研究，但哭声识别应用于临床受环境条件限制，且新生儿重症监护室大多为早产儿或镇静镇痛状态下的患儿，啼哭反应不明显，容易造成测量结果的误差。

2.1.4面部表情与啼哭声音结合 Pal等[20]描述了一种多模态情绪检测方法，基于新生儿的面部表情与啼哭声音两个行为指标来预测他们的情绪状态，从而识别疼痛的存在。使用决策级融合的方式即将每个疼痛指标当作一个分类器，多个分类器的决策结果合并为一个单一的集成决策，以此决定最终的结果。通过寻找条件概率矩阵组合面部表情和哭泣模式，并将概率矩阵中导出的信念向量最大值作为最终的融合决策，最终结果显示使用决策级融合方法预测婴儿情绪的总体准确率为75.2%。由于决策级融合的方法能够组合不同分类器标签，可综合考虑各分类器结果，建议此方法可应用于未来的研究中。

2.2生理模态

基于生理测量的疼痛分析包括从生命体征变化和脑血流动力学活动提取相关特征。

2.2.1心率变异性 心率变异性(Heart Rate Variability, HRV)是指逐次心跳周期差异的变化情况，受交感神经与副交感神经调节影响，反映机体自主神经系统的活动情况。当机体受到疼痛刺激时，会增加交感神经活动，而副交感神经活动受到抑制，导致HRV下降。心率变异性分析是一种心脏自主控制的无创测量方法[21]。Lindh等[22]在足跟采血时对输出的心脏数据进行统计和频谱分析，计算心率平均值、低频及高频功率和总心率变异性，结果显示HRV对新生儿的疼痛反应有研究价值。Faye等[23]的研究亦证实HRV在新生儿慢性疼痛评估的可行性。心率变异性容易受胎龄及药物使用的影响，其普适性还需进一步在临床展开验证。

2.2.2皮肤电传导 皮肤电传导(Skin Conduc-tance, SC)测量是基于交感神经系统对压力反应的评估疼痛的生理学方法。当疼痛刺激发生时，相关压力诱导婴儿手足区域的交感神经兴奋产生汗液，从而使用皮肤电传导监测皮肤电活动的增加和减少以监测疼痛[24]。目前利用皮肤电传导监测疼痛的相关研究结果不一致，尚需更多原始研究进一步证实，且其在气管插管或镇静镇痛的新生儿疼痛评估中还待探索[24]。

2.2.3脑血流动力学 近红外光谱技术(Near Infrared Reflectance Spectroscopy, NIRS)是一种非侵入性方法，可用于检测大脑氧合血红蛋白(HbO2)和脱氧血红蛋白(HHb)浓度的细微变化，反映大脑代谢和灌注变化，脑血流的变化反映了区域神经活动，而区域神经活动是疼痛强度的量度[25]。Slater等[26]使用NIRS来评估新生儿在足跟采血期间体感皮层的血流动力学活动，发现皮层血流动力学和疼痛行为反应之间具有相关性。但近红外光谱技术对各种可能干扰结果的因素很敏感，受环境条件影响较大，患儿的活动以及可能导致代谢性体感变化的危重疾病均会导致测量结果的偏差，对危重新生儿的疼痛检测还需进一步探讨[25]。

2.2.4大脑神经电位活动 脑电图(Electroencep-halography, EEG)可以检测大脑神经元产生的电活动变化，尤其是功能事件相关电位(Event Related Potential, ERP)，其可确定由于内部或外部刺激而引发的大脑特定电生理反应[27]。Hartley等[28]提出一种基于脑电图的新生儿痛觉性大脑活动测量方法，该大脑活动在急性伤害性刺激后被唤起，并且对痛觉调节很敏感。很多研究者已基本证实了疼痛所显示的脑电波形态，但大部分研究的疼痛刺激部位为足跟[28-30]，考虑疼痛的复杂性，疼痛刺激部位的不同可能会导致脑电波的不同变化，所以其在实际应用上仍需深入研究。

3 多模态数据融合评估新生儿疼痛的智能评估技术应用

目前研究多是利用单模态检测新生儿疼痛，由于胎龄、噪声、气管插管、药物镇静镇痛等因素，容易导致数据的缺失。为提高评估结果的准确性及避免单模态数据的丢失，应用行为及生理指标相结合的多模态数据融合评估新生儿疼痛的智能技术较具优势。Worley等[31]在2012年开发了一种非侵入性综合方法测量新生儿对周围感觉和伤害性刺激的神经生理和行为反应。在足跟采血及触摸刺激的同时，记录肌肉和中枢神经系统的活动，包括表面肌电图、脑电图和近红外光谱，通过视频记录心率、血氧饱和度、呼吸频率及相关心血管活动。该研究虽然仅仅采集了足跟采血时的疼痛数据来构建模型，但其区分了新生儿在有害与无害刺激时反应的不同，且结果具有较好的敏感性与特异性。Roué等[32]研究发现静脉穿刺时，新生儿面部编码系统(Neonatal Facial Coding System，NFCS)评分与唾液皮质醇、皮肤电传导和NIRS呈轻至中度相关。Zamzmi的研究团队分别分析面部表情、身体活动、啼哭声音和生命体征各指标单独或结合评估疼痛时的精确性，研究显示行为和生理指标相结合的评估结果精确性可达95%，高于任何单一指标的评估结果[14,33-35]。后续提出研究框架使用卷积神经网络(Convolutional Neural Network, CNN)集成疼痛行为及生理指标且利用递归神经网络整合时间信息更具效率及优越性[35]。2021年，该团队用相机记录已采集了第一个多模态新生儿疼痛数据集，包含了经历操作性刺激和术后状态下新生儿的行为及生理反应，其真实标签由临床护士使用疼痛评分量表所提供，且对疼痛程度进行分级[34]。目前多模态数据融合评估新生儿疼痛技术在区分新生儿不同疼痛类型上尚待进一步探索，若能够以疼痛作为人体健康信号出发，通过识别疼痛发生从而预警病情，将能为新生儿临床诊疗带来重大价值，未来该技术在临床的应用前景值得期待。

4 总结与展望

新生儿疼痛评估需综合考虑行为与生理反应等多方面因素。随着人工智能的发展，多模态数据融合评估新生儿疼痛可能是未来临床新生儿疼痛测量工具发展的一大趋势，有望在减少人力资源消耗的同时也可以提高评估结果的可靠性，更好地提高临床疼痛管理效能。

当前的新生儿智能疼痛评估技术几乎是为急性疼痛或术后疼痛而设计，新生儿慢性疼痛很难评估[36]，而潜在的慢性疼痛识别对医疗诊断工作有巨大的辅助价值，可及时提示病情变化，帮助提高预见性。未来的多模态智能疼痛识别技术在成熟的基础上应丰富不同疼痛类型识别的算法，抓住新生儿疼痛的共性反应，并在新生儿的疾病发生中检验疼痛对病情进展的预警价值。尤其是针对新生儿重症监护室内因中枢神经系统发育不成熟或病情等因素而对疼痛无法充分作出反应的新生儿，多模态数据融合的智能疼痛识别技术能够从多维度全面捕捉他们的疼痛信息，从而预知病情可能处于不良进展阶段，尽早展开诊疗，因此具有重大的临床价值。当前国内的新生儿疼痛智能识别技术为计算机专业团队研发，建议临床护理人员与大数据等计算机研究人员合作，学科交叉，资源互补，以临床角度出发，增强该技术的临床实用性，聚焦于改善新生儿疼痛评估难点，解决临床问题，提升新生儿疼痛管理的临床意义。