救援机器人的非接触式人体体征视觉测量方法研究

黄如强，苏卫华*，张世月

（1.军事科学院国防科技创新研究院，北京 100071；2.天津（滨海）人工智能创新中心，天津 300457）

0 引言

随着机器人、人工智能技术的迅猛发展，执行现场勘察、生命搜寻定位的救援机器人Packbot、ATRV、BEAR等相继问世[1]，对于此类救援机器人而言，快速准确的伤员生理参数感知能力成为其智能化的关键特征之一[2]。而传统的人工检测、穿戴式等生理参数测量手段很难适应未来机器人自主搜救需求。研究开发具备前端自主能力，可以及时获取伤员基本生命体征的技术方法，继而实现伤员（幸存者）的主动识别，对于提升救援机器人的无人智能化程度至关重要。相比应用于无人平台的激光多普勒[3]、微波雷达[4]、超宽谱雷达[5]、红外成像[6]等常见方法，基于视觉的远程光电容积脉搏波描记法（remote photoplethysmography，RPPG）具有成本低、易操作等优势，能够实现心率（heart rate，HR）、呼吸率（respirationrate，RR）的非接触式测量[7]。在 Stricker等[8]、Hasegawa等[9]的研究中，将RPPG技术应用于无人平台来测量用户对象的生理参数，取得了良好效果。本文以RPPG技术为基础，结合救援机器人的任务特点，优化关键技术环节，从而提升非接触式心率、呼吸率的测量准确度和鲁棒性。

1 测量原理与算法设计

1.1 测量原理

心脏搏动使人体血液循环中的血液容积与脉搏呈一致性的周期变化，而外部光照强度稳定时，排除皮肤、肌肉、组织等对光强吸收恒定的因素，心脏在收缩和舒张的一个搏动周期下，反射光强也随着外周血容量的吸收变化而产生周期性变化，RPPG技术实质便是利用此生物光学原理，从人脸视频图像中获取血液容积脉搏波（blood volume pulse，BVP）信号，进而分离出心率、呼吸率等生理参数。然而实际应用中，无人平台的移动以及在受试者非完全配合或非自主运动的情况下（如眨眼睛、抿嘴唇、说话等），不利于脸部信号感兴趣区（region of interest，ROI）的分割，对此本研究使用KLT（Kanede-Lucas-Tomasi）跟踪算法[10]对人脸部位进行实时跟踪，提升脸部在运动过程中的人脸ROI的提取分离效率，增强脉搏波信号使用价值。因为生理信号较弱且人脸部位血管分布不同，且脸部不同区域中有效的脉搏波信号价值也有差异[11]，所以本文采用最大比合并（maximum ratio combining，MRC）算法[12]分集合并不同像素区域的脉搏波信号，获取更具鲁棒性的脉搏波（photoplethysmography，PPG）信号用于心率、呼吸率的提取。最后根据对PPG信号应用空间变换、带通滤波和峰值提取等方法提取心率、呼吸率。本文的方法流程如图1所示，主要分预处理、信号提取和后处理3个步骤。

图1 本文的方法流程

1.2 ROI检测与跟踪算法

KLT算法是由Kanade与Lucas提出的一种角特征点跟踪算法[10]。该算法依据二阶导数梯度局部搜索思想，对视频图像的相邻两帧进行特征匹配。以当前图像帧中的特征点作为跟踪点并进行光流估计，计算出跟踪点在下帧图像所对应的位置，进而计算出两帧图像间的位置变化量。KLT算法在亮度恒定、时间连续、空间一致等应用场景下具有跟踪效率高、定位速度快的优势。亮度恒定是指被跟踪部分像素不随时间变化，外部光照稳定；时间连续是指相邻帧间具有时间关联性，特征点运动较小，且变化幅度不大；空间一致是指在局部区域的像素运动是一致的，可以建立邻近方程来求解中心点像素的运动。综上，基于人脸信息的非接触式心率检测方法采用KLT算法在理论上具有很强的适用性。KLT算法在脸部的转动摇摆、远近移动、部分遮挡情况下具有较好的跟踪效果，有助于精准分割人脸部区域，提高生理信号提取质量。面部跟踪效果如图2所示。

图2 KLT面部跟踪效果

1.3MRC算法

MRC是分集合并技术中的最优选择，相对于选择合并和等增益合并，其可以获取更好的性能，带来更高的信噪比[12]。其核心思想是对每个信道即像素区域的脉搏波信号进行加权处理，增大信噪比，从而得到最优估计值。

摄像头录制的每一帧包含人脸的视频图像都记录了环境光照经人脸部反射回的强度变化信息，并映射于图像二维像素空间之中。假设视频信号强度为V（x，y，t），则每帧图像序列的信号强度为V（x，y，t）（t=1，2，3，…，n，为单位时间）。而环境光线照射面部产生的光强变化可分解为2个部分:（1）入射光强I（x，y，t），即环境光照或人为光源产生的光线强度；（2）面部反射光强R（x，y，t），即光照经过面部产生的反射光强，包含了透射皮肤经血液吸收后的散射光强与未透射皮肤的表面反射光强，故可将各信号组成关系表示为

皮肤不同区域因血液流经时间不同而显示变化延时[12]，由此我们将定位分割后的面部ROI按像素单位划分为足够小的区域并记为集合Q，集合Q中的元素区域局部相关且血液灌注量一致，将各区域记作i（i∈{1，2，…，n}）。设yi（t）为Qi在时间T的像素空间平均信号强度，则可由公式（1）建立以下模型:

其中，Ii为入射光强；αi·p（t）为面部散射光强；bi为表面反射光强；qi（t）为量化的噪声；αi为生理性能系数，由皮肤色度、血液容积、血氧饱和度等因素决定。对于人脸视频中信号强度V（x，y，t），计算集合Q中像素空间平均信号强度yi（t），但是yi（t）包含不同强度的脉搏波信号p（t）与表面反射光强（Ii·bi），之后采用0.5～5 Hz的带通滤波器进行时域滤波，以排除超过范围的表面反射光强（Ii·bi）与其他信号噪声，从而得到更加逼近真实脉搏波信号的进一步将公式（2）模型转化为

其中，i∈{1，2，…，n}，表示对应 ROI的集合 Q 编号；Ai为系数，由生理性能系数αi及入射光强Ii所决定；wi（t）表示噪声成分，如相机量化噪声、运动伪差等。这里包含不同信道接收到的不同强度的p（t），以及不同级别的噪声（Ai、wi（t）均为未知），所以无法获取准确的脉搏波信号p（t）。本研究利用MRC算法将这些不同的信道区域进行加权平均运算得到脉搏波估计值

根据MRC算法原则[11]，为了得到最大总体测量信噪比，每个信道的权重Gi应与该信道信号分量的均方根值成正比，与该信道分量的均方差成反比。则

脉搏波主要由心脏搏动产生，故p（t）的振荡频率基本等同于心率，因此p（t）的频谱集中在心率范围之内，此外噪声的光谱能量wi（t）分布范围为0.5～5 Hz。基于信号的频谱结构，还可以将Gi定义为脉搏范围内的能量与带宽之内的噪声之比。设为在 0～T范围内的功率谱密度，则最佳权值Gi为

其中，[HR-b，HR+b]表示心率的波动范围，[B1，B2]为带通滤波器的通带范围。由此可以通过计算光谱中的峰值频率来确定Gi的最佳取值。因为大部分较大振幅是来自光照变化或运动伪差，所以利用阈值ATH来排除区域中过大的振幅（ATH通常取值为8），最终脉搏波估计值在T时间窗口内显示为

1.4 心率和呼吸率的测量

采用以上方法提取PPG信号pˆi（t）后，进行心率、呼吸率的计算，如图3所示。

图3 PPG信号分离出心率、呼吸率的流程

对PPG信号进行滤波（心率的频率为0.7～4 Hz，呼吸率的频率为0.1～0.7 Hz），然后利用快速傅里叶变换（fast Fourier transform，FFT）计算滤波后频谱。FFT是离散FFT的快速算法，其主体思想在于任何连续时序或信号都可以表示不同频率的正弦波信号的无限叠加。得到心率、呼吸率的频域后，提取峰值计算出各自频率。

2 设计与实现

本实验选用uBot-EOD A10的小型地面无人机器人作为实验载体，其具有尺寸小、质量轻等特点，可单兵背负，主要用于灾难现场探测及搜救、危险爆炸物处理和消防安检等领域，拥有6个独立自由度的机械臂，最大臂展1.45 m，能够为伤员搜寻和体征测量提供较好的硬件支撑。实验采用网络摄像头，分辨力为1 280×720，帧率为30帧/s。本文实验将录制的人脸视频在个人计算机平台上进行算法处理，其CPU主频为3.2 GHz，基于MATLAB进行程序设计与信号处理、数据分析等工作。采用Equivital公司型号为EQ02+Life Monitor的医用生理监测背心作为对照设备，该款医用背心获得美国食品药品监督管理局（Food and Drug Administration，FDA）和 CE认证，精度符合医疗器械使用标准，可采集双导联256 Hz的心电图信号和25.6 Hz的呼吸信号，能够消除传统指夹式血氧计和电极贴片式心电监护仪对受试者产生的心理负担，改善实验效果。

本实验在室内环境和自然光照下进行，并假设光照强度和角度在实验期间不发生明显变化。由于真实搜救场景下的伤员姿态复杂多样，为了模拟伤员可能位姿，便于实验比较，机器人的机械臂末端搭载的摄像头采集健康成年志愿者的2种躺姿的正侧脸，分别有侧躺正位、侧躺侧位、仰躺侧位、仰躺正位4个采集画面。实验过程中受试者自然均匀呼吸，全程避免面部不自主动作，穿戴生理背心，面部距离镜头1 m，每个画面录制不少于2 min的视频。以10 s的窗口时间，计算均化后的生理参数作为测量值，医用背心采集的同步生理参数同样设置为10 s内均值作为对照值。实验示意和采集画面如图4所示。

3 结果与分析

本实验以2种躺姿的正、侧位人脸共4个场景开展算法的鲁棒性和准确性验证评估，对各实验场景下测量到的心率、呼吸率实验结果进行统计学分析，评价其综合性能。根据健康成人心率、呼吸率范围设定阈值:心率 60～140次/min，呼吸率 10～40次/min。将实验得到心率、呼吸率数据作为预测值，以对照设备采集的生理信号作为对照值，对仰姿-正面、仰姿-侧面、侧姿-正面、侧姿-侧面和总体数据分别进行统计学分析，计算绝对平均误差（mean absolute error，MAE）、均方根误差（root mean squared error，RMSE）和皮尔逊相关系数r，结果见表1。同时，采用Bland-Altman一致性分析和相关性检验来验证本方法与对照设备测量结果之间的一致性，如图5、6所示。

图4 不同位姿的实验场景示意与机器人视角

表1 不同位姿实验下心率和呼吸率统计学指标对比

由实验数据的统计结果可知，本文方法的总体心率测量值MAE为1.19次/min，RMSE为1.58次/min，相关性系数r=0.972；总体呼吸率测量值MAE为1.63次/min，RMSE为1.92次/min，相关性系数r=0.848，说明本方法与对照设备测量结果具有较好的一致性和准确度。由实验结果也可看出，受到光照影响，仰姿下的生理参数测量要比在侧姿下得到的数据准确度更高，同时，脸部阴影和尺度及肤色等因素也不可忽略，因此对于伤员侧姿场景的体征测量，可以适当采用外界补光的方式来提高测量效果。

4 结论与展望

本文以救援机器人为目标载体平台，结合真实搜救行动特点，开展了非接触式体征测量方法研究。综合运用KLT跟踪算法、MRC算法、FFT等方法提升心率、呼吸率的测量准确度，以地面移动机器人作为载体平台开展模拟伤员体征测量实验测试。实验数据的统计学结果表明，本研究方法能有效实现远程获取人体体征，与医用生理背心同步采集的数据相比具有很好的一致性，且准确度较高，对于提高无人平台的远程生理参数获取能力取得初步成效，为构建伤员模拟实验提供了思路，为进一步提升救援机器人执行伤员救援任务时的实战性能打下了基础。由于真实救援环境的高度复杂性，下一步还需在更多伤员可能位姿、变化光照条件、复杂环境背景等实验条件下进行模拟实验，针对实验中暴露的技术难点进行研究突破，以期进一步提高非接触式生理参数测量的鲁棒性和实用性。此外，真实伤员的生理体征与健康人体之间的生理性差异尚待研究，目前大部分研究都是以健康人体作为研究对象来测量生理参数，对于RPPG技术测量伤员或重症患者有待实际应用的检验。

图5 仰姿下心率、呼吸率实验结果一致性、相关性分析

图6 侧姿下心率、呼吸率实验结果一致性、相关性分析

未来可从以下几个方面提升综合性能:（1）融合特殊硬件设备，如热红外传感器、3D相机，将有助于增强RPPG技术在弱照明条件甚至黑暗条件下的应用性能；（2）结合人工智能算法，如基于视觉的人体检测来提高搜救能力，配合人脸识别技术以实现伤员身份的识别，采用卷积神经网络对复合生理参数信息进行健康水平评估等；（3）协同工作，促进多传感器之间、多机器人平台之间的协同配合，以期实现多目标、高精度、全方位的非接触式人体体征测量与评估。