基于多模感知数据的驾驶员房颤检测方法及系统研究*

覃忠浩，周少锐，陈 健，黄欣龙，彭显为，何文秀，王 伟

(1.中山大学智能工程学院，广东 深圳 518107；2.深圳北理莫斯科大学工程系，广东深圳 518172；3.浙江大学国际教育学院，浙江 杭州 310058；4.香港科技大学工学院土木及环境工程系，香港 999077；5.浙江工业大学之江学院，浙江杭州 310014)

随着5G 通信、大数据分析等技术的发展，万物互联正在成为现实。而通过车车交互、车路通信、车与行人交互等所构建的人车路协同系统是物联网在交通领域的一个典型应用。但是在目前的协同系统中，对驾驶员的关注明显偏少。而作为交通中的主要因素，驾驶员的行为对所有交通参与者都可能造成极大的影响。同时，驾驶员突发心血管疾病已经成为了交通安全的重要威胁。心血管疾病是世界范围内死亡的主要原因之一[1]，其中心房颤动是最常见的心律失常。房颤(AF)的患病率正在增加，估计占人口的1%，65 岁以上人群的5%[2]。

虽然房颤本身并不代表一种致命的疾病，但由于房颤相关并发症，它与高发病率和死亡率相关[3]。在交通过程中，驾驶员若在行驶时突发房颤，不仅危及自身生命安全，而且还将对车上的乘客造成伤害，近年来由于突发心血管疾病引发的交通事故屡见不鲜。

近些年来对于汽车驾驶员的状态监测研究大致可以分为两类，一种是基于摄像机和图像处理及图像识别技术，另一种是基于生理传感器和信号处理及模式识别技术，当然两者也可以结合使用。大多数早期研究都使用商业设备或系统来监测心电图，而缺点是这些设备或系统很少永久安装在汽车上。在汽车结构中使用ECG 电极可以追溯到2007 年。此后，心电检测电极经常出现在汽车方向盘、汽车座椅等结构中[4]。Gao 等[5]使用摄像头获取面部信息，并将数据输入监督学习进行情绪检测。在生物信号方面，Choi 等[6]采用原理动态模型预测了两种自主神经分支(交感神经和副交感神经)对情绪应激的激活水平。文献[7]讨论了一种用于监控驾驶员面部特征的视觉系统。首先，在输入的视频序列中定位驾驶员的面部。随后的图像被跟踪。在人脸跟踪过程中，连续检测眼睛、嘴巴和头部的面部特征；特征检测和跟踪并行进行，提高了精度。张广元等[8]提出了一种基于Hu 不变矩支持向量机(SVM)的实时眼部检测方法。文献[9]提出了一种用于驾驶员警觉性实时监控的计算机视觉系统原型，其关键部件包括远程视频CCD 摄像机、专门用于实时图像采集的硬件系统、照明灯控制等。文献[10]提出了一种新的驾驶员疲劳检测方法，该红外图像采集系统采用AdaBoost 和核相关滤波相结合的方法采集驾驶员的面部图像，随后对面部进行检测和跟踪。

对于心率采集方向盘系统近些年来的研究，Abu-Faraj 等[11]设计了一种心脏病检测方向盘，包括单导联心电检测器、温度传感器、皮肤阻抗传感器，并利用Arduino 大型2560 单片机承载基于Crisp Logic 的算法分析各种传感器的数据流，且该系统能够连接至蜂窝网络，通过储药仓提供心脏病药物供给以及呼救等功能。Babusiak 等[12]利用3D 打印设计了一个集成有心率、血氧检测功能和惯性单元的方向盘，并在实际驾驶环境下对其采集到的数据进行了商业设备对比验证，确认了数据的正确性和准确性。Cassani 等[13]在驾驶模拟器的方向盘上放置了8 个电极。Babusiak 等[14]开发了一种带有两个集成ECG 电极的新型方向盘设计，该设计需要更换方向盘。文献[15]提出了一种新的无线系统来执行快速短期ECG 采集和心率监测，旨在非技术用户易于使用。该系统使用放置在塑料方向盘上的干电极，因此只需将手放在方向盘上，就可以在监控模式下获取Lead I 心电图信号。

在近些年有关单导联房颤检测算法研究现状，文献[16]提出了一种结合数据增强方法的双通道卷积神经网络从单导联短心电记录中检测心房颤动。在文献[17]的研究中，作者探讨了两种潜在的训练策略来解决AF 检测中的过拟合问题。Weimann 等[18]利用迁移学习解决了训练CNN 进行心电分类时需要大量标记样本的问题。此外，近年来也提出了将卷积神经网络(CNN)与循环神经网络(RNN)相结合的深度学习模型[19-20]。Andersen等[21]以RR 区间为输入，开发了CNN 和LSTM(长短期记忆)相结合的深度学习分类模型。

综合上述的研究，未有完整的研究包含了ECG检测方向盘以及特异性指标的检测算法全流程的系统实现。所以本文希望建立一个用于房颤检测的方向盘，并基于实际驾驶数据以及深度互学习结合滤波群算法的神经网络模型，完成一个数据流产生、传输、存储、运用的系统。从而实现在交通环境下，对驾驶员的全程生理信号进行监控，并利用相关监测数据进行紧急情况检测、疾病管理和健康状况反馈。同时对驾驶员的心率进行实时监测，对房颤进行识别预警，因此有效降低因司机突发心血管疾病造成交通事故的风险。

论文第一部分介绍了本系统的设计原理与工作流程，第二部分阐述了系统中使用的神经网络算法，第三部分给出了实验结果与分析，最后第四部分进行了总结并指出为了未来深入研究的方向。

1 系统设计

本节对房颤智能检测方向盘系统的设计原理和工作流程，以及相关硬件进行介绍。

1.1 设计思路

本文设计了一种基于深度互学习结合滤波群算法的智能方向盘及其配套云系统。该装置属于智能辅助驾驶设备，方案的完整设计流程如图1 所示:该装置通过安装在方向盘上的传感器，能够在驾驶环境下实时收集驾驶员的心率数据，通过通信模块将数据上传至云平台，时频图以及庞加莱图的生成均在云平台上完成，之后再利用房颤识别算法进行实时的分类，从而进行房颤异常检测，一旦检测到房颤则可以进行报警，提供医疗介入或辅助制动。

图1 系统整体设计流程

1.2 装置组成

本文设计的智能房颤检测方向盘，包括:

①方向盘主体:家用轿车通用方向盘，安装传感器模块、主控模块等；

②心电传感器:Pulsesensor 传感器，用以心率数据采集；采集原理:光电容器法，即利用人体组织在血管搏动时造成透光率不同来进行脉搏测量。工作原理如图2 所示；

图2 Pulsesensor 传感器工作原理

③处理器:ESP32 模块，作为主控模块，连接传感器模块与数据传输模块；

④通信模块:1ML302 4G 模块，传输心率数据至云平台；2WIFI 无线连接；

⑤云平台:阿里云服务器；

⑥数据库:MySQL 数据库；

⑦房颤检测程序:基于深度互学习和判别滤波群算法的Resnet 神经网络；

⑧报警模块:目前为警告消息弹窗，可选择性扩充120 呼救、应急联系人呼叫。

部分装置如图3 所示。

图3 部分硬件装置

1.3 硬件集成与工作流程

以下将说明该方向盘及云平台系统的详细结构和工作流程:

本项目的房颤检测方向盘系统，包括1-方向盘主体、2-心电传感器、3-处理器、4-通信模块、5-个人服务器、6-云端数据库、7-房颤检测软件、8-报警模块。

驾驶员在车辆行驶过程中，通过握紧1-方向盘主体，使得手掌与2-心电传感器紧密结合。此时2-心电传感器通过手掌进行心率数据的采集，通过数据线传输至3-处理器。处理器进行初步数据处理获得格式化心电图数据流，利用短距离蓝牙传输发送至4-通信模块。4-通信模块具有极强的网络通信能力，能够将心电图数据流传输至5-个人服务器中。5-个人服务器中包括6-云端数据库、7-房颤检测程序，6-云端数据库提供心电图的存储与下载，7-房颤检测程序可以通过智能房颤检测算法对驾驶员心电图数据进行处理，检测是否发生房颤。当7-房颤检测程序检测到房颤发生，反馈报警信息至车辆上的8-报警模块发出警报，警示驾驶员及乘客，使其采取相应措施、安全停车，同时可以协助拨打120，将车辆实时位置通过车联网发布，为驾驶员提供医疗帮助。数据传输流程如图4 所示。

图4 数据传输流程图

该框架各组成部分在实物方向盘上的位置如图5所示。

图5 各硬件装置在方向盘上的位置

为了确保心率传感器采集数据的准确性，将传感器采集到的数据与心率带采集到的数据进行相似程度的分析，结果如图6 所示。

图6 传感器和心率带采集到的心电图

通过式(1)计算数据相似度，计算结果约等于90%，可以得出，心率传感器采集到的数据是十分准确的。

式中:xi表示心率带采集到的对比数据点，yi表示为传感器采集到的实验数据点。

本方向盘系统可以实现离线模式和在线模式，LTE 模块是否使用依据车辆所处的网络环境进行判断。在线的模式下，获取的数据从系统中的LTE 模块通过蜂窝网络传输到云端服务器，之后的所有操作均在云端服务器完成；而离线的模式下，得到的数据通过数据线传输到车载PC 端，在PC 端中进行数据预处理、房颤检测算法的运行等等工作，整体流程如图7 所示。

图7 工作原理流程

2 算法介绍

本节主要阐述系统中使用到的基于深度互学习和判别滤波群算法的Resnet 神经网络以及之前的数据除噪和预处理等过程。

2.1 创新算法

本文使用的房颤检测算法共有两个阶段，即数据预处理阶段和数据分类阶段。

2.1.1 数据预处理

通过本文的方向盘系统获取到驾驶员的心电信号数据后，第一步要对数据进行预处理:

①在得到驾驶员心电图信号的相关数据后，先是通过心电信号的基线Baseline 和增益Gain 对数据进行归一化，目的是将信号的振幅控制在[-1，1]区间内，归一化公式如(2)所示:

式中:Baseline 和Gain 分别为心电信号的基线和增益，InputSignal为输入信号的数据，OutSignal为输出信号数据。

归一化前后的对比图见图8，可以看到归一化后信号的振幅全部集中在[-1，1]。

图8 归一化前后的心电图

②使用截止频率为35 Hz 的6 阶巴特沃斯低通滤波器对信号进行滤波，除去心电信号中夹杂的高频噪声，使得心电信号数据更加平滑。巴特沃斯低通滤波器的公式如式(3)所示:

式中:n为滤波器的阶数，ωc为截止频率，ωp为通频带边缘频率。

③对信号数据质量进行评估。由于心电信号的周期性较强，各心动周期之间相应波形的差异较小，所以可以将QRS 波群近似认为单独的固定模板。对于固定模板的信号，按幅值归一化的幅频分量值可以表示该模板在这一频率范围内的能量集中情况。心电信号中各模板在特定频率上的能量分布是不同的，幅频分量又不含信号的相位信息，所以可通过信号幅频值与特定幅频值比较的方法来检测QRS 模板。通过把心电信号周期与QRS 波群进行比对得到模板，之后通过计算得出模板与每个信号周期间的相关联系数，计算出其平均值作为信号质量指数(SQI)[22]。如果SQI 小于设定阈值0.6，则使用1 阶的巴特沃斯低通滤波器继续对信号进行除噪，一直循环至所有信号的SQI 都大于阈值0.6 结束。

④对于降噪后的信号，采用MATLAB 自带的WFDB 工具箱中的GQRS 算法进行R 峰检测:在经过先前的基线漂移消除以及低通滤波的操作后，就到了高通滤波步骤，即将低通滤波后的ECG 信号通过一个高通滤波器，以消除低频干扰信号。然后是导数滤波步骤，即对高通滤波后的ECG 信号进行差分滤波，接着是方框滤波步骤，即对导数滤波后的ECG 信号进行方框滤波，以增强QRS 波群的幅值，最后是峰值检测步骤，即通过动态阈值来检测QRS波群的峰值，即R 峰值。该算法输出ECG 信号序列中所有代表R 峰的数据点的序号。其中方框滤波与差分滤波的公式如式(4)、式(5)所示:

式(4)中，当normalize ＝true 时，α＝1/width×height；当normalize ＝false 时，α＝1。

式(5)为差分滤波矩阵，即使用两元素之间的差值进行中心点赋值，符号代表相减，得到差值。

⑤完成上述数据处理过程后，采用短时傅里叶变换方法对信号进行时频转换，输出信号的时间-频率关系图。短时傅里叶变换是时频分析的经典方法，也是处理心脏异常动态的有效方法，它是通过在傅里叶变换的基础之上添加信号窗口，把时间尺度的信息和傅里叶变换结合在一起。公式如(6)所示:

式中:w(τ-t)为分析窗函数，x(τ)为输入信号。STFT(t，w)是时间t和频率w的二维函数，它将信号的时域和频域联系起来，我们可以据此对信号进行时频分析。

⑥另一方面，根据④中所获得的R 峰位置求解出相邻R 峰的间隔RR，以RR(i)为x轴，RR(i+1)为y轴(i＝1，2，…，n-1，n为RR 间隔的个数)绘制散点图，所获得的图像就是ECG 信号的庞加莱图。庞加莱图是一种分析显示周期性或准周期性行为的动态系统分析技术，其依赖于对正在研究的系统活动的事件进行同步、离散时间观察。dn1 和dn2 分别表示从第n点(RR(n)，RR(n+1))到长轴和短轴的距离。如式(7)所示:

一维ECG 信号经过上述5，6 步骤后所得到的时频图以及庞加莱图见图9。

图9 时频图和庞加莱图

2.1.2 数据分类

预处理结束之后，是数据分类阶段:

将预处理输出的时频图和庞加莱图作为输入，采用基于深度互学习结合滤波群算法的神经网络进行信号分类，判断该信号属于NSR(正常窦律)、AF(房颤)、O(其他心电信号)和I(噪声)中的哪一类。具体的网络和特点细节如图10 所示。

图10 基于深度互学习和判别滤波群算法的神经网络示意图

①网络有两个通道，通道1 以时频图作为网络的输入，通道2 以庞加莱图作为输入。

②每一个通道的基础框架是经典CNN 网络Resnet18。

③每一个通道使用非对称多流结构，一共有三个分支:以logit1 为输出的分支1 保留了神经网络的整个结构。这样做的目的是关注全局信息；以logit2 为输出的分支2 将发挥其作为网络判别补丁流的作用，通过检查鉴别补丁检测器的响应来进行预测；以logit3 作为输出的分支3 作为分支2 的一部分，接在GMP 层后面，通过引入跨通道池化层，直接对1×1 滤波器施加监督。目的是为了使框架能够学习特定类别的判别patch 检测器。

④为了共享权重和减少参数数量，网络使用位置信息，并将所有FC 层替换为1×1 conv。

⑤为了两个通道之间的信息能够相互利用，引入了深度互学习策略，使用Kullback Leibler(KL)散度来量化两个网络预测值之间的匹配。通过将KL模仿损失和监督损失LC 相加，使得每个网络不仅从训练实例的真实标签中学习正确的知识，还可以参考其同行的概率估计。

3 装置实验

为了检验该装置的实用性，我们进行了模拟驾驶环境下的实验。

3.1 实验环境与搭建

Euro Truck Simulator 2(欧洲卡车2)、基于本文介绍装置所搭建的智能方向盘总成、心率检测仪(用来验证方向盘采集的心电图(ECG)数据准确率)，实验人员为一名驾龄2 年驾驶员。其中《欧洲卡车2》是一款交通工具场景仿真游戏，由SCS Software 公司开发，配合游戏方向盘具有仿真度极高的驾驶操作体验。

首先将本研究提出的方向盘系统连接至预先下载好《Euro Truck Simulator 2》的笔记本电脑，然后由驾龄2 年的驾驶员进行驾驶操作，便成功搭建起了模拟驾驶场景，如图11 所示。

图11 模拟驾驶图(测试环境下)

3.2 实验结果与分析

我们在同一环境下，采集了8 组数据进行实验，得到方向盘性能指标如表1 所示。其中，ECG准确率为同时使用心率带测量得到的对比数据和实验结果计算得到的数据相似度；算法预测准确率为程序对噪音、正常心率、房颤、其他心率四种分类的识别准确度。

表1 实验结果

在8 次的实验中，网络延迟最高为75 ms，最低为65 ms，平均延迟为70.375 ms，由上述结果可以看出，本装置在正常网络环境下有着良好的响应时间；对于ECG 准确率方面，8 次实验中的最高ECG 准确率为90%，最低为86%，平均值为87.875%，说明本实验装置获取的数据与心率带测量得到的对比数据误差很小，精确度很高；运算时间在进行的8 次实验之中，最长为0.51 s，最短为0.45 s，平均运算时间为0.497 5 s，体现了本实验装置的高运算效率和计算能力；最后在算法分类识别准确率方面，8 次实验中最高为95.0%，最低为91.6%，平均值为92.85%，说明识别效果很优秀。8 组实验数据的网络延迟、ECG 准确率、运算时间和预测准确率的方差和标准差都很小，说明8 组实验间的实验结果离散程度很小，体现出本实验装置有着优秀的实验稳定性。

4 总结与展望

4.1 总结

本文设计了一个可以进行实时心电数据采集，并智能检测房颤的方向盘系统，该系统弥补了可穿戴设备、专业医疗设备在驾驶场景上的不足，这一系统的工作流程可以作为其他驾驶辅助的参照以及基础。同时，该装备具有良好的工控属性、兼容性以及可移植性，成本低廉，效果明显。方向盘设备均使用工控机，在恶劣信号条件、复杂环境条件下均能良好运行，保证了该系统的工作稳定性和鲁棒性。

4.2 应用前景与展望

该装置未来可结合机器视觉方式进行交叉验证，提升房颤检测准确率与实时性。同时，在该智能方向盘及云平台系统的基础上，可以添加多种不同的传感器和检测算法，可以实现多功能的全方位驾驶员状态感知，疲劳检测、情绪识别都可以基于该平台实现，具有极强的模块化能力和拓展性。

该装置可以融合正在迅速发展的车联网系统，做到以通讯模块警示周围车辆并求助；同时利用车联网向周围车辆及交通信号设施发出求助信息，或者联系医院、驾驶员家属和交警中心，共享该车辆当前位置信息，对驾驶员进行紧急救助。

该装置可以优先部署在校车、公交车等重要交通工具上，避免因驾驶员突发心血管疾病所导致的重大交通事故，保护司机、乘客以及其他交通参与者的生命安全。

随着对交通安全的重视，驾驶员安全也必将成为关注点，该装置未来将在驾驶员安全方面具有良好的市场前景。