基于多模态数据融合的飞行员生理心理训练管理系统构建

李永刚，战春霞，姜国瑞

（海军航空大学，山东 烟台 264001）

身心之间的关系既可以形成身与心的相互促进，也能够相互消耗[1]。各飞行管理单位越来越重视飞行员在不同阶段的生理心理测量信息和飞行训练中飞行员的生理心理特点，并取得一些成效，但是目前尚未建立全面的生理心理管理系统。目前，部分训练单位对飞行人员训练数据的分析、比对工作均依靠人工记账式操作或半人工半设备，指标针对性弱、信息反馈周期长、调整时效性差，导致存在信息利用成效低、数据基础建设不扎实、各单位信息数据不相通和飞行职业特点不足等问题，身心能力表现数据尚无统一的多维度综合评估标准，应对措施经常造成“一人生病、众人吃药”现象，极大制约了身心训练的效能发挥。

飞行训练不仅要着眼于基础训练，更要结合当下为训练的转型和发展提供的新手段。飞行员生理心理信息管理系统作为飞行员生理心理信息数据管理中心，客观地记录了飞行员生理心理特征及成长历程，是全方位多角度认识飞行员个体的依据。本文从以提高人才的心理建设为主线，以科技推动为抓手，基于大数据分析融合技术的发展，对飞行人员生理心理训练进行模式创新试点，将训练个人与计算机智慧深度融合，构建“用数据说话、用数据决策、用数据管理、用数据创新”飞行员生理心理训练管理系统。

1 飞行员生理心理信息管理系统模块设计

飞行员生理心理数据融合管理系统功能结构如图1 所示。

图1 飞行员生理心理数据融合管理系统功能结构图

1.1 用户管理子系统

平台系统将用户划分成3 种类型，即管理单位、施训部门和飞行员。本系统将集成Spring Security，用于用户登录时的身份验证及系统资源访问控制、移动设备使用授权、某个角色在某个时间段内对某个资源进行授权等，保证系统访问及资源安全，不同类型的用户应有不同的操作权限，无关人员禁止进入系统，实现“非必要不授权”“授权后及时收权”。管理单位对信息管理平台进行操作的最高权限为可使用所有功能，查阅数据库内所有档案信息，管理飞行员并设置相应操作使用权限，为决策的制定提供依据。施训部门可以通过客户端程序实现对系统数据库中服务范围内所有飞行员生理心理信息的查阅、录入、编辑，并根据各项测量信息和训练科目成绩制定生理心理测试方案并导入平台系统。飞行员能使用系统部分查阅和部分编辑功能，并只具有对自己个人信息的操作权限，飞行员登录后的所有操作，平台自动进行痕迹记录，形成日志文件长期保存，以备查验。

1.2 训练检测子系统

飞行员生理心理检测的主要目的是能够在非常心理状态下对飞行员进行综合心理素质、生理变化特点、专业技能测试和训练。首先，是基本的体能体质训练等，例如，力量训练管理模块、速度训练管理模块、耐力训练管理模块、灵敏训练管理模块、协调训练管理模块、柔韧训练管理模块、平衡训练管理模块和体型管理模块。其次，是飞行职业能力检测，通过平台系统与生物反馈进行联接，例如，在抗载荷能力、空间定向能力、抗疲劳能力等方面进行智能评估与健康管理，并形成大数据成果输出展示，执行控制系统负责声、光、电刺激输出，完成对飞行员的心理压力形成、心率、体温和肤电等生理量的采集。另外，是对飞行员飞行后的心理状态进行实时、动态的监测与评估，并根据生理心理等多维度指标的变化，结合训练人员的心理动机、性格倾向等全方面进行分析、衡量、预警，通过平台信息的综合分析和处理，对飞行员的体质体能状况进行评估和鉴定，制定有针对性的生理心理放松、训练，并初步评估是否可以继续进行下一科目的飞行训练或任务的执行。

1.3 科目管理子系统

飞行员生理心理信息管理平台的科目管理子系统支持生理心理训练科目的新增、修改、删除、导出、关注和智能查询功能。通过对心理生理评估训练科目的梳理，建立三级科目库模型，主要包括实验室训练科目库、测评与训练科目库、个性化训练科目库。系统利用视觉效果，通过时间序列、逻辑关系等不同维度，把训练数据呈现出来，重点对核心模块训练的人员，进行训练数据的快速精准展现，使受训及指导实时理解数据评估训练，智能调整训练，从而提升飞行员训练决策能力和训练实效。智能查询技术通过图形化的界面轻松搭建专业水准的可视化应用和智能化数据挖掘分析，满足训练监控、运动伤病风险预警、训练成效分析等需求。如场景实时受训人员、场景训练时间段分析、场景训练成绩分析和实时训练成绩动态展示等内容，点击受训人员姓名可进入到受训人员科目可视化界面，对科目进行管理。

1.4 智能训练子系统

智能训练子系统是建立完整标准科学的飞行员体质体能、生理心理、健康状态和任务绩效的数据仓库，根据个人素质差异、任务能力要求、任务条件环境，利用大数据与深度学习技术进行模式识别、迭代优化各数据模型，层层追溯和挖掘，快速掌握训练情况，发现训练中的问题和偏差，促进训练计划的改善，利用准确、及时、有效的信息不断更新制定训练决策，为实现个性化训练循证方案提供数据与技术支持。通过智能数据建模技术自动生成个性化训练方案及计划，为飞行人员提供运动处方应用服务，平台可提供多种预设的训练处方供训练人员进行选择，同时训练指导人员也可根据飞行员的训练情况进行定制化调整，以保证飞行员的训练质量提升及中心平台的数据更新。

1.5 可视化大屏端子系统

可视化大屏展示从宏观层面对整个系统的数据进行分析，并通过可视化图表的方式直观地展示给用户，大屏端可视化展示主要包括整体数据融合分析可视化、数据融合分析可视化、场景实时监控分析可视化和受训人员数据融合分析可视化等模块。通过数据向下钻取功能，可逐层了解数据维度详细信息，方便用户从宏观到微观，全面掌握系统数据情况。

可视化大屏端展示内容主要包括基础数据分析、人物画像分析、群体成绩分析、评估结果分析和场景分析等模块。基础数据分析主要包括档案分析和量表分析、科目分析、课外训练方法分析、预警分析和设备分析等内容。人物画像分析主要包括个人档案分析和身体数据分析、测评计划分析、训练计划分析和个人成绩分析等内容。群体成绩分析主要包括群体内分析和群体间分析等内容。评估结果分析主要包括评估数据分析及评估模型展示等内容。场景分析主要包括场景人员分析等内容。

2 多模态数据融合处理

多模态数据融合技术是对非结构化、多源化、多种类的数据进行采集、存储、分析和交互[2]。多模态数据运算处理是对多种生理心理数据的预处理、特征提取、模式识别算法和数据运算模型等处理，并将个体的心理数据进行融合分析，基于生理指标形成各种生理心理评估报告。多模态数据运算处理子模块处理的数据汇聚了多模态数据采集设备的数据，并进行了无效/重复数据清洗、数据降噪等数据处理，形成有效的数据。

2.1 数据接收

数据接收模块主要负责接收采集设备上报的多模态生理心理数据。数据接收功能主要针对生理心理数据的不同模态提供分类接收服务，支持脉搏（PPG）、皮肤电（GSR）及运动加速度等数据上报，不同模态数据会根据特定的采样率上传到应用服务器，应用服务器会将多种生理-行为数据同步。除接收生理心理信号和行为数据外，还可以接收温度、湿度、大气压等环境变量，用于辅助生理心理信号和行为数据（例如通过降噪处理去除体动对脉搏等生理信号的影响）的分析和解读。

2.2 数据融合

本系统的多模态数据融合模块主要包含生理数据同步功能。生理数据同步功能主要负责对PPG、GSR 及运动加速度等数据进行数据时间同步，将数据采集过程中产生的不同采样率数据按照时间进行同步标定，并按照规定的结构输出格式化数据文件。整体数据融合分析是针对受训人员数据、历史数据、训练方案和训练计划等所有数据进行宏观的统计分析。整体数据融合分析又可分为战略型、分析型、操作型，为不同类型的使用人员提供个性化配置方案。如训练场景综合比较分析、训练方案进度分析、训练计划进度分析、群组训练成绩综合分析比较及心理指标维度综合分析等可视化数据整合分析图表。

2.3 数据分发

数据分发功能主要分为实时数据推送通道及数据存储通道2 部分。实时数据推送通道主要提供实时监控平台查看实时生理数据的通信能力，实时数据推送通道采用socket 常连接模式与监控平台保持数据通信；数据存储通道主要负责与服务器建立数据传输通道，数据存储通道会根据不同的数据类型，将生理心理数据有指向性地推送到各自的存储空间中，方便服务器对数据进行统一管理。

2.4 数据特征提取

数据特征提取模块结合心理学、人因工程学心理状态识别研究的相关文献和实验结论，针对不同模态的生理心理数据提取基于心理学先验知识的特征指标。一般地，提取的特征信息应是原始数据信息的充分表示量或统计量[3]。

例如，针对脉搏数据，拟提取心率、R-R 间期、低频心率变异性、高频心率变异性和高低频心率变异性的比值等时频域特征，以及脉搏幅度、一阶/二阶导数及其均值、方差等描述性统计学指标。针对皮肤电阻，除了描述性统计学指标外，还将提取皮肤电导水平和皮肤电导反应2 种成分。皮肤电导水平是跨越皮肤2 点的皮肤电导的绝对值，可称作基础皮肤电传导，一般认为其是在平静状态下生理活动的基础值，是个体基线水平下心理状态的重要参考指标。而皮肤电导反应是在皮肤电导水平中出现的一个瞬时的、较快的波动，是由刺激而引起的生理心理唤醒状态，是个体的情绪唤醒水平的重要参考依据。

3 基于系统的生理心理训练管理流程

为使数据信息能够尽可能地反映飞行员的真实情况，需要对生理心理训练流程进行规范化。训练过程主要分为训练准备、开始、执行和结束4 个阶段。

3.1 训练准备阶段

训练准备阶段基于系统设备使用情况、训练科目信息、人员的基础心理和生理信息、历史训练数据等资源数据，采用推荐系统等技术，生成个性化的训练方案，制订训练计划。训练开始阶段是训练管理员将个性化训练方案和训练计划下发给相关参训人员，参训人员可在移动端的用户训练卡片中查看详细的训练任务。训练管理员可以按照实际需求创建训练场景和我的关注，方便对参训人员进行实时监控。

3.2 训练进行阶段

训练进行阶段是参训人员按照用户训练卡片中的训练任务开始训练，可手动变更训练任务的状态，系统也支持自动收集训练设备生成的过程数据。训练管理员可大屏和PC 端实时查看训练计划进度、训练方案执行情况、参训人员的训练情况和训练过程中产生的预警信息等。在训练执行阶段，根据训练过程数据和系统自动分析的训练结果数据，包括训练成绩、评估结果、人员生理心理等数据，及时调整训练计划和方案，提升训练质量和训练效率。

3.3 训练结束阶段

训练结束阶段是训练结束后，训练管理员可进行训练成绩打分和评价，系统基于器材产生的训练数据、管理员的评价数据、训练成绩等数据自动得出综合能力评估等信息。在训练结束后，系统通过数据统计分析，可为下一步的训练方案和计划提供辅助性决策，最终实现整个训练环节的全程可跟踪、可实时调整、可监控分析的闭环管理。当受训人员在训练过程中触发异常预警时，系统可根据异常预警级别主动执行预警处置预案，通过提醒、中断训练等手段，及时响应异常情况，保障受训人员的生理、心理健康和训练的可持续性。

4 飞行员生理心理信息管理系统效用分析

4.1 建立数据采集场景化串联流程

数据采集主要是训练过程中以多模态数据融合及生理心理监测系统为主要核心内容进行场景化流程串联，实现从飞行员进入训练中心为起点到结束训练离开训练中心为终点的一次生理心理训练监测、干预、检测的完整性训练。

系统主要分为训练前检测、训练中监测、训练后检测3 个核心功能。训练前检测主要采用Android Pad 为载体，预安装认知行为测试软件，对飞行员认知行为测试的全程进行生理数据实时监测，并采用模式识别算法对其生理状态、心理压力及疲劳水平进行分析，同时与行为测试绩效数据进行融合分析。训练中监测，在训练过程中佩戴多模态生理采集手环，对完整的训练全程进行生理数据实时监测，采用模式识别算法对其生理心理水平进行分析。同时，采用生物反馈放松座椅+虚拟现实头盔和主机+电刺激干预放松设备，通过视觉、声音、生理反馈和物理干预等多种放松方式对飞行后飞行员进行放松训练。训练后检测主要以Android Pad 为载体，预安装认知行为测试软件，并在测试过程中佩戴多模态生理采集手环，对飞行训练后的人员再次进行认知行为测试，并对全程进行生理数据实时监测，采用模式识别算法对其生理心理水平进行分析，同时与行为测试绩效数据进行融合分析，评估训练后飞行员的生理心理水平恢复情况。

4.2 建立心理效能综合评估模型

系统将多模态生理与行为数据进行无效/重复数据清洗与数据降噪等处理得到有效数据，并进行特征提取，比如针对PPG 数据提取心率与R-R 间期、SDNN、LF 和HF 等时域与频域上的心率变异性特征，针对皮肤电信号提取SCL 与SCR 等皮肤导电特性特征。之后以模式识别算法与数据运算模型对特征数据进行运算，基于有监督学习的方法，对带有分类标记的训练样本进行学习，建立基于个体多种生理、行为指标的个性化心理状态识别模型。

在数据特征及识别模型结果2 个层面上，对系统评估的状态及结果进行展示。在特征层上，对实时采集的PPG 原始生理数据提取反映受试者心理状态变化的关键特征，并进行动态实时展示，直接看到受试者的生理信号波动。在识别模型结果层，对心理效能评估的模型计算结果以图表和数值的方式进行实时监测，将心理压力与情绪变化等复杂的心理状态直观地展现出来，以及时发现高应激、情绪剧烈波动等异常心理状态。

4.3 建立生理心理标准化的档案

飞行员生理心理信息的采集量化是通过测量、计算和分析，以求达到对飞行员生理心理“本质”特点的把握。根据心理压力产生的生理学机制，表明人的压力感知、发生及平复的过程都是在神经系统的调控下完成的。统计分析表明，人体在压力状态下，其生理信号的相关特征值均比放松状态下有不同程度的提高[4]。心理状态评估之前，首先对生理信号（心电、脉搏、皮电、呼吸和血氧等）进行采集和预处理，进行生理信号特征提取，利用统计学方法进行特征统计与分析。该心理状态评估方法基于SVM 和DS 证据理论，对心电、脉搏、皮电3 种信号的特征值进行分类，对比放松和压力状态下的数据与正确率，实现基于生理信号的心理状态评估，并形成数字化档案。

在训练过程中，佩戴便携穿戴式手环作为数据采集终端，在不影响个体身体活动自由度的前提下，实现高精度的脉搏（PPG）、皮肤电（GSR）、运动加速度等生理和行为数据的同步采集，对采集到的数据清洗后进行存储，结合参训者的心理准备能力、心理承受能力、心理适应能力、心理应激能力、心理调节和恢复能力全方面的科学评估，训练结束实时生成心理评估报告，以数据报表的形式记录、查询、存储心理测评结果，建立参训者生理心理标准化的档案信息。

5 结束语

随着飞行器制造技术的不断成熟，人的因素成为影响飞行安全的最主要因素[5]。在这样的背景下加强飞行员生理心理训练模式创新，应促进训练数据的融合，提升飞行员的生理心理训练绩效，实现飞行人才生理心理训练的“弯道超车”，进而形成符合我国飞行发展需求的独特的训练体系。