“康栈”智能康复服务平台设计及应用

刘亚楠，孔祥勇，芮迎递，陈学武，朱睿琪，吴汶憶，卢严砖，况忠伶

上海理工大学 医疗器械与食品学院(上海, 200093)

0 引言

康复医学是以康复为目的进行预防、诊断、评估、治疗、训练和处理有关功能障碍的一门医学学科[1]。人工智能的发展，康复医疗产业信息化是大势所趋[2]。中国康复市场的前景巨大，《国家卫生统计年鉴》数据表明，中国亟待康复的群体高达2.8亿人次，而康复医院诊疗每年的诊疗人数仅为3000万人。目前我国康复医师占医疗卫生从业人员的比例约为0.4：10万，康复行业存在巨大的人才缺口。同时，我国面临康复医疗机构严重不足和康复设备缺乏、落后，康复医疗服务体制不够完善，康复早期介入不及时，双向诊疗不顺畅，费用居高不下等诸多问题[3-4]。

“康栈”智能康复服务平台制定个性化康复训练计划，提供恢复程度测评功能；以患者康复认知为基础，推荐个性化康复资讯。

1 “康栈”智能康复服务平台

1.1 “康栈”智能康复服务平台介绍

“康栈”智能康复服务平台在现有康复平台功能[5-8]的基础上进行了改进，在康复软件结合人工智能使平台更加智能化、个性化、专业化、创新化。系统的功能模块如图1所示。平台主要包含康复训练、康复医师、康复评测、康复咨询、康复机器人五个模块。其中康复训练实现病情分析、指定康复计划、视频观看的功能，康复医师实现线上预约、在线指导的功能，康复评测实现拍照评测、问卷评测的功能，康复咨询实现推荐咨询、热点咨询的功能，康复机器人实现智能问答的功能。本平台的意义在于对康复信息化的实践和对医疗人工智能的广泛运用，不同于传统的医疗康复手段，采用智能化线上辅助康复，不但大量节省康复中后期的医疗资源，而且应用门槛低，广泛适用被骨科疾病困扰的群体，使患者足不出户，便可进行康复治疗。

图1 “康栈”平台功能结构图

通过与市场上康复软件功能的比对[9]，“康栈”平台的功能设计近乎涵盖了康复市场的主流功能。结合人工智能技术，“康栈”平台新增了一个创新功能——智能识别部位角度，进行康复评估。系统流程如图2所示。首先用户登录系统，用户名密码验证通过后进入个人信息录入界面，完善个人信息，否则重新输入或者退出系统。个人信息填写完善后进入系统主页，主页共有三大模块，即康复训练、康复测评、康复资讯。用户选择康复训练，确定需要康复部位，系统进行病情分析，制定相应的康复计划；用户选择康复测评，并确定测评方式(拍照或问卷)，填写问卷，分析结果，测评结束；进入康复资讯，用户浏览系统推荐的相关康复信息，了解康复相关知识及相似病友推荐。

图2 康栈智能康复平使用流程图

1.2 关键技术

1.2.1 基于项目的协同过滤推荐(IB-CF，Item-BasedCF)算法

目前常用的推荐算法是基于项目的协同过滤算法与基于用户的协同过滤算法[10]。在定制个性化康复训练计划功能中，本平台采用基于项目的协同过滤(IB-CF)算法[11]，算法流程如图3所示。首先找到锻炼计划的最近邻居，根据当前用户对最近邻居(即锻炼计划)的适应程度，预测当前用户对目标推荐锻炼计划的适应程度，然后选择预测适应程度最佳的锻炼计划作为推荐结果呈现给当前用户。

图3 基于项目的协同过滤算法流程

1.2.2 基于OpenPose的2D姿态估计算法

Cao[12]等发布的OpenPose是第一个实时地检测人体、手势、面部关键点(125点)的检测器，实现了姿势检测，该方法具有普适性。本平台在OpenPose的基础上提取关键点坐标，然后对坐标进行角度计算，实现人体姿态康复训练评估的标准化。

通过拍照获取用户康复姿态，并使用OpenPose识别二维人体关键点坐标，计算康复部位的角度。

其流程如图4所示[13]。首先，输入人体姿态图像，经过VGG19卷积神经网络提取姿态特征，得到该姿态图像的一组特征图，将该特征分成两部分分别使用神经网络提取置信度和关联度；然后通过使用图论的偶匹配得到部分联合体，即将属于同一个人的关键点合并为一个整体骨骼框架；最后利用匈牙利算法求最大匹配，分析识别结果。

图4 人体姿态估计算法处理流程图

1.2.3LFM(Latentfactormodel)隐语义模型

隐语义模型[14-16]是一种基于机器学习的方法，核心是通过隐含因子(latent factor)来联系用户兴趣和资讯，找出潜在的主题及分类。

在康复资讯推荐功能中，利用隐语义模型算法将资讯按照医疗康复、教育康复、职业康复、社会康复等进行分类。LFM模型设计如图5所示。对于新用户，直接从最热门的资讯中取topK推荐；对于有一定使用历史数据的用户，用户点击和没点击过的资讯，代表了用户感兴趣和不感兴趣的内容，有过交互行为的即为正样本，无交互行为的即为负样本。在正样本中，患者的病情以及点赞、收藏的行为设置相应权重，建立当前用户对各种资讯的评分矩阵。从而获取到了用户对资讯偏好值来做出最终的推荐。

图5 资讯推荐系统模型设计

1.3 数据库设计

系统的数据流图如图6所示。患者登录填写个人基本信息，系统将基本信息存入到数据库中患者信息表中。患者填写自己病情，系统根据病情分析，从数据库病情锻炼计划表中提取锻炼计划数据生成训练计划，训练计划进度根据不同用户的训练进度显示不同视频；关于线上预约数据，患者发起线上预约，根据医院康复医生的值班及主治选择合适的医生进行在线指导；关于康复姿态识别，患者选择康复部位，拍照上传自己的姿态信息，选择识别部位角度，记录不同时间部位角度值，生成时间角度曲线，分析康复情况，并将评测结果存入数据库；关于康复问卷数据信息，患者选择问卷，填写问卷，并根据在不同阶段(时间)的问卷得分进行分析，得到患者的康复情况，并将康复评分存入数据库。

图6 “康栈”平台数据流图

2 “康栈”智能康复服务平台功能测试

2.1 康复训练

康复训练测试如图7所示。患者选择伤患部位，录入病情信息。系统通过IB-CF算法选择预测适应程度最佳的若干个锻炼计划推荐给患者，患者可参照推荐视频规范完成锻炼计划，并对该次锻炼计划打分评估，本功能使患者量化自身的康复训练情况，将每次的训练结果可视化，同时能够很好的激励自己坚持锻炼。

图7 康复锻炼功能测试

2.2 康复评估

患者根据平台相应示例图姿势呈现伤损部位并拍照上传，系统根据人体姿态估计算法检测伤损部位关键点，计算关键点组成角度，生成时间-部位角度曲线图。系统通过当前角度与康复全角的对比评估患者的康复情况，实现了居家也能达到接近于标准的康复训练要求，使康复评估不受时间和空间的约束。

康复训练测试为了测试软件稳定性，选取了3个动作分别系统测试，进行了20次测试。测试在实验室场景下进行，受试者距离摄像机约2 m，无实物遮挡，场景内只有1个人。3个动作分别为 “肘关节曲伸”、“肘关节上抬”以及“腿部弯曲度”。测试结果稳定，如图8所示。

图8 康复锻炼评估识别效果

本平台引入应用康复医学中成熟的常用评定量表，患者选择符合自己伤情的评定量表填写并获取量表得分，系统同样生成时间-量表得分曲线图。康复量表评分测试如图9所示。

图9 康复量表评分功能测试

2.3 健康资讯

对于病情信息较为完善的用户，根据患者病情及点赞、收藏等行为，构造隐语义模型建立推荐系统为用户推荐相关康复资讯；针对冷启动患者用户，系统通过点击量推送热点资讯来解决推荐算法的冷启动问题。相对于随机推荐，这种方法更具有个性化与针对性。健康资讯测试如图10所示。

图10 健康资讯功能测试

2.4 康复医师

该平台可与医院诊疗对接，可预约康复医师实现相关诊疗。患者可以与康复医师线上联通，接受康复医师的在线指导。患者线上预约医师，线下诊疗，之后医师线上指导，相对于其他的软件，医生可以全程参与患者的康复过程。

2.5 康复机器人

患者可向机器人提问康复过程中的相关问题，机器人智能回答。通过搭建医药知识图谱，并以该图谱为基础完成自动问答功能，解答患者的疑问。在运行过程中通过患者提问等环节来丰富、完善图谱。

3 总结

“康栈”平台基于康复医疗现状，从患者实际康复需求出发，与人工智能和大数据紧密结合，切合康复信息化主题[17]。不同于传统康复流程中医患双方的线下交互，该平台不仅节省医疗资源、便利患者康复期间的诊疗，而且全程式陪护患者度过整个康复期。为了增加平台的可用性和推广性，我们在设计上考虑用户对于APP的直观性和客观性的要求，增加了平台的美观性、易用性和实用性。

4 展望

“康栈”平台应用前景巨大，符合康复信息化的发展趋势，结合人工智能技术，精准针对每一位患者，为患者的康复带来便利，实现与医院的对接，平台未来将有进一步的优化。在康复测评模块，完善人体姿态的识别功能，利用OpenPose增加三维关键点实时识别技术，将OpenPose技术同时运用在识别关节角度和规范患者锻炼姿势上。针对不同康复群体，平台后期将新增糖尿病、高血压、肿瘤等其他慢性疾病康复模块，提高应用广度，实现与更多医院的对接，获取更多患者信息以更加贴合患者的实际需求、保证软件的稳定性。