基于视觉信息的智能下肢假肢路况识别

喻贝贝，孟青云，喻洪流，曹武警，赵伟亮

1.上海理工大学康复工程与技术研究所，上海市200093；2.上海健康医学院，上海市201318；3.上海康复器械工程技术研究中心，上海市200093

人体下肢是人类移动步行的重要器官，具有很高的灵活性，可以协同其他器官完成多种动作[1-2]。由于先天性疾病、工伤或交通事故等原因，每年都有数以万计的人失去下肢[3]。根据2006年国务院公布的第二次全国残疾人抽样调查数据显示，我国肢体残疾人数为2412万人，占全国总人口比例的6.34%[4]。由于当前的医疗水平还不能使失去的肢体重新生长出来[5]，所以大多数患者都是通过佩戴下肢假肢恢复行走能力[6]。膝上下肢假肢包括接受腔、膝关节、小腿腿管、假脚[7]。其中膝关节对膝上下肢假肢穿戴者的行走能力具有决定性的影响[8]。然而传统膝关节假肢不能在水平行走、上下楼梯等多种运动模式之间进行切换，导致下肢假肢穿戴者的运动范围受到极大的限制[9-10]，不能在复杂的环境下进行有效的社会活动。因此，识别出下肢假肢穿戴者的行走路况，根据路况切换运动模式，是智能膝关节研究的关键内容[11-12]。

国内外学者对智能膝关节的路况识别进行了一定程度的研究。河北工业大学张燕等[13]通过在腰部安置传感器采集距离信息和地形高度信息，提取特征值，并进行简单训练来识别不同的路况；北京大学王启宁等[14]通过三轴陀螺仪、加速度计、力敏电阻和定时器等多传感器融合的方式，采用实时模糊逻辑控制去识别不同的地形；美国的Afzal等[15]通过肌肉协同提取算法，用运动模式分类的方式来实现对不同路况的识别；Shahmoradi等[16]提出通过让患者佩戴惯性测量单元(inertial measurement unit,IMU)和电阻式压力传感器(force sensing resistor,FSR)传感器采集捕获运动数据和步态时间，用模糊序列的识别方法去识别不同的运动模式。综上可以看出，当前路况识别研究大都是基于力学、运动学和肌电信息进行相应的处理。运动学和力学信息具有滞后性，不能及时反映最新的数据信息；肌电信号通常比较微弱，而且容易受到邻近肌肉信号的干扰，其安全性无法保证[17]；多传感信息融合虽然可以提高精度，但是对算法的要求更高，处理过程更为复杂[18-19]。

视觉信息直观、准确，已在多领域得到了广泛应用[20]，但是基于视觉信息的智能膝关节路况识别研究还处于空白。因此，本工作从视觉信息角度出发，将机器视觉模块嵌入智能膝关节的控制系统。通过视觉传感器将采集到的路况图像信息进行实时处理，探索基于视觉信息的智能膝关节假肢路况识别的精度和实时性。

1 材料与方法

1.1 智能膝关节系统研究

该路况识别研究方案是在已经研制的智能膝关节样机的基础上实现的[21]。执行智能假肢膝关节具体功能的部分还是智能膝关节的结构，因此膝关节机械结构的设计尤为重要。假肢膝关节的样机结构如图1所示，整体结构设计紧凑，缩减了装配高度，并进行相关的有限元分析、运动学分析验证了机械结构的合理性和可行性。

基于前期的基础理论研究和相关实验，设计了智能液压假肢膝关节的总体控制框图。见图2。

图1 液压假肢膝关节机械设计图

图2 智能液压仿生膝关节整体控制框图

样机采用两个独立液压缸通过直线电机独立调节阀门，分别控制屈曲和伸展过程中的行走阻尼，实现仿真步态；在膝关节转动轴处放置角度传感器，采集膝关节的运动信息；在样机上搭载一块单片机控制板，用JHBM-7-V(承重压力传感器)实时检测假肢当前承受的重力，识别膝关节在摆动过程中的支撑期和摆动期；将OpenMV模块(机器视觉模块)放在膝关节轴心处，实时拍摄假肢膝关节前方的外界路况。整个膝关节总体长度240 mm，总质量1.2 kg，最大承受重量100 kg。

1.2 视觉模块及特点

OpenMV是一个基于STM32F765VI ARM CortexM7处理器的单片机和OV7670图像传感器的开源微型机器视觉模块。OpenMV模块自带python3解释器，可以使用Python脚本编程，大大提高开发速度。OpenMV所有的引脚输出3.3 V且兼容5 V，而且留出异步串口总线接口，可以方便地与单片机通信。同时留出高速SPI接口，可以把简单的图像数据流传输给其他控制器[22]。

OpenMV视觉模块拥有丰富的硬件资源，引出UART、I2C、SPI、PWM及GPIO等接口，方便拓展外围功能，其自带的Python编程接口，为视觉处理开发带来极大的方便[23]。视觉模块体积小巧、功耗低的特点，使其可以方便地集成在电路里面。

1.3 图像处理算法

归一化互相关(normalized cross correlation,NCC)算法用来比较两幅图像的相似程度，已经是一个常见的图像处理手段，在工业生产环节检测、监控领域对对象检测与识别均有应用。NCC算法可以有效降低光照对图像比较结果的影响[24]。对于图像来说，每个像素点都可以看成是RGB数值，这样整幅图像就可以看成是一个样本数据的集合。如果它有一个子集与另外一个样本数据相互匹配则它的NCC值为1，表示相关性很高；如果是-1，则表示完全不相关。基于这个原理，实现图像基于模板匹配识别算法，其中第一步就是要归一化数据，NCC相似性度量函数数学公式如下[25]。

寻找点(x,y)在模板中的匹配过程就是在找最合适的d，使得NCC(x,y,d)最大，这样对应的数据样本就与模板匹配。NCC算法具有很高的准确性和适应性，且所求的NCC值不受灰度值线性变换的影响。

1.4 实验过程

从上文公式推导可以看出，NCC的数据量比较大，但是其抗噪声能力相对较强，综合考虑识别精度和识别时间，本设计中相似度阈值设为0.7。当摄像头采集所得的外界路况数据与模板图片在阈值范围内匹配时，用白色矩形标出识别的区域，并在上位机中显示。在实际应用时，若识别到上下楼梯、上下坡等不同的路况时，系统会根据识别的结果去控制液压缸阻尼，切换到相应的步态，从而保证假肢识别路况的实时性。

将OpenMV模块集成在假肢膝关节控制系统，实际图片如图3。

本工作在前期采集图像模板和后期实验的时候，均采用卤素灯照明，使得设定的场景光源恒定[26]，可最大程度减少因光源的变化而引起识别的误差等问题。

让正常人穿戴改装好的假肢膝关节，以较慢的速度上下楼梯，模拟患者穿戴假肢行走，在灰度模式下，从不同的角度分别去采集上下楼梯图像数据、平地图像数据、上下坡图像数据，并将拍摄所得的图片保存至上位机。默认保存的图片是bmp格式的，需要用图片处理工具将图片转化为PGM格式的图片，将处理后的图片作为模板保存到SD卡中。多角度采集模板图像，这对后面识别时间和识别精度有很大影响，因此一定要做好采集的工作。

图3 膝关节整体模块图片

穿戴测试的实验对象为上海假肢厂的一名下肢截肢患者，男性，58岁，体质量65 kg，身高172 cm，左侧截肢。让患者穿戴装配好的假肢，在设定的场景中行走，同时上位机通过接收蓝牙模块传输的数据实时显示识别的时间和识别的结果，并记录结果。

实验过程中，当摄像头识别到与当前路况不一样的路况时，若患者等待3 s以上，则执行另一种路况的步态；否则，执行与当前一样的步态。由于本工作是纯视觉信息去处理路况，后期可考虑加上惯性传感器辅助处理达到更好的执行效果。

2 结果

患者在设定的场景中接收测试，进行多次实验，记录识别时间和识别次数。实验证明当放置图片模板过多时，会影响识别的速度；当放置的图片模板过少时，又无法达到识别的精度。在实验时，分别放置不同路况的图片模板数据，让患者分别进行测试并记录数据。见表1。

综合考虑识别的速度和精度，针对上/下楼梯、上/下坡、平地5种路况，实际应用中选择在TF卡中放置5张上楼梯图片模板、4张下楼梯图像模板、4张上坡图片模板、3张下坡图片模板、2张平地图片模板共18张5种不同路况的图片模板进行匹配。识别平地、上/下坡、上/下楼梯5种路况的准确率分别为88.6%、85.3%、78.4%、87.5%和77.9%。结果证明，视觉模块可以有效识别不同的路况。

由于本工作目前处于实验室阶段，故没有考虑大腿假肢穿戴的时候裤子外衣等遮挡摄像头的问题。在实验时，假肢是直接裸露的。后期准备将摄像头模块单独拿出来，绑在大腿残肢。

表1 不同数量不同路况的模板识别结果

3 结论

路况识别是假肢智能膝关节功能实现的重要组成部分。相对于传统的肌电信号和运动学力学等多传感器融合的研究，本工作采用视觉信息的方式，通过处理实时采集的图像去进行路况识别，结果表明视觉信息可以在智能膝关节路况识别中起到良好的效果，提升识别精度以及速度。后续可考虑将视觉信息与其他信息结合，更深入地进行智能膝关节路况及步态识别的研究。