基于惯性动作捕捉的主从遥操作关节空间直接控制方法

黄学祥　时　中　宋爱国　胡天健,3

(1北京跟踪与通信技术研究所,北京100094)(2东南大学仪器科学与工程学院,南京210096)(3清华大学航天航空学院,北京100084)

基于惯性动作捕捉的主从遥操作关节空间直接控制方法

黄学祥1时中1宋爱国2胡天健1,3

(1北京跟踪与通信技术研究所,北京100094)(2东南大学仪器科学与工程学院,南京210096)(3清华大学航天航空学院,北京100084)

摘要:为了克服传统主从遥操作方法需要进行大量的正/逆运动学解算且操作复杂、不直观的缺点,利用惯性动作捕捉设备将人体手臂动作信息引入遥操作控制回路中,提出了一种基于惯性动作捕捉的主从遥操作关节空间直接控制方法．然后，提出了一种基于四元数的关节空间非奇异映射算法,用于构建虚拟手臂模型,并利用该模型直接控制远端机器人的关节空间．试验结果表明,该方法可以直接控制远端机器人的关节空间,关节空间控制误差小于0.2°;末端位置控制精度小于10 mm,与基于手控器的传统主从遥操作方法相当．因此,基于惯性动作捕捉的主从遥操作方法不仅可以对远端机器人末端位置进行精确控制,而且可以直接控制远端机器人的关节空间,提高操作者的直观性和灵活性．

关键词:主从遥操作;惯性动作捕捉;虚拟手臂模型;关节空间映射;四元数

遥操作技术利用机器人替代操作者直接完成各类操作,能够有效降低任务的成本和风险,显著提升操作能力和环境适应性[1]．主从遥操作方法[2]充分利用了操作者的智能,操作者有较强的临场感和沉浸感,能够适应多种复杂遥操作任务需求．

主从遥操作技术的关键在于将本地操作者的智能和行为通过遥操作系统投射至远端机器人,因此,主从遥操作系统的设计和研制应当适应于操作员的动作和理解．传统的主从遥操作方法大多利用手控器对远端机器人的末端位姿进行控制,具有通用性好、控制精度高等特点,同时可以利用力反馈增加操作的透明性．Imaida等[3]在ETS-VII空间遥操作试验中,利用基于Delta并联机构的六自由度力反馈手控器对空间机械臂进行末端位姿控制,完成了插销的插拔试验．Talebi等[4]针对空间舱外18m长的大型机械臂遥操作,研制了三维力反馈手控器．东南大学仪器科学与工程学院机器人传感与控制技术研究所长期致力于手控器的设计与研制[5],先后研制出六自由度通用型力反馈手控器[6]、七自由度力反馈手控器[7]等．但是,利用手控器的末端位姿控制方法需要经过繁琐的运动学解算及其逆解计算才能形成远端机器人的控制指令,不能直观地对机器人的关节空间进行控制以完成避障、旋拧等精细操作,限制了操作者对复杂遥操作任务的理解和执行能力,降低了全系统的综合性能．

本文提出了一种基于惯性动作捕捉的主从遥操作关节空间直接控制方法．利用基于四元数的关节空间非奇异映射算法,将惯性动作捕捉设备采集的人体手臂动作转化为虚拟手臂模型,采用该模型直接控制远端机器人的关节空间,并通过地面试验验证了所提方法的灵活性、直观性和控制精确性．

1基于惯性动作捕捉的主从遥操作系统

利用惯性动作捕捉设备,采集人体手臂动作信息,作为主从遥操作系统的信号输入,从而将人体丰富的动作信息引入遥操作控制回路中．基于惯性动作捕捉的主从遥操作系统结构如图1所示,主要组成部分如下:

1) 操作者.穿戴惯性动作捕捉设备,并根据监控显示的虚拟手臂状态与远端机器人状态进行实时操作．

2) 捕捉映射器．一方面采集惯性动作捕捉设备捕捉的手臂动作信息;另一方面将手臂动作信息转化为关节角信息,形成虚拟手臂模型,对远端机器人进行关节空间的直接控制．

3) 上、下行通道．关节数据和反馈数据的传输通道,时延的主要产生环节．

4) 远端机器人控制器．根据虚拟手臂关节数据形成远端机器人的控制指令,并将远端机器人的实际状态反馈至数据处理环节．

5) 远端机器人．主从遥操作任务的实施者,根据控制指令进行相应操作并将实际状态反馈至远端机器人控制器．

6) 数据处理．接收远端机器人反馈数据,经数据处理后将实际状态送至监控显示环节．

7) 监控显示．同时显示虚拟手臂状态和远端机器人实时状态,方便操作者的实时操作．

图1　基于惯性动作捕捉的主从遥操作系统结构

由此可知,为了更好地引入人体手臂动作,虚拟手臂的构建是关键所在:一方面,将人体手臂的运动信息转化为直观的关节角信息,实现了对人手臂的归一化,克服了人手臂长短不一产生的控制误差;另一方面,将机械臂的控制结果转化成操作者易于理解的人手的控制效果,有利于操作者对远端机械臂及复杂操作任务的直观理解,增强临场感效果．

2虚拟手臂的构建

2.1人体手臂运动学模型

根据人体手臂运动特点[8]和刚体假设理论[9],可将人体手臂简化为三连杆七自由度模型(见图2).图中,Oi和zi分别为关节i(i=1, 2, …, 7)的原点和旋转轴;OH-xHyHzH为手心坐标系;l1和l2分别为大臂和小臂的长度．人体手臂D-H参数见表1．

图2　人体手臂D-H模型

iθi/(°)αi/(°)ai/mdi/m10-9000290900030-900l140900050-900l26-90900070-9000注:θi,αi,ai,di分别表示关节i的关节角、扭转角、连杆长度和连杆偏移量.

2.2人体手臂关节角计算

惯性动作捕捉方法[10-11]广泛应用于人体运动分析中．如图3所示,操作者穿戴惯性动作捕捉设备,分别测量大臂、小臂和手掌的欧拉角ΨB,ΨF,ΨH,且

ΨB={αB,βB,γB}T

ΨF={αF,βF,γF}T

ΨH={αH,βH,γH}T

(1)

式中,αB,βB,γB分别为大臂欧拉角中的章动角、旋进角和自转角;αF,βF,γF分别为小臂欧拉角中的章动角、旋进角和自转角;αH,βH,γH分别为手掌欧拉角中的章动角、旋进角和自转角．

为计算人体手臂关节角,提出了基于四元数的关节空间非奇异映射算法,其基本步骤如下:

① 由图2和图3可知,肩关节的旋转角为

θ1=βB,θ2=αB,θ3=γB

(2)

② 通过计算小臂相对于大臂的欧拉角和手掌相对于小臂的欧拉角,可得到手臂D-H模型中其余4个关节角．然而, 直接利用欧拉角计算相对欧

图3　惯性动作捕捉设备测量原理图

拉角会出现奇异点,因此将测量的欧拉角转换为人体手臂大臂、小臂和手掌的四元数QB,QF,QH,以避免奇异性．欧拉角Ψr向四元数Qr的转换公式为

Qr=q1r+q2ri+q3rj+q4rk

(3)

(4)

式中,q1r,q2r,q3r,q4r为四元数Qr的4个参数;αr,βr,γr分别为欧拉角Ψr中的章动角、旋进角和自转角．

③ 假定小臂相对于大臂的四元数为QFB,手掌相对于小臂的四元数为QHF,则

QF=QFBQB,QH=QHFQF

(5)

即相对四元数为

(6)

④ 将相对四元数QFB,QHF转换为相对欧拉角ΨFB={αFB, βFB, γFB}T,ΨHF={αHF, βHF, γHF}T．其中,ΨFB为小臂相对于大臂的欧拉角,αFB,βFB,γFB分别为其对应的章动角、旋进角和自转角;ΨHF为手掌相对于小臂的欧拉角,αHF,βHF,γHF分别为其对应的章动角、旋进角和自转角．四元数Qs向欧拉角Ψs的转换公式为

(7)

式中,q1s,q2s,q3s,q4s为四元数Qs的4个参数;αs,βs,γs分别为欧拉角Ψs中的章动角、旋进角和自转角．

⑤ 由图2和图3可知,肘关节的旋转角为

θ4=αFB,θ5=γFB

(8)

腕关节的旋转角为

θ6=αHF,θ7=βHF

(9)

3地面试验

3.1惯性动作捕捉设备性能验证试验

惯性动作捕捉设备的测量分辨率与重复精度将影响主从遥操作系统的整体性能,因此,对惯性动作捕捉设备的测量分辨率和重复精度等性能进行了测试．试验系统采用日本安川公司生产的MOTOMAN-SV3X型六自由度工业机器人作为转动装置,试验场景如图4所示．

图4　惯性动作捕捉设备性能测试试验场景

试验时,将MEMS惯性传感器固定于MOTOMAN机械臂上,控制MOTOMAN机械臂以1°间隔分别绕MEMS惯性传感器X,Y,Z轴从-90°转动至90°,记录MEMS惯性传感器测量值,测量结果见图5,测量误差见图6．从测量结果可以看出,惯性动作捕捉设备测量分辨率小于等于1°,重复精度小于等于3°,性能较优．

(a) X轴

(b) Y轴

(c) Z轴

(a) X轴

(b) Y轴

(c) Z轴

3.2关节空间直接控制试验

根据基于惯性动作捕捉的主从遥操作系统结构,采用日本安川公司生产的MOTOMAN-SV3X型六自由度工业机器人作为远端机器人,构建了如图7所示的地面验证平台．利用图3所示的MEMS惯性动作捕捉设备,实时采集操作者手臂动作信息,并转化为虚拟手臂关节角信息,利用人体手臂的关节2～关节7直接控制工业机器人的6个关节,实现对远端工业机器人关节空间的直接控制．

图7　基于惯性动作捕捉的主从遥操作方法地面验证平台

图8显示了远端机器人对人体手臂虚拟模型的跟踪情况;图9显示了远端机器人对人体手臂关节空间的跟踪误差．结果表明,虚拟手臂的构建为操作者提供了直观的视觉信息,便于其理解远端机器人的控制效果,增强了操作的临场感．远端机器人可以实时跟踪人体手臂动作,关节空间控制误差小于0.2°．因此,基于惯性动作捕捉的主从遥操作关节空间直接控制方法可以精确、直观地控制远端机器人的关节空间．

(a) 肩关节屈伸运动

(b) 肩关节外旋运动

(c) 肘关节屈伸运动

(d) 肘关节外旋运动

(e) 腕关节屈伸运动

(f) 腕关节外旋运动

4末端轨迹跟踪试验

为了进一步验证本文方法的有效性,分别采用基于手控器的传统主从遥操作方法和基于惯性动作捕捉的主从遥操作关节空间直接控制方法控制远端机器人的末端位置,实现远端机器人末端执行器对圆弧轨迹的跟踪．

图10为采用2种方法时的末端位置控制误差．由图可知,2种方法的末端位置控制误差相当,均小于10mm．图11给出了人体手臂关节角和2种方法控制下远端机器人的关节角．由图可知, 利用本文方法可以实现人体手臂对远端机器人关节空间的直接控制．综上所述,采用本文方法不仅可以精确控制远端机器人的末端位置,而且可以直观、灵活地控制远端机器人的关节空间,而基于手控器的传统主从遥操作方法无法直接控制远端机器人的关节空间．

(a) 关节1

(b) 关节2

(c) 关节3

(d) 关节4

(e) 关节5

(f) 关节6

图10　机器人末端位置控制误差

5结论

1) 利用惯性动作捕捉设备将人体丰富、灵活的手臂动作引入主从遥操作控制回路中,可以实现对远端机器人关节空间的直接控制．一方面,提高了操作者操作的直观性和灵活性;另一方面,避免了繁琐的运动学解算及其逆解计算,降低了控制算法的复杂性,提高了末端位置的控制精度．

(a) 关节1

(b) 关节2

(c) 关节3

(d) 关节4

(e) 关节5

(f) 关节6

2) 虚拟手臂模型的构建,将人体手臂的运动信息转化为直观的关节角信息,对人手臂进行归一化,克服了人手臂长短不一产生的控制误差,同时将机械臂的控制结果转化成操作者易于理解的人手的控制效果,有利于操作者对远端机械臂及复杂操作任务的直观理解,增强了操作的临场感效果．

3) 地面试验验证了基于惯性动作捕捉的主从遥操作关节空间直接控制方法的操作灵活性、直观性与控制精确性．

参考文献 (References)

[1]XieZ,WuG,JiangZ,etal.Teleoperationofaspacerobotexperimentsystem[C]//IEEE International Conference on Robotics and Biomimetics.Harbin,China, 2013: 2546-2550.

[2]HuangLT,KawamuraT,YamadaH.Applicationofaposition-forcecontrolmethodinamaster-slaveteleoperationconstructionrobotsystem[J].Applied Mechanics and Materials, 2012, 229-231: 2243-2247.DOI: 10.4028/www.scientific.net/AMM.229-231.2243.

[3]ImaidaT,YokokohjiY,OdaM,etal.Ground-spacebilateralteleoperationofETS-VIIrobotarmbydirectbilateralcouplingunder7-stimedelaycondition[J]. IEEE Transactions on Robotics and Automation, 2004, 20(3): 499-511.DOI:10.1109/TRA.2004.825271.

[4]TalebiHA,PatelRV,AsmerH.Neuralnetworkbaseddynamicmodelingofflexible-linkmanipulatorswithapplicationtotheSSRMS[J]. Journal of Robotic Systems, 2000, 17(7): 385-401.

[5]费树岷, 陈启宏, 宋爱国. 力觉临场感遥操作系统的研究进展[J]. 控制工程, 2003, 10(1):11-14.DOI:10.3969/j.issn.1671-7848.2003.01.003.

FeiShumin,ChenQihong,SongAiguo.Theresearchanddevelopmentofforcereflectingtelerobotsystem[J]. Control Engineering of China, 2003, 10(1):11-14.DOI:10.3969/j.issn.1671-7848.2003.01.003.(inChinese)

[6]崔建伟, 宋爱国, 黄惟一, 等. 一种新型六自由度通用型手控器[J]. 中国机械工程, 2005, 16(4): 320-323.

CuiJianwei,SongAiguo,HuangWeiyi,etal.Anew6-DOFuniversalhandcontroller[J].China Mechanical Engineering, 2005, 16(4): 320-323. (inChinese)

[7]吴常铖, 宋爱国. 一种七自由度力反馈手控器测控系统设计[J]. 测控技术, 2013, 32(4):70-73,77.DOI:10.3969/j.issn.1000-8829.2013.04.018.

WuChangcheng,SongAiguo.A7dofforcefeedbackhandcontrollermeasurementandcontrolsystem[J]. Measurement & Control Technology, 2013, 32(4):70-73,77.DOI:10.3969/j.issn.1000-8829.2013.04.018.(inChinese)

[8]徐军, 陶开山. 人体工程学概论[M]. 北京:中国纺织出版社,2002: 131-134.

[9]CappozzoA,LeoT,PedottiA.Ageneralcomputationalmethodfortheanalysisofhumanlocomotion[J]. Journal of Biomechanics, 1975, 8(5): 307-320.

[10]JungPG,OhS,LimG,etal.Amobilemotioncapturesystembasedoninertialsensorsandsmartshoes[J]. Journal of Dynamic Systems, Measurement, and Control, 2014, 136(1): 011002.

[11]KimS,NussbaumMA.Performanceevaluationofawearableinertialmotioncapturesystemforcapturingphysicalexposuresduringmanualmaterialhandlingtasks[J]. Ergonomics, 2013, 56(2): 314-326.DOI:10.1080/00140139.2012.742932.

Joint-spacedirectcontrolmethodformaster-slaveteleoperationbasedoninertialmotioncapture

HuangXuexiang1ShiZhong1SongAiguo2HuTianjian1,3

(1BeijingInstituteofTrackingandTelecommunicationsTechnology,Beijing100094,China)(2SchoolofInstrumentScienceandEngineering,SoutheastUniversity,Nanjing210096,China)(3SchoolofAerospaceEngineering,TsinghuaUniversity,Beijing100084,China)

Abstract:To overcome the shortcomings that the traditional master-slave teleoperation method needs lots of positive/inverse kinematics solving with complex and non-intuitive operations, the arm movements of human bodies are introduced into the teleoperation control loop by the inertial motion capture device, and a joint-space direct control method for master-slave teleoperation based on the inertial motion capture is proposed. Then, the joint-space nonsingular mapping algorithm based on quaternion is proposed to model a virtual arm to directly control the remote robot’s joint-space. The experimental results show that this method can control the remote robot’s joint-space directly and the control errors of the joint-space are smaller than 0.2°. The control errors of the end position are smaller than 10 mm, which equates to that by the traditional master-slave teleoperation method based on the hand controller. Therefore, the master-slave teleoperation method based on the inertial motion capture can accurately control the end position of the remote robot, and control the remote robot’s joint-space directly to improve the intuition and flexibility of the operator.

Key words:master-slave teleoperation; inertial motion capture; virtual arm model; joint-space mapping; quaternion

doi:10.3969/j.issn.1001-0505.2016.02.010

收稿日期:2015-08-16.

作者简介:黄学祥(1970—)，男，研究员，h_xxiang@163.com.

基金项目:国家自然科学基金资助项目(11402004).

中图分类号:TP334.2

文献标志码:A

文章编号:1001-0505(2016)02-0283-06

引用本文: 黄学祥，时中，宋爱国,等.基于惯性动作捕捉的主从遥操作关节空间直接控制方法[J].东南大学学报(自然科学版),2016,46(2):283-288.DOI:10.3969/j.issn.1001-0505.2016.02.010.