基于增强现实技术的放疗摆位系统研究

梁巨宏，王殊轶，于德旺，胡忞仁，邓尚，袁英凡

1.上海理工大学 健康科学与工程学院（上海，200093)

2.同济大学附属上海市肺科医院（上海，200443)

0 引言

随着近年来生活方式与饮食结构的变化，患恶性肿瘤的患者数量明显增多［1］。放射治疗是治疗肿瘤的手段之一，为保证放射治疗的疗效，最重要的是保证每次治疗的摆位重复准确。放疗摆位是指医生把患者的肿瘤中心摆放到放疗设备的治疗中心上。传统的放疗摆位需要利用CT设备确定肿瘤中心在体表的位置（CT定位），定位结束后根据CT两侧的激光线投射在患者表面的投影位置，在患者体表做物理标记，然后在放射治疗阶段借助热塑体膜等工具，根据体表的物理标记还原患者做标记时的姿态，从而确定放疗设备的射线照射位置。传统摆位过程中存在以下问题：①需要在体表画物理标记，用于放射治疗中的定位［2］；②人体和热塑膜之间存在一定的空隙，造成二者相对位置发生变化，导致摆位时肿瘤的中心产生偏移［3］；③患者几何形状的外部变化和不正确的附件位置不能仅通过仪器调整来纠正，并且可能会扭曲患者的内部解剖结构［4］；④无法衡量病人在治疗期间由于消瘦等原因导致肿瘤中心发生改变；⑤摆位过程复杂、效率低。

随着科学技术发展，增强现实( augmented reality，AR)技术逐渐发展成熟并成为学习及临床医学领域的研究热点［5］。AR将虚拟的景物和现实的物理环境叠加融合起来，交互呈现在用户面前，从而营造出虚拟与现实在同一空间内共享的技术［6］。AR技术让用户在感官上感觉到虚拟空间的时时关联融合，来增强用户对现实环境的感知和认知。AR技术具有虚实空间的融合呈现、实时在线交互、虚实空间的三维注册3个基本要素［7-8］。

以往的研究中，Ehsani等［9］使用相干点漂移(coherent point drift, CPD)算法对点云模型和动态三维图像进行模态配准，来验证放疗前和放疗中的位置。Talbot等［4］将患者CT图片进行表面轮廓的三维重建，利用2个单目摄像头结合ARToolKit增强现实开发工具开发增强现实系统，根据虚拟模型摆放调整患者体位，实现放疗正确摆位。Cosentino等［10］基于 HoloLens摄像机开发了用于放疗摆位的AR软件。Chyou［11］利用CCD摄像机采集定位时患者的体表点云信息，结合ARTooKit工具，摆位时在2D的电脑端屏幕上将体表的点云模型叠加在患者表面。本研究提出分别基于图像识别技术和运动捕捉技术的AR放疗摆位系统：通过RGB-D摄像机获取细节丰富的体表信息，结合图像识别技术和增强现实显示设备，直观地还原患者在CT模拟机定位时的姿态。

1 方法

本研究提出的基于增强现实技术的放疗摆位系统的设计，主要包括体表信息采集软件开发、AR显示设计2个模块。其工作流程如下：基于体表信息采集软件，通过RGB-D摄像机获取人体体表信息→模型预处理→三维注册→通过HoloLens摄像机进行显示，实现放疗摆位三维可视化。

1.1 体表信息软件开发

采用微软研究院提出的KinectFusion［12-14］算法，将Kinect V2设备获取的原始信息图像进行三维重建，形成点云模型。

使用微软桌面应用开发框架（windows presentation foundation，WPF)［15］进 行 开 发。软件界面及扫描结果如图1所示。软件界面设计如图1(a)所示，界面整体分为图像显示区和操作区。扫描的模型为一个塑料材质的假人模型，如图1(b)所示。运行体表信息扫描软件，在软件的图像显示区域可以看到当前Kinect V2设备的扫描结果，如图1(c)所示。

图1 WPF软件界面及扫描结果Fig.1 WPF Software interface image and the result of scanning

1.2 三维注册

三维注册作为AR重要的特点之一，是指将计算机产生的虚拟物体与周围的真实环境全方位对准，而且要求用户在真实环境的运动过程中维持正确的对准关系。基于HoloLens摄像机的AR三维注册坐标转换过程，如图2所示。其中：FW(xw,yw,zw)为现实世界坐标系，FC(xc,yc,zc)为HoloLens摄像机坐标系，FV(xv,yv,zv)为虚拟模型坐标系，F(u,v)为HoloLens摄像机显示屏坐标系，T1是世界坐标系到摄像机坐标系的转换矩阵，T2是虚拟模型坐标系到摄像机坐标系的转换矩阵，T3是摄像机坐标系到屏幕坐标系的转换矩阵。

图2 三维注册坐标转换示意图Fig.2 Coordinate transformationofthree-dimensional registration

T1与T2是3D空间内的刚性变换，按照式（1）进行转换，其中R为3×3旋转矩阵，T为三维平移矢量。T1转换矩阵的获取可以通过HoloLens摄像机的SLAM技术获得。T2是虚拟模型坐标系到摄像机坐标系之间的转换，该转换需要在注册时实时求取。

T3是3D—2D转换矩阵，其转换按照式(2)进行，其中f只与相机本身参数有关，为已知参数，因此T3已知。

综上可知，使用HoloLens摄像机作为跟踪定位及显示设备，完成三维注册过程只需要实时获取虚拟模型所在的坐标系到摄像机所在的坐标系之间的转换关系。基于图像识别技术的三维注册方法使用HoloLens摄像机拍摄现实世界中的图像来获取T2转换矩阵，相对应的虚拟模型坐标系中的识别图位置已知，所以可以实现三维注册过程。基于运动捕捉技术的三维注册方法直接在FW(xw,yw,zw)坐标系中将FC(xc,yc,zc)坐标系和FV(xv,yv,zv)对齐，实现虚拟物体和真实物体同步运动、叠加显示达到三维注册效果。

1.3 AR放疗摆位系统

放疗摆位系统包含以下5个方面：

（1）体表信息采集：使用体表信息采集软件通过Kinect V2设备获取带有红色激光十字交叉线的体表信息文件。

（2）模型预处理及格式转换：使用Meshlab软件对获取的体表信息文件进行剪切和格式转换，基于图像识别技术的AR放疗摆位系统需要在一定的位置贴放识别标签，而基于运动捕捉技术的AR放疗摆位系统则需要在体表的骨性标志点贴放标记。

（3）三维注册：基于图像识别技术的AR放疗摆位系统采用图像识别三维注册方法，利用Vuforia SDK平台［16］实现，基于运动捕捉技术则采用运动捕捉三维注册方法。

（4）生成AR软件：此部分只适用于基于图像识别技术的AR放疗摆位系统。

（5）HoloLens摄像机显示。

1.4 系统试验验证

完成放疗摆位系统软硬件搭建后，利用模型实验，逐步实现对系统有效性及精度的验证。第一步，验证体表信息采集软件的有效性及精度验证；第二步，验证AR显示模块的有效性及精度验证；第三步，验证整个系统的有效性及精度验证。

2 结果

2.1 体表信息采集软件试验结果

利用体表信息采集软件，采集直径分别为16、8、4 cm球体的部分表面轮廓，在Meshlab软件中计算虚拟模型体积大小，按照式(3)计算最终的误差值r。其中V虚为虚拟模型的体积，D真为真实模型的直径。

测试结果如图3所示。从图3中可以看出扫描直径为16 cm的模型产生的误差最小，扫描直径为4 cm的球体模型产生的误差较大，这说明体表信息采集模块的误差值与扫描模型的体积有关，扫描的模型体积越大，模块产生的误差值越小。

图3 体表信息采集软件模型及误差测试结果Fig.3 Body surface information acquisition software model and error test results

2.2 AR显示模块试验结果

采用杜云霄［17］提出的基于HoloLens摄像机的AR三维注册方法的误差测试指标，将误差分为静态注册误差和动态注册误差，其中动态误差可分为头部转动误差、走动误差。采用Jiang等［18］提出的注册误差计算方法，获取真实测试点与相对应的虚拟测试点的空间坐标位置。式（4）为两点之间的欧氏距离值作为系统注册误差。

其中：x1、y1、z1是真实空间测试点的坐标；x2、y2、z2是虚拟空间测试点的坐标。

三维注册方法误差测试如图4所示。测试材料分为真实模型和虚拟模型，白色的模型为真实模型，蓝色的模型为虚拟模型，模型整体由一个平板和5个小圆锥组成，小圆锥分布在平板的右下角区域，圆锥的顶点作为测试点，5个小圆锥顶点分别标记为1、2、3、4、5号测试点，在平板的左上角粘贴识别标签。

图4 三维注册方法的误差测试Fig.4 Error test for three-dimensional registration

本次测试实验共招募了7名志愿者。在实验开始前，受试者在测试人员的指导下熟悉了实验要求与实验方法，并进行了相关实验操作。使用Micron Tracker的VB.Net软件对虚实对应测试点三维坐标进行记录，利用Origin软件对数据进行处理。AR显示模块平均注册误差结果如图5所示。

图5 AR显示模块误差测试结果Fig.5 Error test results for the Augmented Reality display

基于图像识别技术的AR显示模块的静态注册误差值为（3.72±1.52）mm，头部转动误差值为（4.11±1.23）mm，走动误差值为（3.92±1.30）mm，平均值为（3.92±0.12）mm。基于运动捕捉技术的AR显示模块的静态注册误差值为（3.61±0.58）mm，头部转动误差值为（3.91±1.20）mm，走动误差值为（4.88±0.88）mm，平均值为（3.97±0.25）mm。基于图像识别和运动捕捉技术的增强现实显示模块在静态注册误差、头部转动误差和走动误差方面相差值分别为0.11、0.20和0.46 mm。其中基于运动捕捉技术的静态注册误差和头部转动误差比基于图像识别技术的误差值低。基于图像识别技术的走动误差值比基于运动捕捉技术的低。

2.3 系统整体误差测试

模拟临床放疗摆位的环境下测试系统的整体误差值，分别测量基于图像识别技术和运动捕捉技术的增强现实放疗摆位系统整体误差值。测试假人模型如图6所示。真实模型重新摆放后，表面的虚拟红色十字激光线交叉点作为一个测试点，虚拟模型的红色十字激光线交叉点作为另一个测试点。两个测试点之间的欧式距离作为最终的误差值。

图6 虚拟模型和真实模型(HoloLens摄像机视角)Fig.6 The virtual and real model

系统整体误差对比如图7所示。由图可见，基于运动捕捉技术实现的放疗摆位系统误差平均值为（5.35±1.03）mm，而基于图像识别技术的误差平均值为（7.54±1.32）mm。

图7 系统整体误差对比Fig.7 Error comparison for the whole system

3 讨论

目前传统放疗摆位中存在过程复杂、效率低、无法准确还原患者在定位阶段的姿态等问题，摆位的精准度直接影响放疗的效果。因此，面向临床应用、可视化指导放疗摆位的系统需求十分强烈。不同于传统放疗摆位中使用的图像引导放射治疗(image guided radiation therapy, IGRT)［19］，或利用机载锥形束CT(cone-beam computer tomography，CBCT)获取图像并修正摆位误差［20］。本研究是将AR技术引入放疗摆位中，结合图像识别技术和运动捕捉技术，设计了2种放疗摆位系统，将定位阶段包含红色激光交叉线的体表信息实时与摆位阶段的病人体表相融合，辅助医生对患者进行摆位，并减少摆位次数，提高了工作效率。以下分别从误差分析、系统复杂性、效果3个方面进行对比讨论。

在误差分析方面，基于图像识别技术的AR放疗摆位系统的平均误差值为（7.54±1.32）mm，而基于运动捕捉技术的AR放疗摆位系统的平均误差值为（5.35±1.03）mm，均低于临床要求，且后者优于前者。

在系统复杂性方面，基于图像识别技术的三维注册方法的系统复杂性较低；基于运动捕捉技术的三维注册方法需要使用Qualisys运动捕捉系统，复杂性较高。

在效果方面，基于运动捕捉技术的三维注册方法，能够做到虚拟模型随真实模型的移动而移动，而且在移动过程中对HoloLens摄像机的视角没有要求；而基于图像识别技术的三维注册方法只需要识别一次就可将虚拟模型固定在空间中，但当实现虚拟模型和真实模型同步运动时，需要识别的图实时处在HoloLens摄像机的主摄像头视野范围内，这限制了使用者的视角。基于图像识别技术的三维注册方法不需要在体表贴放识别标签，而基于运动捕捉技术的三维注册方法则需要在体表骨性标志点贴放 Marker。

作为一个放疗摆位系统前瞻性的研究，基于运动捕捉技术的AR放疗摆位系统精度高于基于图像识别技术的系统，因此其更适合应用于临床。未来也可以降低系统的复杂性、提供自动注册算法、集成更精准的三维注册方法；同时，也为无标记自动注册方法打下基础。在推进临床应用方面，今后将进一步完善临床应用规范及临床评估实验。

4 结语

针对传统放疗摆位过程中在患者体表做物理标记问题和摆位时无法准确还原患者在CT模拟机定位阶段的姿态问题，本研究设计了2种放疗摆位系统：基于图像识别技术的增强现实放疗摆位系统和基于运动捕捉技术的增强现实放疗摆位系统。实现了在摆位阶段，直观、可视化地还原患者在CT模拟机定位时的姿态问题，更好地辅助医生对患者进行摆位，既降低了重复摆位的次数、提高放射治疗的精度，也提高了患者治疗过程的舒适度。2种摆位系统中，基于运动捕捉技术的增强现实放疗摆位系统的精度高于基于图像识别技术的增强现实放疗摆位系统，更适合于临床应用。