混合现实技术在口腔颌面部肿瘤手术中的应用

唐祖南，Hui Yuh Soh，胡耒豪，于 尧，章文博，彭 歆

(北京大学口腔医学院·口腔医院，口腔颌面外科 国家口腔疾病临床医学研究中心 口腔数字化医疗技术和材料国家工程实验室 口腔数字医学北京市重点实验室，北京 100081)

口腔颌面部解剖结构复杂，包含诸多重要血管和神经，并且与呼吸、吞咽、语音及咀嚼功能密切相关。为减少口腔颌面部肿瘤切除手术过程中对周围解剖结构不必要的损伤，术者在术前对病变区域的解剖结构应有充分了解。由于局部解剖结构复杂和切口暴露的限制，颌面部手术操作难度较大。因此，为了达到精确微创的手术效果，减少术中重要解剖结构的损伤，需要进行术前完善的设计，术中精确的引导与定位，并进行术后效果可量化评价[1]。目前临床上常利用手术导航技术将术前计划信息准确转移到手术过程中，减少在信息传递过程中的数据误差[2]。导航系统通过在空间上与手术部位分开放置的平面显示器来提供术前计划与实际解剖的位置关系。有研究表明，手术导航技术结合计算机辅助设计(computer aided design，CAD)/计算机辅助制造(computer aided manufacturing，CAM)技术，在骨组织切割重建的过程中使用可以提高切割精度，优化手术效果并减少手术时间[3]。但Pietruski等[4]发现在手术过程中不断观察导航系统屏幕会影响手眼协调操作，从而降低手术过程的精度；且CAD/CAM设计和制作的切割导板价格较高(10 000～20 000元)， 会大幅提高手术治疗成本。

混合现实(mixed reality，MR)技术是一种新兴的数字化技术，它基于术前CT、MRI等检查所获得的高分辨率医学影像数据，通过软件将术区的解剖结构立体化呈现，重建三维模型[5]。同时，利用软件编辑模块处理三维重建模型，实现术前虚拟设计及手术模拟。本课题组利用微软公司开发的Hololens (Microsoft Corp，美国)头戴式显示器，在空间中显示三维重建的虚拟图像，将影像数据、术前计划直接转移到术区，实现影像与解剖的吻合，减少在手术计划及影像信息传递过程中的精力、时间消耗及数据误差。手术过程中，术者可以利用语音或者简单的手势在无接触状态下对Hololens图像进行操作[6]，充分利用术前检查所获取的信息引导和修正手术方案。

目前MR技术作为医疗领域的新兴技术，已经在心内科、肝胆外科、神经外科等领域率先开展[7-9]，但口腔颌面外科应用尚少见。本研究旨在尝试在口腔颌面外科手术过程中应用MR技术，探索该技术在口腔颌面外科肿瘤手术的应用可行性和治疗效果。

1 资料与方法

本研究开始前已通过北京大学口腔医院生物伦理委员会审查批准(批准号：PKUSSIRB-202054028)，所有研究对象均经术前充分告知并签署知情同意书。

1.1 患者资料

选择2018年12月—2020年1月间就诊于北京大学口腔医院口腔颌面外科需行手术治疗的口腔颌面部肿瘤患者。纳入标准：颌面部肿瘤位置深在，紧邻重要血管神经，覆盖多个解剖区域，手术风险较大的患者，共纳入8例。应用混合现实技术辅助实施肿瘤切除术，其中骨组织肿瘤5例，软组织肿瘤3例。患者均为男性，年龄19～78岁，平均年龄47岁。按照混合现实技术应用流程辅助手术实施(图1)。

1.2 术前三维重建

术前采用1.25 mm层厚的颌面部CT扫描，于牙尖交错位拍摄取得稳定的上下颌关系, 扫描范围自锁骨上至眶上缘(图2)， 扫描电压120 kV，扫描电流140-160 mA，矩阵512×512，层厚1.25 mm，视野200 mm。CT数据以DICOM(digital imaging and communications in medicine)3.0格式进行输出并储存。将术前DICOM格式数据导入星图影像工作站(维卓致远，中国北京)进行三维重建，过程如下：(1) 利用软件中组织识别模块对骨组织、血管、皮肤和肿瘤进行分割和重建，得到网格模型(STL)文件；(2) 将所有重建的STL文件输入到工作站内部的场景编辑模块进行颜色赋值和透明度预设，三维重建模型中皮肤、骨组织、血管以及肿瘤以不同的颜色显示(图3)，同时利用编辑模块模拟术中肿瘤切除范围以及手术切除后效果；(3)数据以v3d形式传输到“星图”系统，利用混合现实头戴式显示器(Hololens，Microsoft Corp，USA)显示三维重建模型。

1.3 术前配准

采用面部外形配准，选取解剖标志明显且易于定位的结构(内外眦、鼻尖及颏顶点等)进行配准。过程如下：(1)患者仰卧位，将三维模型投照到患者冠状面，将重建皮肤的外眦及鼻尖点与相对应实际解剖结构配准；(2)于矢状面调整，将重建皮肤的下颌角点、颏顶点及鼻尖点与相对应实际解剖结构配准；(3)于水平面调整，将颅脑重建皮肤外形轮廓与相对应实际解剖结构配准，当术中骨组织结构显露后，选取显露的骨组织结构进行配准。

1.4 术中验证

在肿物切除手术中，观测者佩戴HoloLens头戴式显示器，观测肿物以及周围解剖结构的三维重建模型(图4和图5)， 核对重要解剖结构位置是否与三维重建模型一致。术者无需始终佩戴HoloLens头戴式显示器，仅在肿瘤暴露后，观察肿瘤与颈内动脉、颈内静脉等周围重要结构的关系时，以及肿物切除后，验证剩余结构与三维重建模型是否一致时佩戴。

在骨组织肿物切除手术中，在验证重要解剖结构位置基础上，根据术前设计及模拟的截骨线，在混合现实技术引导下于患者颌骨表面标记设计截骨线，同时利用导航技术标记设计截骨线，测量两者之间误差。

1.5 效果评价

选取国内外关于数字影像技术在头颈部使用效果评价所采用的Likert量表[10-11]，术者及第一助手术后填写Likert量表问卷，评价混合现实技术的临床应用效果。

2 结果

对8例患者均完成术前三维重建、术中三维显示和术后评价。手术过程中三维全息图像平均配准时间为12.0 min(9～14 min)。术者在所有病例的手术过程中均都能直观、立体地观看肿物以及周围解剖结构的三维重建模型，如上下颌骨、颅骨、颈内外动脉、颈内静脉、皮肤以及辅助软件编辑模块中所设定的截骨平面，标记点，重建腓骨的位置、长度、摆放角度等，并可在术中自行调整图像。在骨组织肿瘤切除术中，平均误差为5.0 mm(3～8 mm)。8例患者术后伤口愈合良好，均无手术并发症发生。患者术后平均随访8.1个月(1～13个月)，术后恢复良好，未见肿瘤复发(表1)。

表1 8例颌面部肿瘤患者的基本情况及手术情况Table 1 Description of the 8 patients with the oral and maxillofacial tumors

Likert量表问卷结果显示(图6)：(1)在图像重建方面：图像重建效果较好，得分为4.22分，但在手术区域显示与定位的表现不佳，得分为3.75分；(2)在术中图像引导方面得到好评，得分为 4.16 分，能够在术中辅助识别病变部位和正常结构，平均得分为4.19分和3.94分；(3)系统的操作性评分较低，为3.44分，该技术在提高手术效率的潜力评分为3.63分，但使用人员还是认为该技术能够改善手术的安全性，其平均得分为4.28分。

3 讨论

口腔颌面部肿瘤尤其是位置深在或是覆盖多个解剖区域的肿瘤，术中易损伤附近重要的解剖结构，如颈内外动脉、颈内静脉等，手术风险较大。同时由于口腔颌面外科领域对术后外形和功能要求较高，对手术的精确度及安全性也提出了更高的标准。在传统的口腔颌面外科手术治疗模式中，术者通过术前体格检查和阅览影像检查数据(X线片、CT及MRI图像等)获取病症信息，依靠临床医师的专业知识和临床思维制定治疗计划，以外科手术技巧和临床经验实施手术。这种“经验依赖”治疗模式基于术者的解剖学基础、影像立体重构能力及临床经验，缺乏直观的三维演化与诊断[12]。目前CT、MRI等影像数据多通过矢状面、冠状面和水平面以二维方式显示，其自带的三维重建软件往往是对扫描区域内所有结构进行重建，缺乏侧重点，难以明确重要结构之间的关系，且三维重建功能单一，不能满足个性化处理[13]。若通过数字化设计软件，如Mimics (Materialise’s Interactive Medical Image Control System，Materialise公司，比利时)和iPlan CMF 软件(Brainlab公司，德国)[13-14]，处理影像数据形成三维重建模型，可手动标注不同结构(肿瘤、骨组织、血管等)及术前设计方案(截骨线、重建腓骨等)并通过平面显示器上显示，但术者查看重要结构关系时需要将注意力从术区至平面显示器来回转换[15]，同时需要他人协助以改变三维重建模型的大小、方向、透明度等参数，对于复杂部位的三维重建结构往往需要多次操作，影响手术效率[16]。

随着数字化影像技术的不断发展，以增强现实(augmented reality，AR)、MR为代表的计算机图形技术和可视化技术已经对医学领域产生显著的影响[17]。MR技术作为一种新兴的三维可视化技术，其目的是通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭建一个交互反馈的信息回路，以增强用户体验的真实感[18]，该技术的出现改善了以往的“经验依赖”治疗模式。利用患者术前高分辨率的医学影像数据，软件辅助自动识别皮肤、骨组织、动脉等结构，手动描记肿物和静脉，标记重要解剖结构，降低混杂图像影响，重建效果更加精细；利用标志点定位与配准可将三维虚拟模型与患者真实结构精确融合，模拟术中肿瘤切除范围以及手术切除后效果，制定个性化手术计划，减少对经验的依赖[19]；与患者及家属进行术前沟通与交流，获得患者对手术的看法，使其对疾病和手术过程有更直观的认识，提高其依从性[20]；术中三维模型可视化显示并依靠面部外形配准，术者可以直观、精确地查看术区三维解剖图像，提高手术效率[8, 15]。同时在整个手术过程中，术者以及助手可共享三维全息图像，避免术中讨论时有信息传递偏差，及时改进手术方案[15]。

混合显示技术的3个主要特征分别是：现实与虚拟世界结合、实时交互性和精确匹配性[20]，要实现手术过程中三维可视化模型的实时交互和精确匹配，最理想的方式是建立三维模型与患者空间位置的空间配准。目前混合现实技术还未开发出有效的定位跟踪系统。本研究采用手动配准方式[7]，根据Hololens 头戴式显示器利用景深摄像头来获取环境深度信息，通过程序的实时运算完成空间的识别和定位，从而将三维重建模型叠加在空间中，选用特征性标志点(内眦、外眦、鼻根等解剖结构)，在冠状位、矢状位及水平位3个平面上配准，通过不同角度多次配准减少三维重建模型与患者空间位置之间误差。由于软组织受到体位、呼吸、术中操作等影响，会引发组织移位、组织变形、体积改变等问题[15]，软组织的配准误差可能会更大[21]，因此针对软组织肿物主要实现肿物及重要解剖结构的识别与定位，并未对其配准误差进行测量。在5例骨组织肿物的切除过程中，通过与已显露的骨组织表面配准，MR技术所标记的截骨线与导航技术辅助下标记的截骨线相比误差较大，达到5.0 mm,主要原因在于配准环节依赖手动，配准的时间、肿物的大小和位置、三维重建模型跟术者的距离、图像与背景之间的对比度都会影响配准的误差，造成配准精度不足。在目前的口腔颌面部手术当中通常使用导航技术来进行实时配准，这是一种无框架立体定位技术，导航精确度可控制在2 mm以内[22]。希望在未来工作中，通过开发导航端口与混合现实技术的适配性，提高配准精度，做到立体定向引导下的三维可视化技术。

混合现实涵盖了增强现实和增强虚拟，旨在将人与虚拟世界和现实世界融为一体，但由于混合现实技术要求较高，直到Oculus Rift、微软的HoloLens头戴式显示器等出现后才进一步开启对该技术的开发和应用[23]。目前增强现实技术、虚拟现实技术结合图像融合技术在医学领域的应用已并非难事，但目前混合现实技术应用于口腔颌面外科领域很少见报道。本课题组在颌面外科肿瘤手术中探索性地应用该技术，总结了在颌面外科中应用混合现实技术的相应流程，尝试并改进了三维重建模型与实际结构的配准方法。使用过程发现Hololens在背景光线较强的情况下，如在手术无影灯照射术区时，三维模型显示的对比度较差，术者无法清晰地识别三维重建模型中自己需要观察的结构。同时，当三维重建模型透明度较低时，会阻挡术区部分结构，造成术者难以识别正常组织结构。本课题组通过术前多次试验进行调节，发现采用互补色标记三维模型的不同结构能够提高图像的对比度，提高图像的透明度可以减少对正常结构及手术器械的阻挡。

Likert量表是一种常用技术应用效果的评估工具，它是由心理学家Likert[24]在1932年开发的，通常有3个或更多的反应类别可供选择。Likert量表作为调查表的一种，受调查人员可以选取不同的分数指出自己对量表语句的认同程度，在国内外关于混合现实技术效果评价研究中已有应用[10-11]。本研究手术人员可以通过Likert量表量化评价对该项技术的态度，问卷调查的结果发现，混合现实技术在感知准确性、帮助定位解剖部位、术中图像引导作用以及改善手术安全性的潜力方面评分较高，分别为4.22、4.19、4.16和4.28分，说明手术人员对这几方面持认可态度，但在技术操作方面得分为3.44分，提高手术效率方面得分为3.63分，多数人员反馈表示，急需开发有效的定位跟踪系统，部分人员反馈HoloLens的手势操作功能敏感度较差，小范围调节图像时还需要助手在平板上操作，问卷结果同样表明，实现图像的精确配准是目前混合现实技术亟待解决的问题，如何实现人与机器更好的交互操作也需要关注。

通过MR技术辅助实施口腔颌面部肿瘤切除手术，本课题组体会到该技术的优点在于：术前模拟手术，制定个性化治疗方案，及时发现设计缺陷并加以改进；术中复杂结构三维可视化，识别并定位重要解剖结构，提高手术安全性；专有手势控制三维模型，符合手术无菌要求；数据信息共享，避免信息传递偏差；利于辅助教学及远程医疗。但同时也存在一些问题：三维重建模型叠加于实际结构上，二者相互干扰，影响正常术区结构观看或者三维重建模型效果；三维模型与患者空间位置未实现空间配准；HoloLens设备重579 g，在术中长时间佩戴加重术者颈椎负担，仅在手术关键区域佩戴以判断肿物与周围重要结构的比邻关系，且HoloLens硬件成本较高(接近20 000元)。目前仅是对该技术在口腔颌面外科领域的探索性应用阶段，Gregory等[18]认为制约MR技术从研究到广泛应用的原因主要是成本问题，随着近几年MR、AR设备价格不断下降，这种情况会不断改善。随着技术应用病例数增加，单次使用成本降低，可对混合现实技术指导下和传统影像技术指导下手术初次切除边缘阳性率、手术时间、术中出血量、住院时间，术后并发症发生概率、术后复发概率等进行统计学分析，通过数据支撑来评估该技术的应用价值。

综上所述，本研究通过8例患者探索性应用MR技术辅助实施口腔颌面部肿瘤切除手术，发现MR技术对肿瘤范围确定、重要解剖结构的定位与识别、减少对经验以及空间想象力的依赖、减少周围解剖结构损伤、手势控制实现无菌操作等方面具有指导作用。MR技术能通过三维可视化技术引导手术操作，赋予口腔颌面外科医生一双“透视眼”，提高手术的准确性和安全性。