基于MR技术下的医疗混合现实技术手术室设计

黄 丹 朱 婷

（湖南环境生物职业技术学院，湖南 衡阳 421005）

随着互联网、计算机图形处理技术和人工智能技术发展，混合现实（Mixed Reality，MR）技术在各行业受到重视[1]，成为信息模拟化和形象化呈现的关键技术，具备技术跨度大、应用频率高、使用效率高以及未来发展潜能大等特点[2]。目前，MR 技术与产业的发展路径需要进一步结合[3]。从MR 技术方面来看，该技术在感知交互、渲染处理以及影像处理等方向发展较快。

1 MR技术下的医疗混合现实技术

MR 技术的应用实例如下：1）辅助诊疗。例如实现超声成像与人的视域内真实图像的融合显示。2）心理健康疾病的辅助治疗[4]，心理健康疾病包括抑郁、焦虑、毒瘾以及恐惧（恐高、恐飞等），有大量的游戏专门用来治疗各种心理疾病[5]。以恐高症为例，可以专门设置一个虚拟的环境，不断刺激大脑，逐渐适应这样一个高度，当佩戴该头盔时，沉浸式的感觉是非常强的。3）疼痛管理。通过注意力分散疗法来降低严重皮肤烧伤患者的疼痛感知等。

2.MR 技术的算法以及设计

2.1 三维扫描系统

三维扫描技术在国外研究起步较早，并取得了一定的研究成果。利用激光扫描仪和高分辨率的彩色相机，IBM 的H.Rushmeier 和F.Bernardini 领导的团队精确扫描了米切朗基罗佛罗伦萨圣母怜子雕像，结合模型的几何数据与彩色相机的色彩信息，重建了较好的三维效果。Debevoc、Taylor 等构建了Facade 建筑物重建系统，并利用RGB-D 进行三维重建，即Shahram Izadi 等利用微软公司发布的Kinect 传感器研发出的KinectFusion 算法[5]。与国外相比，国内的三维扫描技术研究起步较晚，在技术手段等方面涉猎不深，对模型的重建效果也未能达到理想地步，因此具有很大的进步空间。

2.2 医学断层图像三维重建算法

2.2.1 坐标系的建立

医学断层图像三维重建需要建立坐标系，通过摄像机定位实现与现实三维世界映射的关系，即通过坐标系的形成使之与人体层映射关系，从而建立三维图形，在整个理论推导过程中，医学断层图像三维重建需要利用各项坐标系，包括摄像机坐标系、图像坐标系、世界坐标系以及成像平面坐标系，4种坐标系相互结合。

2.2.1.1 图像坐标系U-O-V

图像坐标系中灰度图像可以将图画看作为数字图像，可以组成的二维数字矩阵，由多数矩阵形成成像平面，既每个矩阵元素值不同，其亮度信息也不相同，可以表达一副图像所含的数据，如图1所示，图像平面坐标系建立在数字矩阵基础上，以此类推，从而组合成与世界坐标系相对应具体图像。

图1 图像平面坐标系

2.2.1.2 成像平面坐标系XI-OI-YI

如图2所示，通过矩阵像素的坐标形成成像平面坐标系，简单来说，成像平面上涵盖成像平面坐标系，像机CCD 感应元件平面就是数字摄像机成像平面，原点为成像平面与光轴的交点，记作OI，其单位设定为mm。

图2 成像平面坐标系

成像平面是根据摄像机感应元件形成的光束，按照一定比例与坐标系对应，从而形成图像矩阵。其中，坐标系各个点之间相互关联，因此U-O-V中的点（u，v）与成像平面坐标系XI-OI-YI中的点（xI，yI）的关系如公式（1）所示。

式中：（u0，v0）为XI-OI-YI原点OI在U-O-V中对应的坐标；dx和dy为每个图像中像素在成像平面上对应的物理尺寸（dx·dy（单位为mm2）为每个成像平面坐标系的面积，为图像中小单元表现的一个像素）；u为点（u，v）的横坐标；v为点（u，v）纵坐标；xI为成像平面坐标系的横坐标；yI为成像平面坐标系的纵坐标。

结合成像平面坐标计算，将公式（1）与矩阵进行转换，如公式（2）所示。

2.2.1.3 摄像机坐标系OC-XC-YC-ZC

基于成像平面坐标系的原理，摄像机将摄像物品映射在摄像机坐标系OC-XC-YC-ZC上，形成有效摄像机成像，如图3所示。坐标原点OC与投影中心重合，类似于原点平移，XC和YC轴平行于成像平面坐标系XI-OI-YI的XI和YI轴，但是会等比放大或缩小。其中，ZC轴与光轴重合，可以看到摄像机与成像平面具有对应的关系，OC与OI的距离即为摄像机焦距f，在一定距离的焦距下可以进行呈像。

图3 是基于图2 进行的转化，利用公式（1）可以确定呈像关系，可以得到摄像机坐标系OC-XC-YC-ZC中的物点P（xC，yC，zC）与成像平面坐标系XI-OI-YI中的像点p（xI，yI）之间的关系，如公式（3）所示。

图3 摄像机坐标系与成像平面坐标系的关系

可以将公式（3）转化为矩阵，如公式（4）所示。

2.2.2 三维重建原理

该文基于上述呈像原理，采用线性标定方法进行三维重建，即了解图像坐标与世界坐标的关系，利用摄像机标定其映射关系，通过事物的图像坐标进行立体匹配，从而确定2 幅图像的对应关系，进而计算事物在世界坐标中的坐标。

三维重建可以划分为点、直线、平面、曲线以及曲面的三维重建，可以通过不同处理基元进行区分，该文主要对医学影像进行三维重建，要确定其匹配基元，就需要对其线性标定方法的三维重建原理进行研究，才能建立三维立体形状。

三维重建原理如下：（xW，yW，zW）作为物点坐标系坐标，为未知数，设定图像坐标，（uL，vL）、（uR，vR）为物点在左、右2 个摄像机的图像坐标系中投影点的图像坐标，ML、MR为2 个摄像机的投影矩阵，主要描述其图像呈现情况，由摄像机投影矩阵式可以得到公式（5）、公式（6）。

在公式（5）中消去zCL，在公式（6）中消去zCR，可以得到公式（7）。

可以采用最小二乘法求出（xW，yW，zW），过程为将公式（7）写成矩阵形式，如公式（8）所示。

将公式（8）简写为公式（9）。

式中：A为矩阵；X为向量；B为向量。

A、X和B分别如公式（10）～公式（12）所示。

由最小二乘法可以得到公式（13）。

通过最小二乘法可以对医学成像中的立体图像匹配物点坐标进行计算，从而求出世界坐标信息。

2.3 三维重建试验与结果分析

在医学影像三维重建试验中，可以根据双目边缘测试抓取工件，这样机器会对其进行工件几何中心立体信息进行获取，得到相应数据，从而得到相应工件几何中心点的世界坐标，进而获得相匹配的中心点。

试验步骤如下：1）读入匹配出的特征点。医学影像中，使用M=dlmread（‘…\Row1.txt’）；Row1=M（2：size（M），2）；等命令获取特殊点的行列值，该系统可以采用相应软件录入特征点，可以结合命令读入MATLAB 文件Calibration.m 中，在医学影像中，可以为三维重建提供对应匹配点。三维重建试验数据见表1。2）获取各匹配点世界坐标值。在读入匹配特征点后，还需要获取相应的世界坐标值，因此，当运用三维重建原理时，需要对其实现函数进行利用，例如公式（2）等，从而获得匹配点的三维世界坐标值并结合相应命令存储到指定文件，进而将其保存到相应程序中，世界坐标见表1。

表1 三维重建试验数据

3 基于MR技术下医疗混合现实技术手术室设计结果分析

3.1 平面图像

如图4所示，平面图像经由医学影像相关器件，可以呈现其CT 图像，显示位图功能，其特点如下：

大多数医学影像器材都支持高分辨率的数据，在工具栏中，红色为描绘边界，能够清楚看清人脑的CT 成像，大多数CT 图像具备存储数据有12 bit，仅表示1 个像素，在这里，CT图像所采用的显示卡显示256 级灰度图像，在工具栏中可以设置不同窗框宽和位置，能够对一个灰度范围进行显示（范围为0～4 096）。

红色的边界为自动生成的轮廓线，在医学影像中可以直接对齐轮廓线进行编辑（如图4（b）所示），可以对其进行删除点、隐藏轮廓线以及增加点斗进行操作，Command 设计模式可以对轮廓线进行编辑，对CT 图像进行查看和分析。

图4 手术室CT 图像以及三维模型图像呈现的运行窗口

3.2 三维模型

图4（b）为三维模型图像呈现的运行窗口，利用其类图相关的命令进行功能变换，在呈现的图像中，为了从不同角度查看三维模型的位置，可以设置移动、旋转以及缩放等功能，采用渲染流程，RenderWindow 可以进行绘制，CMy3dView 可以进行参数调用，这样就可以在窗口中可查看医学影像三维立体模型，采用鼠标就可以进行模拟操作，拖动其图示进行变换，以便医生更好地了解影像。同时，三维模型还可以进行动态演示，从而实现医学影像的动态形式。

4 结语

该文基于MR技术下的医疗混合现实技术手术室设计，结合医学影像三维重建软件My3d，My3d 接受符合DICOM3.0 的数据作为输入，可以进行三维重建，该文主要采用坐标系计算和三维重建原理形成医学影像示意图，在程序设定中，可以进行分割，二维图像自动组成重建三维模型。因此，在实际应用中，医生可以根据重建结果查看医学影像内容，包括对相关器官进行观察。同时，医生还可以对各种参数进行调用，以便帮助医生了解病人情况，判断病灶。