基于双目视觉的三维重构在运动损伤中的应用与研究

卢 荣，宋权予

（广东科技学院 广东 东莞 523083）

1 引言

目前，我们有很多场景是通过普通相机无法拍摄的，更不可能得到三维全景图像，比如说人体的膝关节。而基于双目视觉的三维膝关节重构，通过两台相机获得的数据进行立体匹配后，得到深度信息，之后进行三维模型的构建，也就是从二维图像到三维模型的构建。这项技术除了对VR技术、计算机视觉方面有着重要的影响外，对医学中的人体结构的三维重构也具有很深的临床医学研究价值。

2 研究现状

通过两个感光CCD摄像机固定在同一条水平轴上类似于人眼看物体时双眼成像的原理，然后两个角度同时去观测膝关节，将不同视角下的不同光照环境下的膝关节图像，利用水平视差得出深度信息，然后采用立体匹配的方式。立体匹配是为搜索物体同一点在左右两个视觉图中的投影。为了能够在重建精度效果和时间效率上均衡，可通过模式匹配处理算法，来进行图像的均匀增强和图像的分割。三维重建技术是计算机视觉、人工智能、虚拟现实等领域研究的热点和难点问题，用计算机来显示虚拟的人体膝关节技术，三维建模的关节测量数据值接近真实人体，对如何选择关节内口位置具有显著的临床医学意义，通过测量的数据进行统计分析，比对运动屈曲状态和伸直状态下的膝关节数据进行膝关节的三维重构，比原始的二维数据更加真实贴切。

在基于双目视觉的三维重构发展史上，日本东京大学研发了机器人动态行走导航方针系统，大阪大学则研发了自适应的双目视觉伺服系统，实现了自适应的运动数据跟踪。日本的Nihon大学则采用双目视觉进行对人体身高自动测量的研究。我国多个科研机构诸如中科院自动化研究所、浙大机械系都曾采用了双目视觉进行了机械物的三维重构。

三维建模后的模型和真实实体相差无异，对模型上的测量数据甚至可以替代对实体上的测量，仿佛实体上的测量，不需要切除所覆盖的组织即可深入内部测量，可以任意增加大量的测量点，使得测量点均匀的分布在要测量的膝关节内部，这样通过关节的运动，对测量点的运动轨迹的追踪和数据的分析，更容易找出膝关节中的关键数据-等距点。该模型的建立除了具有良好的研究价值外，还利于外科手术的定位，有利于临床医学的研究和手术当中的应用。

3 研究策略

在体育运动当中，有关体育运动的损伤大多数都是人体关节的损伤，而这其中以膝关节和踝关节居多。前交叉韧带是维持膝关节稳定的重要静力结构，在运动和外伤中经常受损，如不及时修复将会造成膝关节其他韧带的松弛，以及关节内部软骨和半月板的受损，都对关节运动产生不可逆转的巨大影响，甚至影响到今后的关节屈曲运动。关节镜下ACL重建术作为修复ACL是延缓关节退变的重要方法，对关节镜下ACL重建术后10天内的患者，进行多层螺旋CT三维重建，具有非常高的临床医学价值。有关膝关节的韧带损伤，通过外部物理检测误差较大，虽关节镜检测精度较高，可是关节镜是有创操作，有一定的风险，很难被患者所接受。本课题的主要意义是通过对人体关节点的三维重构，再现关节外部及内部韧带结构，来实现对体育运动中人体膝关节外部和韧带损伤的检测，从而对患者实施有效的重建手术。

本文是对标定方法、匹配方法和深度后处理等方法进行深入的研究，并将人体部位进行具有较好直观效果的三维重构。所采用的技术储备方案有三种：

（1）技术储备一：摄像机标定技术。研究基础是在传统的摄像机标定方法上提出基于棋盘平面方格的半自动摄像机标定方法。

（2）技术储备二：匹配策略与匹配算法。同过研究平滑窗口函数自适应算法以及和Harris角点与区域联合的立体匹配算法。

（3）技术储备三：深度信息处理求和后续处理。深度的感知测量从而进行了三维重建，通过不同视角下的双目视差，进行了数据测量从而获得了3D的建模数据，通过深度数据分析、计算和统计，在MFC的OpenGL平台上，进行深度提取和三维重建。

4 实验效果

本项目的特色和创新之处，将人工智能、模式识别与图像处理等技术综合应用于开发，从技术上实现三维重构在人体组织上的有效应用。通过高效率且低成本的三维重构人体运动关关节，基于特征的匹配，重构的三维模型更接近真实人体关节，在运动关节的病理临床治疗上提供了一个更加真实的参考模型，因此具备一定的医学研究价值。

如图1所示，暂时未考虑软骨组织的人体左右膝关节三维重建图。

5 结论与改进

5.1 结论

本文研究的最终目的是为了医学重建ACL，通过最终建立的ACL模型的参数和人体损伤的关节所反馈出来的疼痛感来对ACL的受损程度进行判断。如果为严重的关节损伤者，那么则需要最终重建ACL损伤部位来植入到患者关节当中。

5.2 改进

（1）如何解决匹配速度与精度以及匹配窗口大小难以选择的问题；（2）如何利用区域匹配视差图的致密性以及特征匹配视差图的鲁棒性；（3）如何解决匹配误差及标定偏差等原因带来的深度图不平滑、边界不对齐的问题；（4）如何完成韧带医学的三维重建。

[1]余俊.基于双目视觉的机器人目标检测与控制研究[D].背景交通大学，2011.

[2]佟帅、徐晓刚，等.基于视觉的三维重建技术综述[J].计算机应用技术研究.2011，28(7)：2411-2417.

[3]薛亚东.双目视觉技术在人体交互体育运动中的应用[J].自动化与仪器仪表.2016年第8期：267-268.

[4]高艳、唐晓英，等.基于物体空间序法的CT图像三维重建算法的研究[J].北京生物医学工程.2003，22(3)：180-183.