基于序列图像三维重建的图像预处理研究∗

列志生 韩美茵 潘家辉

（华南师范大学软件学院 南海 528225）

1 引言

1.1 研究背景

目前，三维重建系统主要分为以下两类［1］：一类是利用精密的硬件设备，如激光扫描仪、结构光、深度扫描仪等，直接测量出物体表面点的三维坐标。这类系统对硬件设备要求较高，通常难以实现技术的普遍化，也就难以应用于广大的衣物服饰公司。另一类三维重建系统是通过摄像机成像模型，从二维图像中计算出物体的三维结构。这类系统虽然成本较低，但是重建结果容易受到其他因素的影响，例如照片的背景、照片成像平面有所偏差等。针对第二类系统存在的缺陷，本研究主要面向于三维重建过程中的预处理模块，在预处理模块中尽量减少上述影响因素对后期三维重建操作带来的影响。三维重建预处理是进行物体的三维重建前的重要操作，对最终的三维重建效果起着关键性作用。

1.2 研究现状

目前，国外的三维系统研究技术较为成熟，其中的两种成熟系统如下：法国的Total Calib系统，需要半手工地完成图像的匹配，摄像机定标以及三维重建，以获得较好的重建结果［2］。比利时的物体三维表面自动生成系统，要求用户利用手提摄像机围绕要重建的物体拍摄一系列的图像，通过对图像对应点的密集匹配，即可自动地实现摄像机的自定标和分层重建［3］。

国内的三维重建技术的研究虽然还没有达到成熟的系统阶段，但是也取得了较好的成绩：中国科学院雷成等人成功完成了对CVSuite软件的研究，利用三张不同角度的照片即可完成三维模型的重新构造［4］。东南大学管叶鹏等人利用双目视觉的原理研究立体匹配的方法并取得成效［5］。

目前，很多的三维重建研究都从高端仪器采集转为低端设备采集，如华中科技大学熊章完成了对单目相机拍摄的序列图像三维重建的研究［6］，中国民航大学曾昭鹏等人研究了对智能手机成像的三维重建［7］。对低端设备拍摄的照片来说，对图像的处理效果要求很高。而目前对三维重建预处理模块的研究还很少，因此，本文旨在探索三维重建预处理的新方式。

2 三维重建预处理

三维重建预处理的对象一般是一组具有序列性的图像，通过数字图像处理的相关方法，使图像中的目标更加清晰以及统一，方便后续三维重建的操作。三维重建预处理操作有三个目的，一个是利用几何图形变换方法使得镜头的成像平面处于同一平面；第二个目的是进行色差增强，防止序列图像太暗或者太亮；第三个目的是进行图像的边缘提取，使得图像的目标和背景分离。因此，本文对图像进行边缘提取前需要先进行立体校正和色差增强的操作，在初始提取边缘后还需要进一步优化图像边缘，减少背景杂点影响。

2.1 立体校正

为了降低三维重建后期的计算量，照相机的镜头成像的平面应该要处于同一个平面当中。但是，仅仅依靠严格的摆放镜头来控制成像效果显然是不可能的，也会加重使用者的负担，使得三维重建技术无法得到普遍应用。

立体校正把实际上不在同一平面的两幅图像校正成处于同一平面的两幅图像。在序列图像中对每幅图像作立体校正的操作，从而达到以上目的，方便后续三维重建流程的搜索操作。

在进行立体校正前，我们需要对相机进行标定操作，获得畸变参数k1，k2，k3，p1，p2，对序列图像分别利用以下几何变换公式可以得到立体校正后的序列图像［8］。

设x，y分别为校正后图像中像素点的坐标点（x，y），r2=x2+y2，立体校正公式可以表示为

在序列图像中，分别使用上述公式调整，得到新的序列图像，即为处于同一水平面上的序列图像。

2.2 色差增强

色差增强是为了防止图像过暗或者过亮导致边缘识别效率过低。色差增强主要使用直方图均衡化的方法实现，又称为直方图平坦化［9］。

直方图均衡化是对原始图像的像素灰度作某种映射变换，使变换后的图像灰度概率密度呈均匀分布，也就是把随机分布的图像直方图修改成均匀分布的直方图，增加了图像灰度的动态范围，一定程度上增强了图像的色差。

2.3 边缘提取

边缘提取是三维重建预处理的最终目标，正确识别图像目标的边缘，能够很好地分离目标和背景。在进行边缘提取前，需要对序列图像的每一幅图像进行相关操作，突出目标对象的边缘。

2.3.1 对比度调整

为了增强图像目标和背景的差异性，需要对序列图像进行对比度调整，突出图像目标的边缘。本实验使用的是传统的对比度调整算法。

设i，j分别为图像的像素点位置（i，j），α为增益参数控制图像的对比度，β为偏置参数控制图像的亮度。图像对比度调整公式可以写为

其中，g表示调整后的图像像素点，f表示源图像的图像像素点。

2.3.2 提取对象边缘［10］

三维重建预处理模块的主要功能就是提取图像中目标的边缘像素。目前较为流行的几种边缘提取算子有三种，Canny算子、Laplacian算子和So⁃bel算子［11～12］。

Sobel算子为梯度算子，计算方法比较简单，适用于识别图像的大致边缘。相比于其他的算子来说，Sobel算子对边缘的识别效果或许不是最佳的，但是其运算速度以及对简单图像的边缘识别效果是显著的，因此本次实验主要采取的是Sobel算子进行边缘提取。

对于三维重建过程来说，在预处理阶段需要识别的只有一个目标对象，对于细小的边缘部分不需要识别。本实验将采用计算方法比较简单的Sobel算子，配合Scharr滤波器实现序列图像的大致边缘提取［13］。

Sobel算子的表达式为

其中Dx和Dy分别表示水平和垂直方向的算子，他们分别为

由上述公式对序列图像进行处理，可以得到一个新的序列二值图像。

2.3.3 边缘轮廓优化

上述操作可以得到一个获得图像目标大致边缘的二值图像，优化边缘轮廓就是要把该二值图像的背景消除，去除相关杂点，获得较好的目标边缘。

边缘轮廓优化主要对象是背景中的疑似边缘的少数点集合，所以主要操作包括图像的开运算以及连通域去除杂点操作。

图像的开运算是指对图像进行腐蚀再膨胀的操作，用于消除图像中细小的对象物［14］。

连通域去除杂点操作主要是通过对二值图像的每个像素点进行连通域判断，对于同一连通域中像素点总数很少的，则可认为这些点是背景杂点，直接剔除［15］。

3 实验分析

实验主要利用OpenCV和C++语言实现图像的相关操作，实验设备为Intel（R）Core™i7-6500U 2.50GHz中央处理器，使用的操作系统为Win⁃dows10教育版64位操作系统，开发环境为Micro⁃soft Visual Studio 2017，其中OpenCV版本为3.4.2，实验通过处理流程前后的结果对比来验证预处理操作的正确性。

3.1 实验流程

本实验主要分为20组，每组10张衣物图像，以此作为原始序列图像（如图1所示），对于每一组衣物图像来说，根据该相机的畸变矩阵：［0.0715，0.0112，0.0046，-0.0004，-0.3261］，代入式（1）（2）（3）（4）中可以得到立体校正之后的新的序列图像，其中一张图像的效果如图2右图，对校正后的图像进行直方图均衡化，再利用式（5）代入α=0.5，β=25计算每一个像素点的变化，形成图像之一如图3右图，此时利用sobel算子对得到的图像进行边缘提取，然后利用该二值图像进行三次开运算来过滤部分小杂点，再使用连通域的方法对图像进行标签化操作，去掉像素点个数小于最大连通域像素点个数1%的连通域像素点，此时得到的区域即为目标对象的边缘，即最终输出图像，其中一副图像的效果如图6。

图1 实验使用的衣服序列图像示例

图2 图像的校正结果对比

图3 色差增强前后对比

图4 初次边缘提取图像

图5 开操作后的图像

图6 最终图像

图7 实验使用的衣服序列图像处理结果示例

3.2 结果分析与对比

1）图2为序列图像中一张图像的立体校正结果。其中，对立体校正来说，对比处理前后的两张图片可以看出，图像的处理效果不太明显。立体校正主要是为了减小由于相机滑动不平稳而导致的误差，由于目前手机相机像素较高，防抖动效果较好，所以畸变程度不高，该误差不易被观察。

2）图3的两幅图像是对序列图像之一进行色差增强前后的衣物图像。在对序列图像进行色差增强操作的过程中可以发现，处理后的图像亮度比处理前的图像亮度大，目标与背景的差异性也有所增强。

3）图4是使用sobel算子进行边缘提取的图像效果之一。从提取结果中可以看出，sobel算子对简单图像的提取效果较好，衣物边缘成功提取出来，但是图像依然存在部分背景杂点，由此可见，仅使用sobel算子进行边缘提取未能达到预期效果，对如图4左下角的较大面积的杂点无法去除。

4）图5是对边缘提取后的图像进行开运算操作的结果之一，图像与图4对应。其中对比可以看出，开运算的结果使目标边缘更加突出，但是相对的对背景杂点的边缘也较为突出。开运算主要处理了一些较小的杂点，对面积较大的杂点无法去除。

5）图6是对图5进行连通域去除杂点的结果，与图4、图5对应。进行比较之后发现，该处理结果较为理想，对目标外的背景杂点基本去除。

6）图7为进行预处理操作得到的新的二值图像序列，对应图1中的照片。实验所用图像大小为589*800像素，其中一组实验中，处理10张图像共用时64.417s，平均每张图像用时只有6.44s，图像处理效果较好。

通过流程前后处理结果的对比，该处理流程对输入的三维重建序列图像来说，能够较好地去除背景杂点，具有较好的处理效果。

4 结语

通过对衣物图像三维重建预处理流程的研究，对比每个阶段的结果可以发现，经过多步的背景提取和优化，目前对背景杂点有较好的消除效果，最后得到的结果图像基本不存在背景杂点，比较适合作为三维重建操作的输入图像。在实验过程中，对于背景复杂的输入图像来说，要完全消除背景影响的难度较大，由于识别目标边缘过程中，可能会认为部分背景也属于目标之一而不被消除，所以本实验使用的图像主要是面向于没有大型物体作为背景的图像。接下来的研究工作要解决背景有疑似目标物体的情况，在不损耗目标边缘像素点的基础上，提取对应目标边缘。实现对低配设备拍摄的照片进行三维重建，能更好地应用于各个领域，能推动部分行业的快速发展。在此方面的研究，具有一定的研究价值。