自遮挡物体线激光测量视点规划

陈天凡　 高诚辉　何炳蔚

1.福州职业技术学院，福州，3501082.福州大学，福州，350108



自遮挡物体线激光测量视点规划

陈天凡1,2高诚辉2何炳蔚2

1.福州职业技术学院，福州，3501082.福州大学，福州，350108

摘要：针对未知自遮挡物体的测量和三维重建问题，提出利用Kinect Fusion技术快速重建和线激光精密测量相结合的视点规划新方法。应用Kinect Fusion技术快速获取未知自遮挡物体表面的深度信息模型，研究提出轮廓表面的截面特征信息提取方法，在此基础上分析轮廓表面的截面形状特征，根据五自由度线激光测量系统的左右方向和上下方向测量可视性判断，在最佳测量范围内进行线激光测量全局视点规划，准确、快速消除自遮挡和点云孔洞，最后获得重建精度高的三维物体表面。经过自遮挡物体重建实验，验证了所提方法的可行性及有效性。

关键词：机器视觉；视点规划；自遮挡；Kinect Fusion；线激光

1线激光视觉系统测量原理

在物体表面三维重建过程中，物体表面的三维数据信息通过接触式或非接触式的测量方法获取，应用线激光视觉系统获取三维数据是非接触式测量中应用最广泛的方法之一。线激光视觉系统测量原理如下：由激光发生器向测量空间投射出一个激光平面,激光平面与被测物体表面相交为一条曲线，形成一条亮的光条；光条的位置包含了被测物体表面该截面的三维信息,在摄像机的像平面上反映得到光条的二维图像；光条上的点P 三维坐标为(xw,yw,zw), 反映在像平面上的二维像点坐标记为(u,v), 如图1所示；由于激光发生器与摄像机之间的相对位置不变，所以从二维像点坐标(u,v)可以得到对应的三维物点坐标(xw,yw,zw)。通过建立数学模型，得到函数(xw,yw,zw)=f(u,v)。

图1　线激光视觉系统测量原理示意图

线激光视觉系统的激光发生器和摄像机有一定距离，与被测表面形成一定的角度，测量时如未能同时满足在被测表面形成一条亮的光条和摄像机获取反射信息两个条件，就会产生点云孔洞。由于视觉系统自身结构或者被测物体自遮挡等原因，使得视觉传感器无法获得被测表面的全部三维信息，需要将多个视点扫描后的三维点云进行拼合以得到被测物体的表面模型。被测物体表面结构如凸、凹等特征产生的自遮挡导致线激光无法投射到被测表面或视觉系统无法获取表面反射信息，更容易产生点云遮挡孔洞。在物体三维建模或测量时经常需要得到物体表面各处的精确三维数据，这时就必须消除点云孔洞。

消除点云孔洞的常用方法有基于图像处理的点云孔洞修补法[1-3]和基于孔洞表面视点规划的扫描消除法[4-6]。基于图像处理的点云孔洞修补法对孔洞为较小区域且孔洞表面形状相对规则的情况能够保证一定的修补精度，但对非封闭模型在边界附近存在点云缺失的情况难以进行修补[7]，且因是以修补算法拟合逼近真实表面，故对于较大孔洞或孔洞表面形状特征相对复杂的情况如何保证修补精度是个难点。扫描消除法直接采集孔洞区域的表面三维数据，能够保证物体三维建模的形状特征不变性和拟合精度，如何选择合适的视点位姿以消除遮挡孔洞是视点规划研究的难点和重要内容。文献[8-10]开展了通过扫描测量消除遮挡问题的研究，以点云遮挡孔洞表面的二维轮廓边缘或投影为基础确定视点位姿，适于解决遮挡部分表面比较顺滑和具有外凸结构特征的情况，但对于存在多处遮挡且结构相对复杂的物体表面，规划效果差，规划结果仍会出现点云孔洞。

本文针对未知自遮挡物体的测量和物体表面三维重建问题，提出Kinect Fusion技术[11]和线激光测量全局视点规划相结合的测量新方法。先应用Kinect Fusion技术快速获取未知自遮挡物体表面的深度信息重建模型，在此基础上以五自由度线激光测量系统左右方向和上下方向被测物体轮廓表面的可视性为依据，在最佳测量范围内进行线激光扫描全局视点规划，消除自遮挡和点云孔洞，最后获得重建精度高的三维物体表面。

2应用Kinect Fusion技术获取深度信息

模型

Kinect是一种深度传感器，最初作为XBOX 游戏机的外围设备，Kinect深度传感器促进了三维的非接触式人机交互，近年来广泛应用于体感游戏、手势控制、视频跟踪、人体扫描等领域[12]。Kinect Fusion是微软研究院推出的一个研究项目，用于Kinect深度传感器实时地重构物体三维表面，并具有人机交互功能，支持导出stl和obj等三维数据格式。Kinect深度传感器利用Kinect Fusion技术获取的深度信息图像刚开始时不清晰且有较多孔洞，通过移动Kinect深度传感器继续扫描，几秒钟后就能实时重建测量空间场景，显示被测物体三维表面，提供点云数据。

Kinect Fusion系统通过Kinect深度传感器的自由移动，从多个角度获取被测物体的深度信息数据并进行融合，重建出单帧光滑表面模型。当Kinect深度传感器移动时，深度信息数据被不断加入，测量系统能自动记录跟踪摄像头6个自由度的位置以及姿势，获得各帧图像之间的关联情况，结合不同角度采集的多帧图像数据就能够融合成单帧重建好的定点立方体。Kinect Fusion系统对深度信息数据连续融合，逐帧采用基于GPU的ICP等算法进行模型配准和6自由度位姿变换计算，应用平滑算法去噪，优化测量数据，从而提高被测物体的重建质量。

一挂钩模型实物照片见图2a，利用Kinect Fusion技术获取测量空间深度信息图像，去除背景等其他图像后得到重建的挂钩模型表面如图2b所示。虽然三维轮廓建模精度不够高，但能反映被测物体表面轮廓的基本情况，在此基础上，可得到物体表面不同位置的截面特征信息，结合线激光视觉系统测量轮廓的可视性进行视点规划。

(a)实物照片

(b)深度信息重建模型

3线激光扫描全局视点规划

3.1五自由度单目线激光视觉系统

本文实验设备为五自由度单目线激光视觉系统，它具有可带动被测物体进行旋转和翻转运动的工作台。如图3所示，OXYZ坐标系为视觉系统设备的坐标系，OTX1Y1Z1坐标系为以工作台旋转中心OT为原点的工作台坐标系。视觉系统设备5个自由度的运动分别为：①X方向，视觉系统在-400～400mm的行程内平移运动；②Z方向，视觉系统在0～400mm行程内做平移运动，线激光发生器的扫描高度为50mm；③Y方向，工作台带动被测物体在0～300mm行程内做平移运动；④工作台带动被测物体绕OTZ1轴在0°～360°范围内转动；⑤工作台带动被测物体绕OTX1轴在0°～180°范围内翻转。视觉系统有效测量深度是被测物体表面距离视觉系统64～186mm的测量范围，最佳测量深度为94～186mm[10]。

图3　 五自由度单目线激光视觉系统测量示意图

3.2物体表面的截面信息提取

因在视点规划时要根据物体表面轮廓与OXY平面平行方向的截面及与OYZ平面平行方向的截面特征来判断物体表面不同位置的可视性，所以需要提取被测物体轮廓深度信息图像在不同视点下的截面信息数据，分析物体表面不同位置的截面形状特征。

设被测物体在Kinect坐标系中点云数据为A，各点坐标为(xAi,yAi,zAi)，经坐标系变换后在工作台坐标系OTX1Y1Z1的点云数据为B，各点坐标为(xBi,yBi,zBi)，即

(1)

式中，RK、TK分别为Kinect坐标系转换到工作台坐标系的旋转矩阵和平移矩阵。

当被测物体随工作台绕OTZ1轴线转动角度α，再随工作台绕OTX1轴翻转角度β(角度以逆时针方向为正，顺时针方向为负)时，物体处于新的视点测量位置,如图3所示。此时物体在视觉系统坐标系OXYZ中的点云数据为C，各点坐标为(xCi,yCi,zCi)，计算式如下：

(2)

Tw=[twxtwytwz]T

其中，Tw为工作台坐标系转换到视觉系统坐标系的平移矩阵；RZ、RX分别为绕OTZ1轴线转动和绕OTX1轴翻转的旋转变换矩阵：

(3)

在视觉系统坐标系OXYZ中，需根据物体表面的点云数据C求取与OXY平面平行及与OYZ平面平行的截面形状特征数据。由于点云数据的离散性，因此用以截面为中心的两个平行平面内的点数据向截面投影，再把截面投影点拟合的曲线作为截面的形状特征线。两个平面的间距δ根据Kinect深度传感器获取的点云密度选取，δ值不能太大，但应能保证截面投影点数据的连续性。

3.3单目线激光视觉系统测量可视性

3.3.1被测物体轮廓左右方向可视性

按照文献[13]实验方法，在有效测量深度范围内,把物体固定在工作台上的一平面绕OTZ1轴做旋转运动，测量得到物面法矢与激光平面的左(右)方向极限夹角θl(θr)，若该处被测物体表面的切平面法矢与激光平面的夹角φl(φr) ≤θl(θr)，则该处表面可视。对测量结果利用最小二乘法进行拟合，得到θl(θr)：

(4)

(5)

其中，d为视觉系统到物面距离，单位为mm；θ的单位为rad。

根据式(4)、式(5)，在视觉系统设备坐标系中建立视觉系统被测物体左右方向极限可视轮廓曲线。

首先建立左极限被测物体可视轮廓曲线。图4为左极限可视轮廓曲线示意图，物面点M(x，y)法矢与激光平面的左极限夹角为θil，该处切矢T方向与X轴正方向的夹角为α=π-θil。

图4　左极限可视轮廓曲线示意图

在视觉系统设备坐标系中，式(4)的d=y，式(4)可表示为

(6)

由式(6)可得y(θil)函数为

(7)

由于

(8)

因此联立式(7) 、式(8)可得

(9)

积分得

(10)

式(6)代入式(10)得到左极限可视轮廓曲线方程为

x=-188.68ln(sin(0.0053y+0.2731))+C1 θil<1.12rady=-2.066x+C2 θil=1.12rad}

(11)

其中，C1、C2为常数。

同理，得到右极限可视轮廓曲线方程为

x=97.09ln(sin(0.0103y+0.2278))+C3 θir<1.42rady=6.581x+C4 θir=1.42rad}

(12)

其中，C3、C4为常数。

根据式(11)、式(12)和视觉系统有效测量深度范围，可得单目线激光视觉系统左右空间被测物体极限可视轮廓曲线，如图5所示。

图5　视觉系统物体表面左右方向可视性示意图

如果某处物体表面轮廓与OXY平面平行方向的截面形成一曲线，其在OXY平面投影曲线的法矢与激光所在平面的夹角θi0>θl(θr)，则该处物体表面不可见。要使不可见区域的物体轮廓在视觉系统中可见，可把物体随工作台以旋转中心OT为中心逆(顺)时针旋转一个角度α。

如图5所示，在OXY平面投影形状为ABCDEF的自遮挡物体表面中，CD∥AB，BC∥DE，BC⊥CD，平面BC、CD、DE组成内凹区域，平面AB、EF在同一平面上，为可视区域。由于物体的自遮挡结构，所以BC、DE为不可见区域，CD有部分区域为可视区域。如把物体表面ABCDEF绕OTZ1轴逆时针旋转一个角度α，使平面A′B′上的A′和D′E′上的E′处平面法矢与激光所在平面的夹角θA′r0和θE′l0分别不大于该处的右极限面可视夹角θA′r和左极限面可视夹角θE′l，则平面A′B′ 、D′E′ 、E′F′ 和G′D′为可视区域。

3.3.2被测物体轮廓上下方向可视性

在有效测量深度范围内，固定在工作台上与X1轴平行的一物体平面随工作台绕X1轴做翻转运动，可获得被测物体平面的外法矢nin(m)与Z1轴正方向的极小翻转角βin(极大翻转角βim)。若该测量深度的物体平面法矢ni与Z轴正方向的夹角βi0∈[βin,βim]，则该物体平面可视。

根据测量距离与极小(大)翻转角的对应关系，得到上下方向极小(大)翻转角拟合函数方程如下[14]：

(13)

(14)

其中,βin、βim单位为rad。

与左右方向建立极限可视轮廓曲线同理，根据式(13)、式(14)，可在视觉系统设备坐标系中建立视觉系统上下空间被测物体极限可视轮廓曲线。

上极限可视轮廓曲线方程为

z=70.922ln(sin(0.0141y-0.6448))+C1 βin<0.6109rad0.7003y+C2 βin=0.6109rad{

(15)

下极限可视轮廓曲线方程为

z=-68.027ln(sin(-0.0147y+3.913))+C3 βim>2.618rad-0.5773y+C4 βim=2.618rad{

(16)

其中，C1、C2、C3、C4为常数。

根据式(15)、式(16)和视觉系统有效测量深度范围，可得单目线激光视觉系统上下空间被测物体极限可视轮廓曲线，如图6所示。

图6　视觉系统上下方向的物体表面可视性

如果某处物体表面轮廓与OYZ平面平行方向的截面形成一曲线，其在OYZ平面投影曲线的外法矢与Z轴的夹角βi0<βin或βi0>βim，则该处物体平面不可见。要使不可见区域的物体轮廓在视觉系统中可见，可把物体随工作台绕OTX1轴逆(顺)时针翻转一个角度γ，γ的取值范围如下：①对于上视方向物体表面(逆时针旋转)，βin-βi0≤γ≤π/2-βi0；②对于下视方向物体表面(顺时针旋转)，βi0-βim≤γ≤βi0-π/2。

当物体绕OTX1轴逆(顺)时针翻转γ时，y值变小，由于极小(大)翻转角在测量范围内随y的减小而变小(大)或不变，因此旋转后该处物体轮廓在可视范围内。如物体旋转后超出测量范围，则可调整视觉系统到工作台旋转中心OT的距离d0。

如图6所示，在OYZ平面投影形状为ABCDEF的自遮挡物体表面中,CD∥AB，BC∥DE，BC⊥CD，平面BC、CD、DE组成内凹区域。平面AB、EF在同一平面上，为可视区域。BC、DE为不可见区域，CD有小部分区域为可视区域。当物体表面同时绕OTX1轴逆时针翻转一个角度γ，使平面A′B′、E′F′、C′D′的平面法矢与Z轴的夹角βD′im0不大于F′处的βF′im0，平面E′D′区域的平面法矢与Z轴的夹角βD′in0不小于D′处的βD′in时，则平面A′B′、E′F′、E′D′和D′G′为可视区域。

4自遮挡物体视点规划方法实验

将图2所示自遮挡物体双挂钩模型固定在工作台上，用Kinect深度传感器扫描后得到的重建三维轮廓和初始位置时工作台坐标轴OTX1、OTY1、OTZ1如图3所示。

提取物体表面基本轮廓的截面信息，分析截面形状特征，判断被测物体轮廓的可视性，在最佳测量范围内对物体单目线激光扫描进行视点全局规划。以挂钩在工作台的初始位置为基准，进行视点全局规划，需要6个视点才能够获取物体表面的所有三维信息，其中一种规划方案的6个扫描视点位置见表1，其中选择工作台中心OT与视觉系统距离为140 mm，物体均处于最佳测量范围内。各视点获取物体表面情况如图7所示。

表1　挂钩模型线激光扫描视点位置

(a)视点1　　　　　　　(b)视点2

(c)视点3　　　　　　　(d)视点4

(e)视点5　　　　　　　(f)视点6

采用基于面贴合的方法重建[15]挂钩三维模型如图8a、图8b所示。

挂钩模型存在自遮挡结构，如采用文献[10]等现有基于遮挡轮廓边缘或投影重建孔洞三维轮廓的视点规划方法重建自遮挡模型，重建结果会出现图8c所示的模型内侧表面和根部表面位置的自遮挡孔洞，很难消除。采用本文全局视点规划方法从6个视点位置就能在测量系统的最佳测量范围内获取双挂钩模型表面的全部三维信息，准确、快速消除遮挡孔洞，有效实现物体三维重建。

(a)本文方法重建模型　　 (b) 本文方法重建模型截图1　　　　　　　　　截图2

(c)采用现有基于遮挡轮廓边缘或投影视点规划方法的孔洞示意图

5结语

针对自遮挡未知物体的测量和三维重建问题，提出利用KinectFusion技术重建基本特征轮廓和全局视点规划精密测量相结合的线激光视觉系统测量新方法。应用KinectFusion技术快速实时在线获取被测物体的粗略轮廓信息，提取轮廓表面的截面信息，分析截面形状特征，根据五自由度线激光测量系统的左右方向和上下方向测量可视性判断，在最佳测量范围内进行线激光精密测量全局视点规划，准确、快速消除自遮挡和孔洞，所需视点少，线激光扫描时间短，能有效实现物体三维重建。利用Kinect深度传感器使未知物体成为已知轮廓，今后可进一步提高Kinect深度传感器的获取精度和稳定性。本文在已知粗略轮廓基础上进行线激光测量的视点规划，在物体的三维空间进行全局规划，比现有基于遮挡轮廓边缘或投影获取孔洞表面三维轮廓的视点规划方法能更准确、快速地修补孔洞区域，同时在测量系统的最佳测量范围内进行视点规划，保证了测量精度。通过实验，验证了本文所提方法的有效性。

参考文献：

[1]ChalmovianskyP,JuttlerB.FillingHolesinPointClouds[C]//MathematicsofSurfaces: 10thIMAInternationalConference.Berlin:Springer,2003,2768: 196-212.

[2]WangLC,HungYC.HoleFillingofTriangularMeshSegmentsUsingSystematicGreyPrediction[J].Computer-AidedDesign, 2012, 44(12): 1182-1189.

[3]AttenmM.ALightweightApproachtoRepairingDigitizedPolygonMeshes[J].VisualComputer,2010,26(11):1393-1406.

[4]ChesiG，HungYS.FastMultiple-viewL2TriangulationwithOcclusionHandling[J].ComputerVisionandImageUnderstanding，2011，115(2)：211-223.

[5]ZetuD,AkgunduzA.ShapeRecoveryandViewpointPlanningforReverseEngineering[J].TheInternationalJournalofAdvancedManufacturingTechnology，2005, 26: 1370-1378.

[6]JuX,SiebertJP,KhambayBS，etal.Self-correctionof3DReconstructionfromMulti-viewStereoImages[C]//IEEE12thInternationalConferenceonComputerVisionWorkshops.LosAlamitos:IEEEComputerSocietyPress, 2009: 1606-1613.

[7]徐进,柯映林. 点云部分缺失条件下边界曲面直接拟合技术[J]. 机械工程学报, 2010,46(3):135-140.

XuJin,KeYinglin.BoundarySurfaceStraightFittingTechniquewiththeConstraintsofIncompletePointCloud[J].JournalofMechanicalEngineering, 2010,46(3):135-140.

[8]BantaJE,WongLR,DumontC,etal.ANext-best-viewDystemforSutonomous3-DObjectReconstruction[J].IEEETransactionsonSystemsManandCybernetics-PartA:SystemsandHumans，2000, 30(5): 589-598.

[9]何炳蔚,陈志鹏,林东艺，等.融合SFS和主动视觉技术的未知物体重建方法[J]. 仪器仪表学报,2012,33(4):727-736.

HeBingwei,ChenZhipeng,LinDongyi,etal.ResearchonReconstructionMethodforUnknownObjectsthroughIncorporatingSFSAlgorithmandActiveVisionTechnology[J].ChineseJournalofScientificInstrument,2012,33(4):727-736.

[10]何炳蔚, 周小龙. 面向未知物体自动测量和重建的视点规划方法[J].计算机辅助设计与图形学学报，2010，22(8)：1374-1381.

HeBingwei，ZhouXiaolong.ViewPlanningMethodforAutomaticMeasurementandReconstructionofUnknownObjects[J].JournalofComputer-AidedDesign&ComputerGraphics，2010，22(8)：1374-1381.

[11]NewcombeRA,IzadiS,HilligesO，etal.KinectFusion:Real-timeDenseSurfaceMappingandTracking[C]// 10thIEEE/ACMInternationalSymposiumonMixedandAugmentedReality.LosAlamitos:IEEEComputerSocietyPress, 2011: 127-136.

[12]RahejaJL,ChaudharyA,SingalK.TrackingofFingertipsandCentersofPalmUsingKinect[C]//The3rdInternationalConferenceonComputationalIntelligence,ModellingandSimulation.LosAlamitos:IEEEComputerSocietyPress, 2011: 248-252.

[13]何炳蔚,周小龙.线激光三维测量仪中视觉传感器规划方法研究[J].中国激光,2010,37(6):1618-1625.

HeBingwei,ZhouXiaolong.ResearchofSensorPlanningMethodinLineLaserThree-dimensionalMeasurementSystem[J].ChineseJournalofLasers,2010,37(6):1618-1625.

[14]何炳蔚，林东艺，陈志鹏，等.三维物体视觉测量重构中解决遮挡问题的方法研究[J] . 中国激光，2011，38(7)：0708001(1)-0708001(10).

HeBingwei,LinDongyi，ChenZhipeng，etal.ResearchofEliminatingOcclusioninVisualConstructionofThree-dimensionalObjects[J] .ChinaJournalofLasers，2011，38(7)：0708001(1)-0708001(10).

[15]陈天凡，高诚辉，何炳蔚.基于表面贴合的不同视点传感器点云拼合方法研究[J].中国机械工程，2012，23(24)：2968-2971.

ChenTianfan,GaoChenghui,HeBingwei.ResearchonPointsCloudRegistrationaboutSensorfromDifferentViewPointsBasedonSurfaceFit[J].ChinaMechanicalEngineering,2012,23(24)：2968-2971.

(编辑苏卫国)

View Planning in Line Laser Measurement for Self-occlusion Objects

Chen Tianfan1,2Gao Chenghui2He Bingwei2

1.Fuzhou Polytechnic，Fuzhou，3501082.Fuzhou University，Fuzhou，350108

Abstract:Focusing on measurement and 3D reconstruction of unknown self-occlusion objects, a new view planning method was proposed combining with fast reconstruction using Kinect Fusion technology and line laser precision measurement. Firstly, the surface depth information model of unknown self-occlusion object was obtained quickly with Kinect Fusion technology, and then the cross section shape of the object was analyzed. According to measuring visibility judgment of the five degrees-of-freedom line laser measurement system about left-right direction and upper-lower direction, the global view planning was carried out based on the best measurement range,the self-occlusion and point cloud holes were eliminated accurately and quickly. Finally, the 3D object surface reconstruction with high precision was obtained.The reconstruction experiments of self-occlusion object show that the method is feasibility and effective.

Key words:machine vision; view planning； self-occlusion； Kinect Fusion； line laser

收稿日期：2015-02-05修回日期：2016-03-11

基金项目：国家自然科学基金资助项目(51175087)

中图分类号：TP391

DOI：10.3969/j.issn.1004-132X.2016.10.015

作者简介：陈天凡，男，1967年生。福州职业技术学院机械工程系教授，福州大学机械工程及自动化学院博士研究生。主要研究方向为数字化设计与制造、优化和规划应用。高诚辉(通信作者)，男，1953年生。福州大学机械工程及自动化学院教授、博士研究生导师。何炳蔚，男，1973年生。福州大学机械工程及自动化学院教授、博士研究生导师。