基于双重判别解码器的三维点云形状补全网络

孙进 马昊天 雷震霆 梁立

摘  要：针对碗状文物模型由于碎片缺失导致的逆向几何重建保真度不高的问题，为此提出了一种基于双重判别解码器的三维点云形状补全网络。首先基于编码解码器构建基本点云生成网络，然后根据生成对抗网络框架优化解码器结构，通过将全局特征进行解码获取目标骨架点云，保证点云的全局特征，进而在对骨架点云的基础上进一步进行局部点云细化生成判别，保证目标点云的局部特征。最后面向特征缺失拼接模型搭建双分支形状补全网络。实验结果表明在公开数据集ShapeNet的点云补全实验中，本文方法的平均误差更小，相较对比网络，本文方法在碗状文物模型的三维形状补全任务更好，平均倒角距离提高了20.2%，为后续的模型逼真化提供了一个基础，具有更强的性能和良好的应用价值。

关键词：几何重建；深度学习；生成对抗网络；双重判别解码器；双分支形状补全；倒角距离

DOI：10.15938/j.jhust.2023.05.009

中图分类号： TP301.6

文献标志码： A

文章编号： 1007-2683（2023）05-0068-07

Two-branch Shape Complement Network for Feature Missing Splicing Mode

SUN Jin，  MA Haotian，  LEI Zhenting，  LIANG Li

（1.School of Mechanical Engineering， Yangzhou University， Yangzhou 225263， China;

2.Jiangdu High-end Equipment Engineering Technology Institute， Yangzhou University， Yangzhou 225263， China）

Abstract：Aiming at the problem of low fidelity of reverse geometric reconstruction of bowl-shaped cultural relics model due to the missing fragments， a 3D point cloud shape completion network based on double discrimination decoder is proposed. Firstly， a basic point cloud generation network is built based on the codec， and then the decoder structure is optimized according to the framework of generation confrontation network. By decoding the global features， the target skeleton point cloud is obtained， and the global features of the point cloud are guaranteed. Then， on the basis of the skeleton point cloud， the local point cloud generation is further refined to ensure the local features of the target point cloud. Finally， a two-branch shape completion network is built for the feature missing splicing model. The experimental results show that the average error of this method is smaller in the point cloud completion experiment of ShapeNet， an open data set. Compared with the comparison network， this method is better in completing the three-dimensional shape of the bowl-shaped cultural relics model， and the average chamfer distance is increased by 20.2%， which provides a foundation for the subsequent model fidelity， and has stronger performance and good application value.

Keywords：geometric reconstruction; deep learning; generative adversarial network; double discrimination decode; two-branch shape completion; chamfer distance

收稿日期： 2022-05-17

基金項目：

国家自然科学基金（51775484，51475409）；2020年江苏省产学研合作项目（BY2020663）；2021年扬州市产业前瞻与共性关键技术项目（YZ2021020）；2020年扬州大学市校合作专项（YZ2020166）.

作者简介：

马昊天（1998—），男，硕士研究生；

雷震霆（1995—），男，博士研究生.

通信作者：

孙  进（1973—），男，博士，硕士研究生导师，E-mail：sunjin1001_bzr@126.com.

0  引  言

我国悠久的历史使得周围的海域下埋藏着众多的文化遗迹，随着航海技术的不断发展，打捞出大量的海底沉船，其中发掘出了许多破碎的文物碎片［1］，其中大多数为碗状的陶瓷碎片。由于破损的文物数量众多，利用计算机视觉技术将其数字化之后进行辅助生成，对文物保护有着十分重要的意义。目前的考古学家利用计算机辅助技术对这些文物进行数字化，进行虚拟重组与匹配实现文物模型的复现。

在历史文物重建过程中，通常使用三维扫描仪获取目标的数字化模型，但是当目标存在缺失或缺损的情况下，这样通过三维扫描仪获取的数字化模型会不完整，对文物逆向工程的效果会产生较大的影响。人们可以通过双眼观察文物的现有特征，并根据经验推断出缺失部位的信息，计算机却很难推测缺失的部位的原始形状信息。

现有的残缺点云数据的补全的方法一般分为三类，第一类是基于几何方法，这类方法是在不需要任何外部辅助数据的情况下，利用已有输入点云的几何信息来完成对整体形状的补全。此类方法的优点是简单，容易通过简单的算法实现。但是该种方法存在对输入点云数据要求高，泛化性较差的问题。第二类是基于对齐方法，这类方法的基本思想是通过将残缺的输入点云与点云形状数据库中的模型匹配来完成补全。虽然数据库先验知识的方法能够完成较大面积的模型补全，但其主要限制仍是全局结构不容易被概括，不能推广到任意的三维模型，需要昂贵的优化成本，并且对噪声不鲁棒。

第三类方法是基于学习的方法，从前基于学习的点云补全方法通常将点云数据转换为体素网格或其他形式再使用卷积，但是，该种方法［2］对内存的需求特别大，并且不适合形状不规则的物体。Pointnet［3］提出后，可以直接处理无序点云，节省了点云数据的处理时间。L-GAN［4］提出了第一个点云的深度生成模型，可以通过简单的代数运算对点云进行形状补全，但是其网络架构不是专门用于点云补全的，在点云补全任务中效果不是很好。Foldingnet［5］提出了一种端到端的自动编码器，它可以将2D网格变形到三维点云中的物体表面上，并且与直接使用完全连接的层相比，所提出的解码器可以保持准确性。PCN［6］提出了基于深度学习的形状补全网络，应用Foldingnet对生成的点云进行形状完善，通过编码器解码器产生粗输出，然后使用并行多层感知器进行细输出，这种方法能够通过点云作为输入生成密集和完整的结果，但是PCN不能产生高保真度的结果。

在现阶段，点云生成任务中经常使用到生成对抗网络［7］的框架，例如，3D-GAN［11］第一个将体卷积网络与生成对抗网络结合从概率空间生成三维对象，能够较好的完成点云补全任务，但是，体素网格降低了精细形状的分辨率，并且需要巨大的计算量。2018年，Li等提出了point cloud GAN［8］适用于点的完成，然而结果却严重失真。为了减少细节的丢失，后续的研究［9-11］通过添加约束条件以最小化输入形状与其对应的输出区域之间的距离，上述方法都不重视局部结构信息。L-GAN介绍了第一个深度生成的点云模型，虽然L-GAN能够在一定程度上执行形状完成任务，但其架构主要不是为完成形状完成任务而构建的，因此其性能并不理想。PF-Net［12］提出将最终产生的预测点云与真实点云共同输入判别器，以达到提高生成点云的逼真度，但是，其判别器用在最终生成的点云上，产生的作用较小。为了提高点云补全的准确率，MGA-PT［13-15］等提出通过嵌入Transformer、ALL-MLP的方法提高编码器的特征提取能力，提高了点云补全的保真度。上述方法都使用生成器和鉴别器，这种结构的网络将把生成器中产生的点云传送给判别器，通过鉴别器确定生成点云的真假。总体上，基于生成对抗网络结构的点云生成模型的保真度较高。

针对上述对点云补全网络中，生成点云保真度不高，重建方式复杂的缺点，本文提出了一种针对编码解码点云生成网络的双重判别解码器，其具体貢献为：

1）提出一种双重判别的解码器结构，通过将全局特征进行解码获取目标骨架点云，进而在对骨架点云判别生成的基础上进一步进行局部点云细化生成判别，实现对存在特征缺失模型的形状重建，有效的保证了目标点云的全局特征。

2）提出了一种针对碗状文物特征缺失模型的点云补全方法，优化了编码解码判别点云生成网络中的解码器结构，在三维物体数据集Shape Net及碗状文物数据集中取得了更优的补全效果。

1  点云生成网络

由于碗状文物碎片的丢失，重建碗状文物三维模型所需的点云数据会不完整，将通过多次三维扫描仪获取破损碎片的三维点云数据设为V，其中，V是各碎片点的信息的集合{v1，v2，v3，…}，通过点云的拼接算法将各碎片点云集V拼接成U，通过三维建模软件或对完整碗状文物进行三维扫描获取完整模型所对应的点Y。

如图1所示，本文将破碎碗状文物三维模型重建的任务定义为：已知点云U求解相对于Y的缺失部分，通过对碗状文物完整模型的点云Y进行随机块的删除，获取所对应的训练数据X，本文采用基于学习的方法训练本文的模型N，求解X相对于Y的缺失部分。

1.1  编码器

在编码器网络中，本文的输入数据为缺失点云的三维坐标。首先，通过最远点抽样［16］分别在256、512和1024的标度上采样，比例是指用于表示对象点云的点数。然后，对采样后获得的三个不同输入执行特征提取。在特征提取阶段，本文使用了PF-Net中的组合多层感知的方法，通过将使用三个独立的组合多层感知将尺度为256、512和1024的点云映射为三个单独的组合潜在向量F1、F2、F3。每个向量代表从不同分辨率点云中提取的特征。最后，将所有向量连接起来，形成1920×3大小的潜在特征映射F。

本文使用的特征提取模块如图2所示，左侧输入的点云是通过最远点采样获取的256、512、1024维度的点云，组合多层感知代表了PFNet提出的组合多层感知，三个维度的点云通过组合多层感知分别获取特征F1、F2、F3，对三个特征进行组合，通过全连接及支持向量機获取最终提取的特征F。

1.2  判别器

判别器是生成对抗网络中常用的网络结构，在点云生成任务中，将解码器生成的点云输入到判别器中，通过判别器判断生成点云的真假，进行识别和不断生成训练网络，实现生成准确的点云模型。因为解码器的输出是点云数据，通过线性层对鉴别器的输入进行预处理。处理后的结果依次通过三个卷积层，这些卷积层的输出维数分别为64、128和256，本文将每个卷积的输出分别Y存储在变量Ypre_64、Ypre_128、Ypre_256中。这些变量分别通过最大池化并转换维度进行连接，最终的特征向量依次通过四个输出维度为256、128、16和1的全连接层，结果通过最后一个全连接的层输出。

如图3所示，输入为生成器生成的点云，Linear为全连接层，输出数据分别为256×1，128×1，16×1和1×1，最后输出0或1判断生成点云是否符合真实点云几何形状特征。

2  改进的双分支形状补全网络

通过使用两个判别器分别对生成的全局点云和细节点云进行判别，首先将第一分支生成的全局点云作为输入数据输入判别器，通过判别器判断的点云作为进一步生成细化点云的骨架点云，将生成的细化点云通过判别器的二次判别，将获取的结果与骨架点云进行整合，获取最终的生成模型。

2.1  双重判别解码器

解码器的输入为编码器网络的输出，解码器的输出是输入点云的缺失部分。以前的研究［5-7］表明使用全连接层的解码器能够较好的预测稀疏点集，这些生成的稀疏点集可以粗略地表示物体的三维形状。本文的网络解码器的思路是先生成稀疏的骨架点云集合后进行判别，获取缺失点云的骨架点云，在骨架点云的基础上进行细化点云的二次生成，并对二次生成的细化点云进一步进行判别，提高生成点云的形状信息的准确率。

解码器的结构框图如图4所示。在解码器生成点云的过程中，本文采用了由全局到局部的思想进行生成，定义两个不同的全连接层Fc1、Fc2分别生成对应的全局特征及细节特征，输出大小分别为1024、256。以编码器获取的特征F作为输入，依次通过Fc1、Fc2。本文将每个完全连接的层的结果存储在不同的变量中，通过这个过程，特征向量的维数降低到256，为之后的全局点云的生成做准备。

图中的输入是编码器提取的特征F，Y_1代表的是生成的包含缺失部位全局形状信息的点云，Y_2代表的是生成的细节点云，判别器判别为真的Y_1作为骨架点云，在骨架点云的基础上进一步细化获取Y_2，通过判别器的二次判别获取最终包含全局特征及细节点云的缺失点云。解码器将编码器中提取到的全局特征和局部特征结合起来，生成一组完整的点云。

本文通过先生成少量能描述目标模型形状特征的关键点作为描述物体的形状特征的骨架点云，其次，在此基础上进一步生成细节点云，直到最后生成密集点云数据的缺失部分。本文定义了两个不同的全连接层，使用FC_2的输出作为FC_1的输入，通过对两个输出的整形叠加，获取目标三维模型的生成模型。

2.2  损失函数

双分支缺失点云生成网络的损失函数由双分支补全损失和对抗网络损失两部分组成。补全损失是指缺失部位点云的真实值与预测点云之间的差值，用来减少真实值与生成点云之间的差异，对抗性损失通过优化生成器使预测点云数据更接近真实点云数据。CD损失衡量的是点云缺失部分的真实值与预测值之间的差异。对抗性损失试图通过优化最大似然估计来使预测更真实。

在本网络中，选择CD损失作为衡量指标。CD损失计算预测点云S2和真实点云S1之间的平均最近点距离：

dCD（S1，S2）=1|S1|∑x∈S1miny∈S2‖x－y‖22+

1S2∑x∈S2miny∈S1‖y－x‖22（1）

双分支缺失点云生成网络的损失函数由双分支的补全损失L1和对抗损失L2两部分组成。通过最小化L2使得生成器产生“真实”样本U来通过判别器的判别，而D旨在最小化L2，并对真实样本P和生成样本P进行区分。双分支点云生成网络的损失由dCD1和dCD2，并使用超参数β加权：

L1=dCD1（U1，U′1）+βdCD2（U2，U′2）（2）

其中：U1为精密点云；U2为骨架点云；U′1和U′2分别为对应的真实点云。

对抗网络的损失函数L2通过最小平方损失表示：

L2=12［D（U）2+（D（U′）－1）2］（3）

其中：U为生成点云，U′为对应真实值。

双分支缺失点云生成网络的损失函数定义为：

L=θ1L1+θ2L2（4）

其中：θ1和θ2分别为补全损失与对抗损失，并且θ1+θ2=1，在训练过程中，通过Adam优化器对G和D交替优化。

3  实  验

3.1  实验环境

本文的网络使用python语言，在Windows 11系统上训练，实验的硬件环境：扫描仪为SHINING SE，CPU AMD Ryzen 5 4600H with Radeon Graphics，主频3.0Hz；GPU NVIDIA GeForce GTX 1650；操作系统Win10；深度学习环境为Pyorch 1.10.2，Python3.7.11，初始学习率0.0001，批量4，通过Adam优化器优化网络。

3.2  实验数据

本文所构建的数据集包含两个部分，第1个部分是通过三维扫描仪获取碗状文物碎片的数字化模型，通过文［17］的拼接方法获取待补全模型。第2个部分是通过三维建模软件绘制的三维模型，经过处理获取碗状文物的点云模型。

如图5所示，本文主要通过三维建模软件繪制的三维模型作为网络的训练数据，三维扫描仪获取的碗状文物碎片的数字化模型作为实际验证数据。

其中，图5（a）为通过三维扫描仪获取碗状文物碎片的网格模型，图5（b）为采集的点云模型；图5（c）为通过三维建模软件绘制的三维模型，图5（d）为采集的点云模型，作为网络的训练数据，图5（a）（b）作为网络验证的数据。

3.3  验证集点云补全实验

本文在验证集上进行验证，通过将缺失点云输入基于双重判别解码器的点云补全网络，对碗状点云缺失部分形状进行补全，补全效果如图6所示。

本文的网络输入的数据为存在缺失的点云数据，为了满足网络输入的要求，本文从不同的视点观察构建的碗状文物的三维点云模型，如图6左侧所示，随机选取一个视点作为为球心，删除球面上以R为半径的所有点，剩下的点视为缺失点云作为网络输入，以删除的点云作为真实点云。

3.4  待补全模型缺失生成

第1个部分是通过三维扫描仪获取碗状文物碎片的数字化模型，拼接后的待补全模型。获取现有的碗状文物碎片的数字化点云，对现有的数字化碎片模型进行拼接，获取待检测模型，如表1所示。

从左到右分别是碗状文物碎片边缘碎片缺失、内部碎片缺失及多块碎片缺失的点云生成情况，从上到下分别为待补全模型、缺失部位生成的点云、生成点云与缺失点云组合的完整点云、生成点云的封装模型及真实的缺失部位点云。相应的本文训练的生成网络能够较好的对碗状文物缺失部位的点云进行较好的生成。同时，对生成的点云数据进行进一步点云封装能够满足模型形状重建的需求。

3.5  结果对比

本文使用的评价指标［18］。它包含两个指标：Pred→GT（预测点云与真实点云）误差和GT→Pred（真实点云与预测点云）误差。Pred→GT衡量的是预测与实际情况的差距。GT→Pred表示预测的形状覆盖的地面真值曲面的程度。

在表2中显示GT→Pre和Pre→Gt误差与经典方法在公开数据集的五个类别进行对比的比较结果（显示的数字是［Pred→GT误差/ GT→Pred误差］，按比例乘以1000）。由于平均误差值太小，无法显示在表格中，本文将得到的GT→Pre与Pre→Gt值乘以1000，最后保留三位小数作为最终的测试结果。

由表2可见，在给定的5个类别的模型点云补全测试中，本文的双分支点云补全网络在形状特征信息简单的模型中的补全效果更好，如表2所示在杯子、桌子、帽子中，双分支点云补全网络生成的点云补全效果更好。

如表2所示，现有的经典网络中PF-Net在点云完成任务中效果较好，其中，本文网络在几何形状信息简单的补全任务中效果更好。

将本文网络在碗状文物待补全模型中与PF-Net进行实验对比。如表3所示，通过对PF-Net在边沿块、内部块、组合块中的补全效果对比，我们可以观察到，本文的方法比PF-Net［6］生成的点云更致密、更均匀，由表平面部分生成的点密度更大，恢复程度也更高。表4表示对应边沿块、内部块、组合块的CD值（倒角距离 Chamfer distance）及平均倒角距离，其中，CD值越小，最终结果越好。由表4可见，在边沿缺失补全、内部缺失补全和多块缺失补全中分别提高了18.1%、12.6%、29.9%，相对于PF-Net本文网络在真实点云数据的补全中平均提高了20.2%。综上，双重判别解码器的结构提高了生成点云的精度，在形状信息简单的模型中有着较好的效果由表1所示，并且在碗状文物的形状重建任务中精度更高，如表4所示。

4  结  论

针对碗状文物拼接模型存在特征信息缺失的修复补全问题，本文提出了一种有效的双分支点云生成网络。结合生成对抗网络框架，在点云生成网络框架的解码器结构中使用了两次判别器，构建了一种双重判别解码器结构，分别从全局特征及细节特征对缺失部位的形状进行生成，保证点云骨架特征的同时进一步细化点云的细节特征，可以有效的提高生成点云特征的保真度。相较于传统的文物修复方法，本文通过实验表明深度学习的方式能够实现缺失部位的自动补全，本文的网络相较于已有网络分别提高了18.1%、12.6%、29.9%，平均提高了20.2%。同时在公开数据集的实验表明本文的网络在其他形状的补全任务中有着较好的泛化性能。

参 考 文 献：

［1］  LI J， HE B， Liu S， Liu Q. Nondestructive Analysis of Jingdezhen and Longquan Celadon Wares Excavated from Nanhai No.1 Shipwreck. Spectrosc Spect Anal 36：1500.

［2］  TCHAPMI L P， KOSARAJU V， REZATOFIGHI H， et al. Topnet： Structural Point Cloud Decoder［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2019： 383.

［3］  QI C R， SU H， MO K， Guibas L J. Pointnet： Deep Learning on Point Sets for 3D Classification and Segmentation［J］. CVPR， 2017： 77.

［4］  WU J， ZHANG C， XUE T， et al. Learning a Probabilistic Latent Space of Object Shapes Via 3D Generative-Adversarial Modeling［J］. Advances in Neural Information Processing Systems， 2016：1.

［5］  YANG Y， FENG C， SHEN Y， et al.Foldingnet： Point Cloud Auto-Encoder Via Deep Grid Deformation［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2018： 206.

［6］  YUAN W， T KHOT， D HELD， et al. PCN： Point Completion Network［C］. 3DV， 2018： 728.

［7］  CRESWELL A， WHITE T， DUMOULIN V， et al. Generative Adversarial Networks： An Overview［J］. IEEE Signal Processing Magazine， 2018， 35（1）： 53.

［8］  ACHLIOPTAS P， DIAMANTI O， MITLIAGKAS I， et al. Learning Representations and Generative Models For 3d Point Clouds［C］//International Conference on Machine Learning. PMLR， 2018： 40.

［9］  LI C L，ZAHEER M， ZHANG Y， et al. Point Cloud Gan［J］. arXiv Preprint arXiv：1810.05795， 2018： 82.

［10］SARMAD M， LEE H.J， KIM Y.M. Rl-gan-net： A Reinforcement Learning Agent Controlled Gan Network for Real-Time Point Cloud Shape Completion［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2019： 5898.

［11］GURUMURTHY S， AGRAWAL S. High Fidelity Semantic Shape Completion for Point Clouds Using Latent Optimization［C］// Proceedings of the IEEE Winter Conference on Applications of Computer Vision （WACV）， IEEE， 2019： 1099.

［12］HUANG Z， YU Y， XU J， et al. PF-Net： Point Fractal Network for 3D Point Cloud Completion［J］. （CVPR）， 2020： 7659.

［13］CHEN X， LI Y. Multi-feature Fusion Point Cloud Completion Network［J］. World Wide Web 25， 2022：1551.

［14］刘心溥，马燕新，许可，等.嵌入Transformer结构的多尺度点云补全［J］.中国图象图形学报，2022，27（2）：538.

LIU Xinpu， MA Yanxin， XU Ke， et al. Multi-scale Point Cloud Completion Embedded in Transformer Structure［J］. Journal of Image and Graphics，2022，27（2）：538.

［15］张京军，郑灿，高瑞贞.学习点云邻域信息的三维物体形状补全［J］.计算机应用研究，2022，39（5）：1586.

ZHANG Jingjun， ZHENG Can， GAO Ruizhen. Shape Complement of 3D Objects by Learning Neighborhood Information of Point Clouds ［J］. Research on Computer Application，2022，39（5）：1586.

［16］QI C R，L Yi， SU H， et al. Pointnet++： Deep Hierarchical Feature Learning on Point Sets In A Metric Space［J］. Advances in Neural Information Processing Systems， 2017， 30： 5105.

［17］孙进，丁煜，王宁， 等.结合点云占比和平滑度的碗状碎块内表面识别算法［J］.哈尔滨理工大学学报，2020， 25（3）：157.

SUN Jin， DING Yu， WANG Ning， et al. Identification Algorithm for Inner Surface of Bowl-shaped Broken Pieces Based on Point Cloud Proportion and Smoothness［J］. Journal of Harbin University of Science and Technology，2020，25（3）：157.

［18］GADELHA M， WANG R，  MAJI S. Multiresolution Tree Networks for 3D Point Cloud Processing［C］// The 15th European Conference on Computer Vision， Munich， Germany， 2018： 105.

（編辑：温泽宇）