融合形状与语义相关性的三维模型标注方法

韩 丽，朱永玲

（辽宁师范大学 计算机与信息技术学院，辽宁 大连116029）

0 引 言

随着三维模型的大量生产及广泛应用，如何高效的进行三维模型的语义检索备受关注。而高效的模型语义检索的一个重要前提就是提高模型语义标注的准确性。传统的语义标注方法一般分为以下两种：一是基于模型分割的语义标注方法。文献 ［1］通过模型的组合特性将模型分解为相应的部分，其分解方法只对CAD 模型有效。文献 ［2］采用的分割方法是一种理想状态下的分割方法，并不能完成实际的分割过程。二是基于模型整体的语义标注方法。文献 ［3］使用了概率统计的方法，由于没有考虑语义词汇之间的相似性，所以标注效果并不理想。文献 ［4，5］都使用了用户反馈，而用户反馈中的消极反馈是难以控制和把握的。文献 ［6，7］在模型检索过程中都使用了将模型进行投影转化为图像的方法，此方法会使模型丢失一些细节信息。文献 ［8］所使用的标注方法的速度和效率都要受到模型的定点数目和三角面片数目的影响。文献 ［9］由于互联网中信息的精确性无法保障，所以标注结果也不理想。本文以更加适合三维模型组织方式的整体语义标注方法展开研究。在文献 ［7］提出的模型语义标注方法的基础上进行了改进，首先，在模型匹配过程中引入了骨架结构特征和几何细节特征进行模型的形状匹配；然后，在语义标注过程中，本文提出了一种新的相关基数度量算法，以相关基数作为衡量待标注模型与语义词汇相关性的主要标准，从而精确最终的模型语义，为三维模型的语义检索奠定基础。

1 融合形状与语义相关性的模型语义标注方法

1.1 模型语义标注流程

在三维模型检索过程中，检索出的结果模型与待匹配的模型间具有一定的相关性，这种相关是具有传递性的［10］。本文在传统的三维模型语义标注方法的基础上，加入了模型语义相关基数度量算法并改进了模型匹配方法，提出了一种融合形状与语义相关性的三维模型语义标注方法。具体的过程如图1所示。

（1）建立三维模型样本库。模型样本库表述着模型与语义间的对应关系，其样本模型的标注质量对整个三维模型语义标注效果影响极大。本文以以下5个标准［6］来衡量样本库的质量：规模性、多样性、均衡性、准确性、扩展性。

（2）形状及语义匹配。首先，通过构建模型的拓扑结构树并融合局部突起的几何细节特征进行模型形状相似性匹配［11］。模型相似度记为Sim形状，筛选出形状相似的模型集合及其对应的语义集W1。其次，通过WORDNET 语义网，利用IS－A 关系计算W1的语义相似度。筛选出语义相似的集合W2。再次，计算待标注三维模型的形状与语义集合W2的相似度，筛选后的结果词汇组成语义集合W3。

（3）模型语义相关度量。待标注模型与样本模型相关，所以，待标注模型与样本词汇具有相关性。集合W1与待标注模型存在直接语义相关性，设直接语义相关次数记为SemⅠ。本文引入了相关基数并以相关基数作为影响最终语义的因素之一，根据Sim形状和SemⅠ计算出第一次筛选后所得模型的语义相关基数，筛选出词汇集合W4。

（4）语义自动标注。对W3和W4求交集，确定最终的待标注三维模型的语义。

1.2 模型语义标注算法

1.2.1 基于拓扑与几何特征的形状匹配

通过对三维模型增加体现视觉突起和分支的关节特征点，有效地优化三维模型的拓扑结构，构建模型的拓扑结构树，并融合局部突起的几何特征，来共同度量两个模型的相似性，由此推理得到的两模型的拓扑相似性和几何形状相似性的定义［11］见式 （1）

其中，SimTf（S，R）为待匹配的模型S 和R 的拓扑相似度，wi为模型在第i 层骨架层上所对应的权值。因为模型的骨架节点具有由内部向外部发散分布的特点，边缘部分对模型的影响度最小，因此，骨架层由内向外的权值逐渐减小。K 为模型骨架层的最高层数。p 和q 分别为模型S和R 在第i层骨架层上的骨架节点。Tf和Gf分别为模型的拓扑特征与几何特征提取函数。D 为两模型对应骨架层的相差度。

由此，两个模型的整体形状相似度定义为式 （2）

wT和wG分别决定着拓扑特征和几何特征对模型的影响程度。

根据上面式 （2）计算出待标注模型Ma和样本库中的模型Mi的整体形状相似度值Sim形状（Ma，Mi）。按照相似度值的大小对样本库中的模型进行排序，挑选相似度值大于等于阈值τ1的前n个模型，即

提取满足条件的样本模型的语义词汇，构建语义集合如下

为了验证该方法的有效性，引入了一个实例，待标注模型如图2所示，匹配结果如表1所示。此外，经过多次实验，在权衡标注效果后将全文所涉及到的所有参数设定如下，此后不再赘述。在模型匹配过程中划分的区域个数M＝6，wT＝0.6，wG＝0.4，τ1＝0.60，τ2＝0.60，τ3＝0.79，τ4＝0.550，η＝0.6，δ＝0.4。

1.2.2 模型语义相似性计算

计算模型的语义相似度［5］，首先计算词汇w 的ic（information content）信息量值，定义信息量公式为式 （5）

图2 待标注模型及其骨架结构

其中，maxwn为分类中概念的最大数目，hypo（w）为词汇w 的下位词汇数目。

通过词汇的信息量值计算语义相似度，其计算公式为

其中，simres（wi，wj）＝maxicres（w），wi∈W，wj∈S，W，S 是两个不同的同义词集。然后进行第二次筛选，确定阈值为τ2，令Sim语义（wi，wj）≥τ2，wi和wj属于语义集合W1，将结果词汇集定义如下

其中，k1为结果词汇集W2中语义词汇的数量。

通过式 （5）－式 （7）对表1中满足条件的样本模型的语义进行相似性计算并筛选，不满足条件的词汇为airplane，snake，loach，故排除，符合要求的词汇集合W2＝｛fish，whale，shark，dolphin，goldfish｝。

近下来，对待标注的三维模型Ma和W2语义集进行相似性度量

其中，wi∈W2，Mi是wi所对应的样本模型，max（Sim形状（Ma，Mt））为待标注模型和样本库中模型形状相似度最大值，ss（wi）表示在语义集中相似词汇出现的概率值，其定义如下

进行第三次筛选，确定阈值τ3，满足条件的词汇集合为

其中，k2为W3中满足条件的词汇数量。

通过式 （8）－式 （10）计算实例中W2的相似词汇出现的概率值及其与待标注模型间的形状相似度值并进行筛选，结果见表2，则满足条件的词汇集合W3＝ ｛fish，shark，dolphin｝。

表2 相似词汇出现的频率值与词汇模型间的相似度值

1.2.3 基于传递性的模型语义相关度量

设模型Mk出现在第i 次检索结果中，即Vki＝1，则Mk和目标模型即本文提到的待标注模型Ma之间存在着较强的直接语义相关性，将L 次检索结果中Mk和Ma之间的直接语义相关次数记为SemⅠ（Mk，Ma）［10］。由相关传递原理推出，L 次检索结果中结果词汇和待标注模型之间同样具有直接语义相关性，直接语义相关次数记为SemⅠ（wi，Ma）。

计算第一步 （即1.2.1）中模型形状匹配后的结果语义词汇集W1中的词汇与待标注模型之间的直接语义相关次数SemⅠ（wi，Ma），i∈ ［1，n］。据此，相关基数μ 定义如下

其中，MAX （Sim形状（Ma，Mi））是经过形状匹配后的样本词汇所对应的样本模型中与待标注模型相似度最大值，例如表1中样本词汇whale所对应的样本模型与待标注模型的相似度值有两个，分别为0.93和0.86，在这里我们取其最大值0.93。N 是词汇总数目，公式SemI（wi，Ma）／N 的目的是将相关次数对相关基数的影响程度缩小在区间［0，1］之中，例如表1中词汇fish与待标注模型的相关次数为5，样本词汇总数为13，则SemI（wi，Ma）／N＝5／13。η和δ分别表示模型相似度和语义相关次数对相关基数的影响程度。进行第四次筛选，确定阈值τ4，则满足条件的词汇集合为

其中，k3为W4中词汇数量。

我们通过式 （11）、式 （12）对表1中满足条件的模型进行计算并筛选，结果见表3，得到满足条件的语义集合W4＝ ｛fish，whale，shark｝。

表3 词汇的语义相关基数值

1.2.4 确定最终待标注模型的语义

其中，p 为最终语义的数量。

因此，我们之前引入的实例模型的最终语义为W5＝

｛fish，shark｝。

2 实验结果及分析

本次仿真实验的平台是在VC＋＋6.0 与OpenGL 的环境下进行的。在整个实验过程当中，共使用了150 个三维模型，根据人工标注的百分比设定模型样本库的规模。

在模型匹配中所使用的是通过构建模型的拓扑结构树，并融合局部突起的几何特征所提出的基于骨架结构和几何细节的模型相似性匹配算法。为了验证该匹配算法的有效性和准确性，使用了查全率和查准率两个概念来与传统的拓扑检索方法进行比较。其中查全率定义为正确检索的相关模型与用到的所有相关模型的比值，查准率定义为正确检索的相关模型与检索返回模型之间的比值，具体见如下公式

图3是实验中基于骨架结构和几何细节的模型形状相似性匹配算法与传统的拓扑检索方法在查全率和查准率两个方面的比较结果，从图3中可以很清晰的看出，基于骨架结构和几何细节的模型形状相似性匹配算法与传统的拓扑检索方法相比，在查全率和查准率方面有非常明显的提高，这充分表明了该方法具有非常高的有效性和准确性，同时也为下一步的模型语义标注打下良好的基础。

图3 在模型匹配过程中本文方法与原始方法在查全率和查准率方面的比较结果

图4是文中提出的基于相关传递性的模型语义标注方法与传统语义标注方法［7］效果对比图。从图4中可以看出当人工标注百分比一定时，基于相关传递性的模型语义标注方法的准确率高于传统标注方法的准确率。当人工标注百分比发生改变时，相同标注百分比的情况下，基于相关传递性的模型语义标注方法的准确率始终高于传统方法的准确率，表明基于相关传递性的模型语义标注方法具有较高鲁棒性。

图4 本文自动语义标注方法与传统方法的比较结果

3 结束语

本文提出了一种融合形状与语义相关性的三维模型标注方法。首先，结合模型的骨架结构特征与几何细节特征匹配出形状相似的模型，计算出样本词汇中的相似词汇并提取出其中与待标注模型相似程度较高的词汇，组成一个词汇集；然后，通过模型词汇的相关传递原理计算出模型语义间的相关基数，确定样本词汇中相关程度较高的词汇，组成第二个词汇集；最后，结合两个词汇集确定待标注模型的语义。通过对三维模型自动语义标注的准确性实验，有效的验证本文提出方法的准确性与鲁棒性。

［1］Symonova O，Dao M S，Ucelli G，et al.Ontology based shape annotation and retrieval［C］／／Proc of the ECAI，2006.

［2］Linxweiler J，Tolke J，Krafczyk M.Part－based annotation of virtual 3Dshapes ［C］／／International Conference on IEEE，2007：427－436.

［3］Goldfeder C，Allen P.Autotagging to improve text search for 3D models［C］／／Proceedings of the 8th ACM／IEEE－CS Joint Conference on Digital Libraries，2008：355－358.

［4］Lu T，Huang S，Wu P，et al.Research on semantic annotation and retrival of 3D models based on user feedback ［R］.China Zhejiang Province Ningbo CityNew Century Grand Hotel Ningbo：Chinese Academy of Sciences Institute of Computing Technology，2010.

［5］HUANG Wen.Semantic annotation system design and implementation of 3D model［D］.Xi'an：Northwestern University，2011 （in Chinese）.［黄文.三维模型语义标注系统的设计与实现 ［D］.西安：西北大学，2011.］

［6］Shaobo Y.Retrieval and semantic tagging technology research of the 3Dmodel based on the visual image［D］.Xi'an：Northwest University，2010 （in Chinese）.［杨少博.基于视觉图像的三维模型检索与语义标注技术研究［D］.西安：西北大学，2010.］

［7］FAN Yachun，ZHOU Mingquan，SONG Yi，et al.3D models semantic annotation method combined with feature of depth and label information ［J］.Journal of Computer Applications and Software，2011，28（11）：40－44 （in Chinese）.［樊亚春，周明全，宋毅，等.结合深度特征和信息量的三维模型标注方法［J］.计算机应用与软件，2011，28 （11）：40－44.］

［8］WANG Xiaofeng，ZHOU Pengbo，GENG Guohua，et al.Automatic semantic annotation technology research of 3D model［OL］.Journal of China Scientific Papers Online，http：／／www.paper.edu.cn／releasepaper／content／201202－653（in Chinese）.［王小凤，周蓬勃，耿国华，等.三维模型自动语义标注技术研究［OL］.中国科技论文在线，http：／／www.paper.edu.cn／releasepaper／content／201202－653.］

［9］TIAN Feng，SHEN Xukun，LIU Xianmei，et al.3Dmodel semantic automatic annotation based on weak label［J］.Journal of System Simulation，2012，24（9）：1873－1876 （in Chinese）.［田枫，沈旭昆，刘贤梅，等.一种基于弱标签的三维模型语义自动标注方法［J］.系统仿真学报，2012，24 （9）：1873－1876.］

［10］WANG Xinying，LV Tianyang，WANG Zhengxuan.Classification and annotation of 3Dmodels based on semantic relationship ［OL］.Journal of Chinese Scientific Papers Online，http：／／www.paper.edu.cn／releasepaper／content／2009（in Chinese）.［王新颖，吕天阳，王钲旋.基于语义相关性的三维模型分类及标注 ［OL］.中国科技论文在线，http：／／www.paper.edu.cn／releasepaper／content／2009.］

［11］HAN Li，ZHANG Lina，CHU Bingzhi.3D model retrieval based on MRG skeleton tree ［J］.Computer Engineering and Applications，2011，47 （31）：167－170 （in Chinese）.［韩丽，张黎娜，楚秉智.一种MRG 骨架树的三维模型检索算法［J］.计算机工程与应用，2011，47 （31）：167－170.］