基于本体推理的网络三维场景自动化构建及实现

钱 钰，蔡鸿明，步丰林

(上海交通大学 软件学院，上海 200240)

基于本体推理的网络三维场景自动化构建及实现

钱 钰，蔡鸿明，步丰林

(上海交通大学 软件学院，上海 200240)

针对传统C/S模式下的建模工具存在兼容性差、难度高及构建慢的问题，提出了基于本体推理的网络三维场景自动化构建方法，使用语义规则和本体推理技术，在服务端自动处理用户需求、选取三维模型特征及布局模型空间，实现网络三维场景的自动构建.结果表明，该方法应用于房屋定制系统，大大加快了三维场景的构建速度，降低了构建难度，对计算机硬件要求低，无兼容性问题，并且自动化构建的场景很好地满足了用户需求.

本体推理；三维场景；自动化；Web3D

随着计算机三维技术的迅速发展，许多行业已将三维技术融入到产品设计与展销过程中.目前主要借助于3DMax等三维建模软件，然而，此类软件的主要使用者为专业人员，并且使用这些软件构建三维场景是一个从基本的点、线、面开始操作的从无到有的工作，难度大并且费时，普通用户难以使用.因此，如何快速构建三维场景模型成为当前的研究热点.目前对三维场景快速构建方法主要有3种，即基于工程图的构建、基于多视图图像的构建和基于高精度设备的构建.

基于工程图的三维场景构建方法主要应用于建筑及机械领域的三维建模，以平面工程图或草图为输入，获取几何信息，对数据进行识别、转换和匹配，生成相应的三维信息，从而构建三维模型.文献[1]提出了基于特征识别的重建算法，考虑了如通孔、盲孔和凹槽等基于面的凹陷特征.文献[2]根据建筑物的基本要素特征，分析视角和几何关系，由消失点分布确定各基本要素的三维坐标.文献[3]提出了一种新的模型框架，从立面图构造三维模型，从立面图提取生成规则.

基于多视图图像的构建则通过摄像机在不同角度对场景进行拍摄，利用拍摄的多视图图像来快速构建三维场景.文献[4]融合了2D图片和3D激光雷达扫描2种采集模式，对城市风貌进行了深度分层，利用图片增强激光雷达(LiDAR)数据信息，两者互补.文献[5]利用单张图片对候选三维模型进行变形以匹配图像中的对象，同时保持三维模型的原有结构特征.文献[6]提出了从多张图片中获取复杂3D形状的高品质固态模型的方法.在应用方面，文献[7]使用新颖的并行分布匹配和重建算法，从互联网共享的大规模照片集合中重构出一座城市.

基于高精度设备的构建则利用如激光扫描仪等深度摄像机获取场景的几何信息，对采集的数据进行去除噪声等处理，然后进行三维模型特征匹配.文献[8]从点云中对三维模型进行语义分解和构建，对LiDAR输入数据进行自动语义标注，匹配模型零部件，生成完整模型.文献[9]利用Kinect深度摄像头，使非专业用户能够将个人空间扫描成三维模型.

上述3种三维场景构建方法并不适用于普通用户，基于工程图的构建要求已有二维平面设计图， 基于多视图图像的构建和基于高精度设备的构建对数据采集要求高.此外，三者均存在着算法复杂度高、计算量大和重用率低的问题.

因此，本文在用户需求的导引下进行三维模型匹配组装，从而生成符合用户需求的三维场景.首先将用户需求分解成若干结构良好的最小需求项，使用领域本体进行形式化表示.然后基于本体推理，自动处理用户需求匹配、三维模型选取组合及空间布局，实现面向个性化需求的三维场景快速自动构建.该方法有效解决手动构建难度高、操作繁琐的问题.相比于上述3种三维场景构建方法，此方法算法复杂度低，模型重用率高，无需任何辅助设备，更易于实施.基于网页的形式更省去了安装相关软件的繁琐过程，消除了兼容性问题.

1 研究框架

本文围绕如图1所示的基于本体推理的网络三维场景自动化构建框架进行研究，构建框架分为交互层、推理层和数据层.

图1 基于本体推理的网络三维场景自动化构建框架Fig.1 The framework of automatic three-dimensional scene modeling on web based on ontology-reasoning

交互层：基于Web的需求获取和三维场景设计方案展示；

推理层：主要分为需求处理模块、本体推理模块和三维场景渲染模块.需求处理模块分析需求描述语义并用形式化语言表示，生成需求描述文件提供给本体推理模块，通过本体推理完成模型对象确定、模型特征选取和模型空间布局，生成场景描述文件，由场景渲染模块展示至Web端；

数据层：由领域专家参与指导完成各本体构建和规则定义，负责各数据库的管理与维护.

本文将以室内设计领域的三维场景构建为例，对该框架的推理层进行深入研究，重点包括需求形式化处理和本体推理，最后应用于房屋定制系统进行验证.

2 研究方法

2.1 需求形式化处理

用自然语言描述需求，虽然其表达能力强，但是非形式化语言固有的二义性会导致设计人员和客户对设计需求产生理解上的偏差.本文用形式化语言描述需求，一方面可以有效消除二义性和模糊性，另一方面使需求语义能被计算机理解，从而实现计算机的自动化设计.

2.1.1 需求分解

由领域专家参与，通过采集分析室内设计领域的需求，整理归纳出室内设计需求领域的两大类概念，即感官需求和感性需求.

感官需求，即视觉层需求，可以用确定的数值或数值范围表示的定量需求，如房屋面积.

感性需求，即心理层需求，无法用具体数值表示的定性需求，主要是风格需求，如古典风格.

感官需求和感性需求又可以分解为多个子需求，通过搜集需求描述词汇，并利用WordNet分析建立词汇等价类，从每个类中选出代表性的词汇作为该类需求的本体概念词汇，然后再次使用WordNet确定它们的上位关系、下位关系和部分-整体关系，将它们及其相互关系应用于本体建模.最终建立室内设计领域需求本体模型，如图2所示.

图2 室内设计领域需求本体模型Fig.2 Ontology model of requirements in interior design area

2.1.2 需求形式化表示

基于需求本体对需求进行形式化表示.首先将用户需求根据需求本体层次结构分解成原子需求项，每个叶子节点对应一条原子需求项，并用二元组表示，定义如下.

定义1 需求项：Design_Req#ID = 〈C， V〉.

C代表需求对象的概念名称，如“房间”.

V代表需求对象的概念实例，如房间的实例“厨房”.

对应每条需求项，用逻辑描述(description logic，DL)语言进行形式化表示，如表1所示为部分需求形式化表示.

表1 需求形式化表示(部分)Table 1 Requirements formalization

2.2 本体推理

本体推理将设计需求转化为计算机可操作的对象及对象属性，将需求具象化、数据化.主要推理解答3个问题：(1)场景中需要哪些三维模型？(2)三维模型的各特征值为多少？(3)各三维模型在场景中的空间位置是什么？本体推理过程如图3所示.

图3 本体推理过程Fig.3 Ontology reasoning process

输入：需求形式化列表，SWRL规则库，模型库，知识库，三维场景本体，三维模型本体.

输出：模型列表、模型特征列表和模型空间位置列表.模型列表中为场景中包含的三维模型类型，如Bed.模型特征列表中是对模型列表模型的具体属性特征的赋值，如Bed.mattress.width=1.5 m.模型空间位置列表中是各个模型在场景中的空间坐标值如Bed.position=Vector(5, 15, 0).

以本体推理输出的3个数据表为输入，基于场景本体，生成计算机易于解析的场景描述文件.系统根据此场景描述文件将三维场景渲染至web端.

规则库是本体推理的依据，本文采用SWRL规则描述语言[10]定义推理规则.一个SWRL的规则由Condition和Result组成，Condition推出Result，表示为Condition→Result.Condition可以由一个或多个原子公式组成，Result由单个原子公式组成，表示为：C1∧C2∧…∧Cn→R.其中Ci和R都是原子公式，当C1，C2, …，Cn都为真时，R为真.举例说明：如果y是x的母亲，z是y的妹妹，那么z是x的阿姨，用SWRL规则表示为：hasMother(?x, ?y)∧hasSister(?y, ?z)→hasAunt(?x, ?z).

2.2.1 三维场景本体

为了结构化描述三维场景，便于本体推理，由领域专家参与指导构建室内设计三维场景本体.“本体”概念起源于人工智能领域，后逐渐被应用于计算机领域.文献[11]将本体定义为“概念模型的显式表示”.本文对三维场景领域本体采用以下定义的三元组表示.

定义2 领域本体：DO(Dom_ConTypeS, Dom_TypeRelS, Dom_TypeHibS)

Dom_ConTypeS表示领域本体中所有概念的集合.

Dom_TypeRelS表示领域本体概念之间的关系集合.

Dom_TypeHibS表示领域本体概念的抽象层次结构.

采用父类-子类的继承关系，分别在设计实体和设计特征层对室内设计各概念进行分类.该本体的Dom_TypeHibS概念类层次结构如图4所示.本体属性(Property)包含对象属性(Object Property)和数据类型属性(Datatype Property).对象属性描述两个不同类的实例之间的关系，数据类型属性描述类与其实例之间的关系.室内设计场景的领域本体的属性结构如图5所示，图中连线上的hasXXX表示实例间的对象属性，而带*号的设计特征的物理量是该设计特征的数据类型属性.

图4 室内三维场景本体类层次结构Fig.4 Interior 3D scene ontology hierarchy

图5 室内三维场景本体属性结构

2.2.2 三维模型对象选定

该部分推理主要由需求本体中的房间类型和用途概念为推理源，部分涉及风格需求，如Design_Req#3=〈Room, Bedroom〉，Design_Req#4=〈Function，Entertainment〉，Design_Req#4=〈Style, Fashion〉，结合室内设计领域知识，确定场景中涉及的三维模型对象集合.表2为推理规则.

逐条读取用户需求形式化列表，过滤出影响模型对象选定的需求项，依据SWRL规则推理，确定场景中包含的所有模型对象，生成模型列表.

表2 模型对象推理规则(部分)Table 2 Reasoning rules for model object

2.2.3 三维模型特征选取

三维模型的低层视觉特征主要由感性需求决定，而长宽高等领域参数的数值还受空间面积等需求的约束限制.特征选取是一个给三维模型各个属性进行赋值的过程，无需进行关系推理，主要基于设计领域感性分析数据.感性分析主要是对产品设计元素对人的感性影响的定量分析，通过分析得到产品的不同设计元素的不同特征值对某一感性词的影响权重，确定产品各个设计特征值，使产品能够满足用户的某一特定感性需求.

室内设计需求中的风格需求就是感性需求，为了使三维模型符合风格需求，引入现有的特定三维模型对应的产品领域的感性分析数据，以此为依据选取三维模型各个特征值.具体过程应用感性工程方法论[12]，由于不是本文重点，不在此详述.

2.2.4 三维模型空间布局

三维模型在场景中的空间关系用谓词二元组表示Predicate〈A, B〉，解释为A Predicate B. A和B均为模型实例，且A为主动模型，B为被动模型，两者是作用与被作用的关系. 三维模型空间关系如表3所示.

表3 三维模型空间关系Table 3 Spatial relationship of 3D models

在具体场景中可将模型的空间位置关系分为两类.一类是不受具体需求影响的室内设计元素间的空间位置关系，即公认的位置关系，称之为室内设计空间位置公理.

举例说明：

空间位置公理：壁画应挂在墙上.

SWRL规则：hasPicture(?r, ?p)∧hasWall(?r, ?w)→hangOn(?p, ?w)

规则解释：如果场景中有壁画和墙，那么壁画挂在墙上.

另一类是受具体需求影响的室内设计元素间的空间位置关系，主要受风格、生活习惯等影响.

举例说明：

需求项：Design_Req#4=〈Style, Classical〉

SWRL规则：hasClassicalStyle(?r, ?s)∧hasTV(?r, ?t)∧hasTVCabinet(?r, ?tc)→on(?t, ?tc)

规则解释：如果需要古典风格的设计，并且有电视机和电视柜，那么电视机放在电视柜上面.

依据三维模型空间布局原则，对照室内设计空间位置公理和需求项，制定如表4所示推理规则.

表4 三维模型空间关系推理规则(部分)Table 4 Reasoning rules for 3D model spatial relationship

最后根据室内设计元素的空间位置关系，结合场景空间面积和模型尺寸，运用数学公式计算出各三维模型在场景中的具体空间位置，以模型所在空间为坐标系，确定模型坐标向量，用Vector(x,y,z)表示，如Bed.position = Vector (5, 15, 0). 为了简化计算过程，可以将计算分为以下步骤进行:

步骤1 选取尚未确定空间坐标的最高频率被动模型，确定其空间坐标；

步骤2 选取当前已确定空间坐标的最高频率被动模型，计算其相应的主动模型的空间坐标，直到不再有已确定空间坐标的模型是被动模型；

步骤3 重复步骤1和2，直到所有模型都已确定其空间坐标.

算法1 模型空间坐标计算.

输入：模型实例集M= {m1,m2, …,mn}

模型空间关系集P= {p1,p2, …,pm}

输出：模型空间坐标集V= {v1,v2, …,vn}

伪代码如下：

FOREACHmiinMDO calculate count ofmias B in P〈A, B〉 calculatevofmwith max count

deletemfromM

FOREACHpiin P DO

IFpi.B ==mTHEN

calculate v ofpi.A

deletepi.A fromM

deletepifromP

pushpi.A into stackM_calculated

POPmfromM_calculated DO step7～step10

REPEAT step11 untilM_calculated ==

IFMTHEN GOTO step1

OUTPUTV

3 系统实现及验证

3.1 房屋定制系统

基于本文提出的方法，设计并实现了房屋定制系统，这是为房地产商和消费者打造的一款基于web的房屋个性化设计系统.用户向系统提供设计需求，系统自动化构建一套可行的设计方案给用户，用户可在此基础上调整或修改.系统分为3部分：web前端交互、服务端推理和数据存储.

web端交互层：提供用户交互接口，包括问卷形式的需求输入和设计方案展示，并提供了2D房型设计与3D装饰设计模块供用户自主设计或调整系统提供的设计方案.前端设计采用当下较为成熟的HTML5和WebGL技术，在主流浏览器中有较好的兼容性，使用户拥有真实的房型装修设计体验.

服务端推理层：使用Node.js作为开发语言，运用本文提出的方法，对从交互层获取的用户需求进行形式化处理，运用本体推理规则选定场景设计中的模型对象，选取各模型特征，确定各模型在场景中的空间坐标，生成场景描述文件，然后渲染至前台展示给用户.

数据存储层：为推理层提供数据支撑，依赖开源数据库MySQL.搜集室内设计领域知识并整合形成设计知识库，由领域专家参与指导构建需求本体、模型本体和场景本体，使用SWRL语言制定推理规则形成规则库.管理与维护大量室内设计三维模型以及场景设计方案.

案例说明：用户要求房屋面积介于50～80 m2之间，包含卧室、厨房、客厅等，田园风格，独居.系统根据用户需求在服务端生成场景设计方案描述文件渲染至前台.图6为系统提供给用户的设计方案.用户以第一人称视角“进入”室内，如图7所示，用户使用右侧工具栏修改设计方案.图8所示为对应的房型设计，用户在此查看和修改房型数据.结果表明，系统很好地满足了用户需求，各房间包含必备家具且空间布局合理，房屋面积满足用户设定值，风格需求方面也基本符合用户期望.

图6 3D设计与展示界面Fig.6 3D design and present interface

图7 3D场景第一人称视角Fig.7 First-person perspective of 3D scene

图8 2D设计界面Fig.8 2D design interface

3.2 讨论与对比

表5对本系统与国内现有的较为成熟的Web3D开发软件Web Max和Converse3D进行了对比.Web Max和Converse3D是面向专业设计师的网络三维场景开发软件，结合3D Max进行模型建立和渲染，因此场景精确度高，是一个从无到有的构建过程，开发周期长.本系统在构建三维场景时使用系统提供的三维模型，因此模型种类和数量有限，但由于其面向的对象是普通用户，模型的扩展与维护由系统开发者执行，充分简化了前台用户场景构建的前期准备工作.此外，本系统支持在需求的引导下自动构建满足用户需求的三维场景，用户可以在此基础上进行修改与调整，大大缩短了开发周期，快速并实时向用户展示设计效果，同时基于WebGL和Node.js的实现使系统具有良好的兼容性，与HTML的紧密集成给用户提供了良好的交互体验.

表5 3种三维场景构建系统对比Table 5 Comparison of three kinds of 3D scene modeling system

4 结 语

随着虚拟现实和三维技术的日趋成熟，以及个性化需求理念的提出，传统的建模工具已无法满足快速构建三维场景模型的需求，而基于平面图的快速构建方法同样不适用于普通用户.针对目前三维场景构建难度大、技术专业性强、操作复杂等问题，提出一种基于本体和Web3D的面向用户需求的三维场景自动化构建方法.将用户需求根据本体概念细分为多个原子需求项并用形式化语言表示，使得计算机能够理解.通过规则定义和本体推理，将需求项映射到具体的三维模型特征及其空间布局，从而快速构建三维场景模型，并且符合用户个性化需求.基于WebGL的Web3D技术使系统具有跨浏览器、跨平台的兼容性，与HTML的紧密集成给用户提供了良好的交互体验.

[1] CICEK A, GULESIN M. Reconstruction of 3D models from 2D orthographic views using solid extrusion and revolution[J]. Journal of Materials Processing Technology, 2004, 152(3):291-298.

[2] RU W, MINGQUAN Z. A method of reconstruction building’s 3D model from perspective images[C]//Information and Computing Science Second International Conference on IEEE. 2009:255-258.

[3] HOU F, QI Y, QIN H. Drawing-based procedural modeling of Chinese architectures[J]. IEEE Transactions on Visualization and Computer Graphics, 2012, 18(1):30-42.

[4] LI Y, ZHENG Q, SHARF A, et al. 2D-3D fusion for layer decomposition of urban facades[C]// IEEE International Conference on Computer Vision. 2011:882-889.

[5] XU K, ZHENG H, ZHANG H, et al. Photo-inspired model-driven 3D object modeling[J]. ACM Trans on Graphics, 2011, 30(4):76-79.

[6] FURUKAWA Y, PONCE J. Carved visual hulls for image-based modeling[J]. International Journal of Computer Vision, 2009, 81(1):564-577.

[7] AGARWAL S. Building rome in a day[C]// IEEE International Conference on Computer Vision. 2009:72 -79.

[8] LIN H, GAO J, ZHOU Y, et al. Semantic decomposition and reconstruction of residential scenes from LiDAR data[J]. ACM Transactions on Graphics, 2013, 32(4):66.

[9] DU H, HENRY P, REN X, et al. Interactive 3D modeling of indoor environments with a consumer depth camera [M]. USA: ACM, 2011.

[10] NUSEIBEH B, EASTERBROOKS S, RUSSO A. Making inconsistency respectable in software development[J]. Journal of Systems and Software, 2001, 58(2): 171-180.

[11] GRUBER T R. A translation approach to portable ontology specifications[J]. Knowledge Acquisition, 1993, 5(2): 199-220.

[12] SCHUTTE S T W, EKLUND J, AXELSSON J R C, et al. Concepts, methods and tools in Kansei engineering[J]. Theoretical Issues in Ergonomics Science, 2004, 5(3): 214-231.

Research and Implementation of Automatic Three-Dimensional Scene Modeling on Web Based on Ontology-Reasoning

QIANYu,CAIHong-ming,BUFeng-lin

(School of Software, Shanghai Jiaotong University, Shanghai 200240, China)

To deal with the problems of poor compatibility, high difficulty and slow construction in traditional modeling tool’s C/S mode, an automatic three-dimensional scene modeling approach based on ontology-reasoning on web is proposed, which can handle user’s requirements, choose model features and layout space in scene on server side according to semantic rules and ontology-reasoning. Results show that this approach applied into a housing customization system can accelerate the construction speed and reduce construction difficulty. This system has low requirements for computer hardware. There is no compatibility issues and the automatically modeled scenes satisfy the users’ needs well.

ontology-reasoning; three-dimensional scene; automatic; Web3D

1671-0444(2015)05-0638-08

2015-03-25

国家自然科学基金资助项目(61373030, 71171132)； 上海市自然基金资助项目(13ZR1419800)

钱 钰(1991—)，女，江苏无锡人，硕士研究生，研究方向为信息可视化. E-mail: qy19910215@sjtu.edu.cn 蔡鸿明(联系人)，男，副教授，E-mail: hmcai@sjtu.edu.cn

TP 391

A