MBE与大数据给PDM带来的思考

2013-07-11 07:43夏秀峰赵小磊孔庆云
制造业自动化 2013年20期
关键词:数据管理环境系统

夏秀峰,赵小磊,孔庆云

(沈阳航空航天大学 计算机学院,沈阳 110136)

0 引言

目前,国外MBD(Model Based Definition,基于模型的定义)技术的应用已相对成熟。作为MBD技术的发起者之一,波音公司在以波音787为代表的新型客机研制过程中,全面采用MBD技术,将MBD模型作为制造的唯一依据;R&R 公司应用主模型驱动的技术,以具有 PMI(Product Manufacturing Information ,产品制造信息)三维标注的模型作为单一数据源,贯穿产品研发的各个环节。MBD技术从2007年开始逐步引入国内,其应用得到了快速的发展,但与国外企业相比,仍存在一定差距。

MBE (Model Based Enterprise:基于模型的企业)是基于MBD在整个企业和供应链范围内建立的一个集成和协同化的环境方法,各业务环节充分利用已有的MBD单一数据源开展工作,有效地缩短整个产品研制周期,改善生产现场工作环境,提高产品质量和生产效率。在MBD/MBE技术实施过程中,产品研制、生产、管理各环节所使用的数据或信息全部“附着”在三维模型上,使产品工程数据的结构特征越来越弱,数字化程度越来越高,而在围绕模型的整个生命周期中包括需求、分析、设计、实施等环节会产生大量的文档、视频等多种类型的数据,同时这些数据的生成速度会随时间推移、产品型号增加等因素的影响不断提高,逐步呈现大数据态。

作为四大核心软件之一, 目前PDM(Product Data Management,产品数据管理)软件几乎全部基于关系数据库(RDB)实现。然而,MBE技术的实施和全生命周期管理使企业中的用户几乎“全员参与”,使基于RDB的PDM在高并发读写、海量数据高效存储和访问、高可扩展性和高可用性等方面存在的问题日显突出——服务器和用户终端机越来越“高档”、存储设备数量和容量越来越大、用户访问速度越来越慢、数据备份时间越来越长。考虑到RDB在存储、处理大数据方面的诸多制肘,以及NoSQL数据库的高扩展性、高容错性、高性价比等方面的优点,本文提出采用NoSQL数据库作为PDM底层数据支撑环境,构建企业私有云存储中心和PDM系统。

1 相关工作

1.1 NoSQL技术和大数据

NoSQL的发展,离不开两大Web巨人——Google和Amazon的支持,目前绝大多数该领域的研究成果都是以这两家企业分享的技术论文为基础进行展开和改进的。2003年,Google在其网站上发表文章,介绍了在其内部部署的面向大规模数据密集型应用的、可伸缩的分布式文件系统关键技术[1]。随后在2006年,Google又发表了两篇论文,分别阐述了基于NoSQL的数据处理MapReduce算法和GFS的底层Key/Value机制的数据库Bigtable[2,3]。Amazon在文献[4]中通过阐述改进的一致性Hash模型等方面的内容,介绍了其Dynamo是如何设计和实现的。

国内近年来在NoSQL方面的研究有很大进展,2011年,于戈等人通过对云计算环境下进行大规模图数据处理的关键问题的综述,分析讨论了NoSQL数据库的4种主要存储模型的差异[5]。2012年,李茂等人分析了关系数据模型和NoSQL数据模型各自的特点,提出了一种可以解决云计算中海量数据的存储管理问题的新数据模型[6]。2013年,孟小峰等人阐述了大数据管理的相关概念和技术问题,阐述了利用云计算和NoSQL技术在处理大数据问题上的优势[7]。由于当前国内大数据的研究主要集中在互联网领域,对制造业领域的大数据问题的关注几乎为零,因此从国家需求和企业发展等长远战略考虑,有必要通过对大型装备制造业的大数据问题的研究,加速装备制造业向智造业转型。

1.2 PDM技术

近几年,随MBD/MBE概念的提出和应用,加之经过多年的积累和研制型号的不断增加,存储在PDM中的信息已呈现大数据态,造成存储与处理成本不断增加、并发性和访问速度逐步下降、备份时间越来越长。如何解决制造型企业海量MBD数据的存储和共享问题,是企业由制造向智造转型的重要研究内容之一[8]。

国外,为满足CAx在分布式环境中的运行,文献[9]提出了面向对象的分布式数据库架构,并构建了一种分布式产品数据管理系统(DPDM);文献[10]详细介绍了使用基于UML的建模方法来指定和实施PDM系统的利益关系,提出了一种利用UML图实例化到数据库实体的实现方法;文献[11]中提出了一种集成软件配置管理(SCM)的产品数据管理(PDM)架构,可以使硬件工程师和软件程序员共享相同的用户环境,在协同产品开发上共享一致的数据库。

国内的研究由于起步较晚,且缺乏大企业在PDM研发方面的推动,大多数研究都集中在PDM的技术应用和系统集成上,如文献[12]、[13]分别提出了以PDM系统为平台与CAx系统进行集成的不同的解决方案,为以后企业进行PDM系统与三维CAD系统的集成提供了参考。

图1 基于企业私有云的PDM系统架构

1.3 企业私有云

在大数据面前,集中式的存储和处理策略无论如何也无法满足需求,云存储、云计算是未来发展的必然趋势。文献[14]中提出了云制造的概念,其作为一种基于知识、面向服务、高效低碳的网络化智能制造新模式,强调产品全生命周期中各类制造资源的整合与高度共享,当时引起了学术界、科技界和国家层面的高度重视。但目前关于云制造的研究还主要集中在概念、体系结构和应用原型等方面[15,16]。因此,云计算技术与PDM技术的结合对云制造的深化和发展在生产实践上具有十分重要的意义。而从我国国情出发,许多行业的高度保密性使我们只能走“企业私有云”路线。企业私有云存储利用云计算、大数据管理等多项新技术,充分整合企业已有资源,可以有效地解决海量数据存储访问、高并发、高扩展等问题,可有效降低存储成本,减少PDM系统的实施周期,提高生产效率。

综上不难看出,目前国内外研究都是从现实存在的问题出发,基于现有的PDM系统来对海量数据进行处理。为彻底解决大型装备制造业所面临的大数据问题和MBD/MBE技术实施带来的挑战,利用企业私有云技术,搭建“逻辑上集中、物理上分散”的分布式环境,在此基础上利用NoSQL为底层支撑环境搭建PDM私有存储云平台,以实现企业数据的存储和共享,是未来的一个发展趋势。

2 基于企业私有云的PDM体系架构

传统的PDM系统是以RDB为基础的单点存储系统或分布式存储系统。而PDM私有存储云平台则是在企业内部(设计制造一体化企业)或有限几个企业(设计、制造相对独立的企业群)中的一个包含多存储设备、多应用、多服务协同工作的集合体,并采用NoSQL数据库作为其底层数据支撑环境。

基于企业私有云的PDM系统架构可采用四层结构模型:基础设备层、存储管理层、应用接口层和访问层。其系统架构如图1所示。

图1中,基于云存储和层次结构模型的PDM私有存储云平台在下层为PDM软件提供云服务,PDM软件在最上层通过平台提供的接口实现数据的访问操作。在层次结构模型中存储层包含了企业服务器、网络设备、中间件等各类硬件资源,在其之上是一个统一的存储设备管理系统,通过存储设备的逻辑虚拟化管理、多链路冗余管理,以及硬件设备的状态监控和故障维护等实现资源的虚拟化、服务化。

存储管理层是PDM私有云存储的核心,也是云存储中最难以实现的部分。存储管理层通过集群、分布式文件系统和网格计算等技术,实现云存储中多个存储设备之间的协同工作,使多个的存储设备可以对外提供同一种服务,并提供更大更强更好的数据访问性能。数据加密技术保证云存储中的数据不会被未授权的用户所访问,同时,通过各种数据备份和容灾技术等可以保证云存储中的数据不会丢失,保证云存储自身的安全和稳定。

应用接口层可以根据制造企业的实际业务类型开发不同的应用服务接口,提供不同的应用服务,并根据不同的服务接口提供PLM管理、CAx集成接口等功能。在存储管理层和应用接口层之间的跨层次数据流引擎技术保证了平台间数据的高效流通。

访问层为授权用户提供标准的应用接口来登录云存储系统,支持不同的协同制造模式,并根据企业的需求提供不同的访问类型和访问手段,用户可以享受不同的PDM私有云服务。

3 系统实施关键技术

在MBD/MBE大数据环境下,基于私有云存储的PDM系统采用NoSQL数据库作为底层环境,构成比较完整的PDM云技术体系如图2所示。

图2 基于NoSQL的PDM云技术体系

技术体系成层次结构,主要包括:基于NoSQL的PDM数据组织研究、基于NoSQL的企业私有存储云技术、面向MBE的基于私有云存储的PDM软件相关技术研究和MBD/MBE环境下的大数据管理。

3.1 基于NoSQL的PDM数据组织

NoSQL并不单指一个产品或一种技术,它代表一族产品,以及一系列不同的、有关数据存储和处理的概念。不同的NoSQL技术其数据存储模式也是不同的。因此对于装备制造企业来说,基于NoSQL的PDM数据组织研究内容主要包括PDM数据物理组织结构和逻辑组织、数据的查询优化以及数据的完整性和一致性等技术。

3.2 基于NoSQL的企业私有存储云

面向集团企业的云制造应用属于典型的私有云服务平台[21]。私有云基于企业网构成,其构建与运行者、资源提供者和使用者是集团和集团企业下属相关厂所、研究单位和企业等,目的主要是强调企业内或集团内制造资源和制造能力的整合与服务,优化企业资源和能力使用率,减少重复资源和能力的重复建设,降低成本、提高竞争力。

基于NoSQL的企业私有存储云重点在于支持PDM系统中的资源动态共享与协同,相关技术主要包括存储虚拟化技术、集群技术、分布式文件系统、数据和服务器负载均衡技术、数据备份和容灾技术等。

3.3 基于企业私有云存储的PDM软件

基于企业私有云存储的PDM软件支持在MBD/MBE生产环境下,为用户提供外部工具调用的系统服务,包括产品结构管理、版本管理、文档管理等通用工具集和CAx、ERP、WebService客户端等集成接口。其研究的主要内容包括在MBD/MBE环境下的数据流引擎等核心引擎技术、产品生命周期管理技术、产品配置管理技术等。

3.4 MBD/MBE环境下大数据管理

从技术层次来说大数据管理主要是通过PDM软件在海量企业数据中为决策者和高级工程师等企业高层挖掘知识信息,有效提高企业数据的再利用价值,实现制造型企业数据信息资产的增值。基于NoSQL企业私有云存储的大数据管理主要包括数据信息可视化、数据挖掘与分布式处理、知识管理等相关技术。

3.5 系统实施的技术路线

基于NoSQL和企业私有云存储的PDM系统的开发和实施是一项复杂浩大的工程,应统筹规划、有目的地进行,其可采取的技术路线如图3所示。系统实施的技术路线应遵循“统筹规划、健全团队、技术规范”的总体指导思想。

1)在MBD/MBE环境下,PDM是一个战略性的系统工程,它的发展将是一个阶段性渐进过程,需要企业和科研单位的共同努力。因此一个具有前瞻性的架构、业务规划是实施如PDM这样的大型项目的首要保证。同时健全的团队和详细的技术规范是保证系统成功实施的关键因素。

2)基于NoSQL的PDM数据组织研究是基础。MBD/MBE环境下,PDM数据的结构化特征越来越弱,根据NoSQL的特点开展PDM数据物理组织和逻辑组织方面的研究,关系到PDM数据在私有云环境下的存储模式和未来如何利用NoSQL实现产品结构树、产品配置管理等PDM功能。

3)基于NoSQL的企业私有云存储技术研究是关键。结合云制造和MBD/MBE等理念,PDM企业私有云存储采用NoSQL技术作为底层支撑,包括集群技术、分布式文件系统、网络通信、数据备份、容灾等关键技术。其相关技术的实现是PDM基本存储功能能否实现的关键。

4)PDM并不是一个仅仅实现简单文档管理和数据存储的技术模型,它是一个能够实现产品生命周期管理和信息共享的技术。因此,基于企业私有云存储的产品生命周期管理和PDM软件接口技术等PDM系统功能是研究的重要内容。

图3 基于NoSQL和企业私有云存储的PDM系统实施技术路线

5)构建基于NoSQL和企业私有云的PDM原型系统对研究内容具有重要支撑作用。原型系统的构建是检验系统各项技术实施的必要手段,同时也是将系统各项技术向企业生产实践转化的跳板。

6)MBE大数据管理相关技术的研究是对PDM技术的拓展性研究。在解决制造企业MBE大数据的存储问题的基础上,通过大数据管理技术实现企业数据的再利用价值,对制造企业向智能化、知识化转型具有战略意义。

4 结束语

目前,从国内装备制造企业的信息化环境来看,探索一条MBD/MBE时代的具有自主知识产权的PDM解决方案,从根本上解决全行业PDM受制于国外大公司的被动局面对制造型企业的未来发展具有十分重要的战略意义。利用NoSQL的存储机制和灵活的分片功能对PDM中的数据进行组织与部署,可以有效避开MBD数据的复杂模式设计,减少PDM系统的开发和企业实施的周期。同时,基于企业私有云存储的PDM系统打破了传统PDM系统设计和实施观念,可以加快MBD/MBE生产环境的建设和制造企业的转型升级。

基于企业私有云存储的PDM系统具有高扩展性、并发性强、访问效率高等特点,这为解决具有海量数据、多型号产品、周期短和高价值特征的企业大数据问题方面提供了一个很好的解决方法。在企业私有云环境中,也更好地保证了在数据资源化、数据共享联盟等大数据趋势下数据安全性问题,并为大数据的管理走向知识化、智能化打下基础,最终引领企业由制造向智造变革。

[1] Sanjay Ghemawat, Howard Gobioff, Shun-Tak Leung.The Google File System[J].Pub.19th ACM Symposium on Operating Systems Principles,Lake George,NY, December 2003:29-43.

[2] Dean Jeffrey, Ghemawat Sanjay. MapReduce: Simplif i ed data processing on large clusters. Communications of the ACM, 2008, 51(1):1072113.

[3] Chang Fay, Dean Jeffrey, Ghemawat Sanjay et al.Bigtable:A distributed storage system for structured data//Proceedings of the 7th Symposium on Operating System Design and Implementation (OSDI). Seattle,WA,USA,2006:2052218.

[4] Giuseppe DeCandia, Deniz Hastorun, Madan Jampani,Gunavardhan Kakulapati, Avinash Lakshman, Alex Pilchin, Swami Sivasubramanian, Peter Vosshall, and Werner Vogels .Dynamo:Amazon’s Highly Available Key/value Store.Proceedings of the 21st ACM Symposium on Operating Systems Principles,Stevenson,WA,December 2007:205-220.

[5] 于戈,谷峪,鲍玉斌,王志刚.云计算环境下的大规模图数据处理技术[J].计算机学报,vol34(10),2011:1753-1767.

[6] 李茂,贾宏,李艳明,朱美正.云数据管理的新数据模型[J].计算机工程与设计,vol33(10),2012:3870-3876.

[7] 孟小峰,慈祥.大数据管理:概念、技术与挑战[J].计算机研究与发展,vol50(1),2013:146-169.

[8] 姜红明,张丰华,吴慧杰,等.MBD技术实施研究[J].制造业自动化,vol34(12),2012:1-3,12.

[9] K.K. Leong, K.M. Yu, W.B.Lee. Product data allocation for distributed product data management system[J].Computers in Industry 47(2002):289-298.

[10] Benoît Eynard,Thomas Gallet,Lionel Roucoules,Guillaume Ducellier. PDM system implementation based on UML[J].Mathematics and Computers in Simulation.Volume 70,Issues 5–6, 2006:330-342.

[11] Namchul Do,Gyoengseok Chae.A Product Data Management architecture for integrating hardware and software development[J].Computers in Industry.Volume:6 2,Issue:8-9,2011:854-863.

[12] 梁科山,范大鹏,尚建忠,等.虚拟PDM环境下基于特征增长的协同设计[J].国防科技大学学报,vol33(4),2011:140-145.

[13] 崔中华,王君.基于XML的PDM与三维CAD双向系统集成研究[J].机械设计与制造,2012年第2期.2012:79-81.

[14] 李伯虎,张霖,任磊,等. 再论云制造[J].计算机集成制造系统.2011年3月,第17卷第3期:449-457.

[15] 张霖,罗永亮,陶飞,等.制造云构建关键技术研究[J].计算机集成制造系统,2010,16(11):2510-2520.

[16] 尹超,黄必清,刘飞,等.中小企业云制造服务平台共性关键技术体系[J].计算机集成制造系统,2011,17(3):495-503.

猜你喜欢
数据管理环境系统
Smartflower POP 一体式光伏系统
企业级BOM数据管理概要
定制化汽车制造的数据管理分析
海洋环境数据管理优化与实践
长期锻炼创造体内抑癌环境
一种用于自主学习的虚拟仿真环境
WJ-700无人机系统
CTCS-2级报文数据管理需求分析和实现
孕期远离容易致畸的环境
基于PowerPC+FPGA显示系统