基于虚拟化技术的资源池扁平化架构研究

唐铭成，柳先辉，秦修功

（1.同济大学 电子与信息工程学院，上海 201804；2.北京机械工业自动化研究所有限公司，北京 100120）

0 引言

在网络协同制造资源服务平台的研发中，由于其所接触的制造业业务种类越来越多，所管理的资源也越来越复杂，往往在同一个业务中会调用多种异构资源，因此建立资源服务平台、高效地管理以及调度多源异构资源对推进工业信息化、制造业与服务业融合发展来说异常重要。

目前针对网络协同制造资源服务平台中多源异构资源的管理国内外已经有许多方法，例如采用较多的联邦数据库法[1]进行资源整合，但当数据源过多时，数据访问接口也因此增多，导致执行效率较低。而中间件集成法[2]在通信时需要专门接口，且使用不同技术开发组件，互相的交互性较差，现有大多对异构资源的管理都存在或多或少的缺点。随着业务的发展，异构资源的管理往往涉及到对整个架构的修改较为复杂，传统的资源管理模式存在中心化、单一化特征，在开发成本和效率上没有优势[3]，新加入的业务人员也较难弄清内部逻辑，因此需要设计更加高效可靠的资源管理架构。

由于云计算的提出，数据的处理地点从个人计算机和服务器转移到因特网，实现了超级计算并由此延伸出资源池的概念。传统意义上的资源池指云计算数据中心涉及的各种计算资源与服务资源，其中的资源独立于任何项目实现资源共享[4]。本文将云计算资源池思想[5]应用到网络协同制造资源服务平台的设计中，提出一种扁平化的资源池架构。资源池整体架构主要包含了资源虚拟化、资源集成、业务抽象等模块，形成一个完整的智能系统，能够管理异构资源并实现存储、共享、调用等功能，解决分布式资源集成与路由的问题，将资源的集成和挖掘利用分离，增加资源管理的灵活性与高效性，在提高资源配置效率的同时实现整个业务过程的安全保障。

1 资源池架构设计需求分析

传统的资源管理模式在面对复杂业务时往往会出现许多问题，例如异构资源存储在服务器中时往往会出现数据高度集中现象，虽然集中资源可以方便管理与共享，但是随之会加剧数据异常或者系统堵塞的风险，当资源种类增多时，存储管理出现的异常会越来越多，在资源调度时数据映射也出现误差[6]。

而在资源存储过程中，由于大型项目所需求的资源种类过多且互相差异性巨大，因此往往存在多种完全不同的存储设备，这些设备往往较难集中管理无法满足高效、灵活的资源调度需求[7]。随着大数据的快速发展，多种设备的扩容和维护也带来很大的麻烦。

因此在传统资源管理架构中，由于资源的多样性以及随着业务扩展，会使得系统越来越复杂，当对某一功能区进行变动时，需要对资源管理系统的整体架构进行统一的重新建设以及重新部署，效率较低且存在着并发风险，当某一功能发生故障时，往往也会使得整个系统稳定性受到影响，从而影响多个业务的处理，甚至导致系统崩溃。在初始部署系统架构时也会因为技术选择限制从而开销大量人力成本[8]。

针对上述分析，本文提出的资源池扁平化架构需要解决以下问题：能够屏蔽存储多源异构资源时的资源差异性与设备差异性；能够在实现资源信息集成的基础上实现资源的跨平台调度；能够通过资源池架构的设计实现服务应用的快速部署；最后在架构设计中还需要降低系统复杂性，保证开发人员能够快速熟悉系统、灵活选择技术从而易于系统扩展。

2 扁平化资源池架构关键技术

2.1 异构资源虚拟化技术

目前，在异构资源管理方面还没有统一的虚拟化模型进行构建。而资源池最底层一定是在异构环境下对资源进行集成，在网络协同制造资源服务平台中管理的资源包含了服务信息与技术资源两大类，需要对多源异构资源进行虚拟化从而以数据形式存储进行统一管理。本文提出一种针对异构制造资源的统一虚拟化技术，首先需要对异构资源进行建模，第一步是序列标注，目前机器学习中HMM方法可以很好的对资源进行序列标 注[9]，通过制造业已有数据进行训练，包含词性标注、命名实体识别等。第二步按照不同粒度进行数据抽象成元数据[10]，用一个五维元组表示，包含资源名称、相关属性、标识、查询关键字段、映射关系，元数据保存方式可以用CSV、RDF、XML。对上述处理后的元数据进行基于本体的语义建模，参考制造业技术资源服务能力的一些已有资源信息元数据[11]，对制造业相关技术的重要概念和知识进行整理，通过Annotea语义标识系统进行语义标注[12]，将标注后的数据存进本体知识库[13]，接着将构建虚拟资源模型以便之后生成虚拟资源。所用虚拟机是由网络镜像、虚拟机的规格及支持的Hypervisor 构成，环境为异构虚拟化平台Vmware[14]，虚拟资源逻辑组成由四元组进行定义，分别是属性实体、镜像实体、虚拟机规格实体、网络实体[15]，基于上文构建的本体知识库调用其中实体资源数据进行虚拟资源生成，同时在映射表中一一建立虚拟资源和实体资源联系方便查询。图1是资源虚拟化流程图。

图1 资源虚拟化流程图

2.2 元数据聚合关键技术

在本文提出的资源池架构中，资源虚拟化成后将在数据层进行集成，是数据汇聚的中心。查询虚拟资源信息主要通过对存储的元数据进行查询，在网络协同制造技术资源服务平台中资源主要按照服务信息与技术资源进行划分，包含多种资源类别。本文基于改进的K-means算法对元数据按照资源种类进行划分，将其应用到数据层，可以直接查询到各类资源的元数据信息。

首先确定最初k值和个中心点开始位置，对于大规模数据查询，可以定义轮廓系数确定初始k值：

Si为轮廓系数ai是当前所选数据到其所在簇其他数据的平均距离，bi是当前所选数据到其他各簇中数据的平均距离的最小值，当轮廓系数si=+1时，说明当前对象的分簇正确，其与其他簇数据具有较大区别；当si=-1时，说明分类效果不好，当前数据与其本簇数据具有较大区别[16]。计算各个分类距离中心的位置，取其最小值，即为距离最近的分类中心点，对于每个样本xi，可以认为xi为距离簇中心最近的类j。因此各个簇距离中心点的距离公式为：

接着继续迭代计算各类聚合类的新中心点，根据平方误差E多次迭代到收敛。平方误差的计算方法如下：

通过元数据聚类技术，屏蔽了多源数据的异构性，将其应到到数据层相关模块中可以明显提高对服务信息与技术资源集成与查询的性能。

3 扁平化资源池架构设计

3.1 扁平化资源池总体架构设计

资源池扁平化是在充分理解业务需求的基础上，将资源池在逻辑以及物理层面对技术资源，服务资源进行粒度划分、用途分类和应用分级。本文借助云计算资源池的思想，提出一种扁平化资源池架构，自下而上分为资源层、数据层、链路层、技术支撑层和服务接口层,利用虚拟化、动态适配等技术实现服务和资源的分层解耦，从而可以将资源的继承定义与挖掘应用分离，在需要资源调用时系统进行计算分配，可以获得很高的资源吞吐率。

系统的资源层经过虚拟化后形成资源集成标准，分为服务资源和技术资源，技术支撑层通过安全工具、适配接入工具、资源配置工具以及资源池备份工具完成对链路层与接口层的自动部署，使得链路层可以有较为稳定的透明传输，能够在建立合理路由情况下进行跨平台并行调度资源，相对传统管理优化了资源调度，并提供各层接口，包含目录、资源、权限接口，实现资源池的分层解耦。而安全层负责整个资源池的监控，包含了密文传输，危险预警，专利维权等功能，通过接口层提供的各个接口达到实时监控。整个架构如图2所示。

图2 资源池整体架构图

3.2 资源层

资源层通常包含了支撑多种业务服务的硬软件设备以及人才资源，该层主要针对不同类型的资源建立虚拟化模型，对异构资源进行虚拟化方便上层数据集成。在发现与录入初始制造业资源后通过训练好的HMM序列标注模型对各类资源进行序列标注，经过语义标注后仍然通过基于监督学习的方法进行知识抽取，可以准确将资源特性标识出来。而后将其存储进本体知识库，从库中抽取对应资源信息结合4.1构建的虚拟资源模型生成虚拟资源，同时建立物理资源与虚拟资源的映射信息存放到映射表中。资源层主要负责对各种资源进行虚拟化，并对资源进行信息录入与维护，同时资源层作为最底层，虚拟化后的数据将由上层数据层集成并存储。资源层不仅可以由上层需求调度，也可以通过一个网络服务界面将计算、存储、网络处理等信息直接提供给用户。图3是资源层内部结构图。

图3 资源层具体结构图

3.3 数据层

由底层资源层虚拟化后的数据将在数据层进行集成，网络系统制造资源服务平台包含的数据主要分为服务信息与技术资源。数据层在整个资源池中负责制定资源集成标准，并提供信息查询服务以支持上层的跨平台调度。数据层按照网络协同制造资源集成标准进行集成，分成服务资源与数据资源。在服务资源和数据资源下通过本文3.2中技术进行元数据聚合，整合成各类异构资源信息簇存储进Mysql与NEO4J数据库中，根据资源特性以RDF、XML多种形式进行存储。这样虚拟资源经过集成与分类聚合后可以高效地进行管理，并通过基于Elastic的搜索模块进行查询，相对直接查询大大提高了效率，该功能主要由元数据解析模块和元数据聚合模块共同完成。数据层内部主要负责对虚拟化后的资源制定不同的标准将其抽象化，并将逻辑运算与相应业务进行封装，对不同的业务类型与资源类型进行动态划分存储区域，实现分布存储，等待上层的调度。图4是数据层内部逻辑结构：

图4 数据层具体结构图

3.4 链路层

链路层将对资源进行集成编制，最终负责资源的调度与传输维护，可以实现资源调动过程中的透明传输、跨平台调度、数据交换接口最终相对传统管理大大提高了调度效率。能够保证多个业务协同工作，在提高传输效率的同时做到安全加密，保证系统资源调用的稳定传输。

3.5 技术支撑层

技术支撑层主要包含了支撑架构的核心技术，从资源池底层到顶层都需利用这些技术来实现资源池的分层解耦以及业务的部署，支撑着资源池的运转。所有层都需要依赖技术支撑层提供的技术，包括了虚拟化工具，元数据聚合工具、数据库管理工具、资源池管理工具，安全保障工具，适配接入工具等。

3.6 接口层

接口层主要是提供一种约束，将所写的多数服务功能写成接口，可以简化调用者对该服务的内部逻辑依赖，本质是解耦作用，这样数据层跟业务层的实现就可以同时进行而彼此不会纠缠在一块，达到高内聚、低耦合的效果，逻辑简单清晰，分工协作，提高效率。

3.7 安全层

安全层主要负责对整个资源池的监控，保证资源池在出现功能性故障时能够及时发现并处理，将发生灾害时的影响下降到最小。安全层主要包含了对密文传输的安全保障，对突发危险预警，对分布式资源的持续追踪以及对专利的维权功能，安全层同时对接口层、技术支持层、链路层、数据层起到监管与保护的功能，是整个扁平化资源池管理系统的重要部分。

4 应用

本文最终研究目标是为网络协同制造技术资源服务平台开发出可行的资源管理模块，实现各类制造资源的集成、存储与共享，为制造业企业提供高效便捷的服务，扁平化资源池运作模型如图5所示。

图5 资源池运作模型

结合第三章对扁平化资源池各层的定义可以构建出整个平台的运作过程。在用户角度上看，用户通过平台交互发送需求后根据资源类别进行目录接口调用，而后通过链路层传输请求，在资源池中找到用户需求的数据并通过链路层跨平台调度传输到资源服务平台最上层供用户调度。从资源池角度看首先各种资源在网络协同制造技术资源服务平台进行注册，通过调用技术支撑层的多种虚拟化工具将部分业务需求的资源统一集成存储在数据层实现动态部署，数据层会根据资源种类进行信息统计与记录，而后通过链路层实行跨平台调度满足多用户的资源需求，安全层将会在上述过程中一直起到多方面的安全保障。

5 结语

随着企业信息化的不断推进，需要注重资源的集成与路由问题，本文对此提出了一种扁平化资源池架构并投入应用，将资源池在逻辑以及物理层面对技术资源，服务资源进行粒度划分、用途分类和应用分级，有效地处理分布式和集成路由的问题，实现对资源池配置的优化，为用户提供高效稳定的服务。此外还对整个架构用到的技术方法进行研究，下一步将尝试在实际项目中实现本文提出的架构并进行应用验证。