高校数据中心虚拟化的建设与实践—以东北财经大学实验教学中心为例

◆宫宇 娄道凯

高校数据中心虚拟化的建设与实践—以东北财经大学实验教学中心为例

◆宫宇 娄道凯

（东北财经大学创新创业与实验教学中心 辽宁 116025）

本文以东北财经大学实验教学中心为例，分析传统物理服务器架构的数据中心在运维管理以及对实验教学支撑的不足，通过虚拟化技术完成传统物理数据中心到虚拟化数据中心的改造，实践证明虚拟化数据中心的建立，在实现绿色、高效、便捷、统一管理的同时，为学校双创教育、实验教学的发展提供了有力支撑。

服务器；虚拟化；数据中心；实验教学

1 传统物理服务器架构的数据中心的劣势分析

我校实验教学中心自2008年陆续购置了20余台联想万全物理服务器，用于支撑全校30多个实验教学系统的运行。中心目前承担运行的各类业务主要包括：创新创业、实验教学、国家级虚拟仿真项目建设、创业大赛、上机考试等。随着实验、实践、创新创业等各类系统对算力需求的逐年攀升，原有的服务器资源在保证旧有业务系统的运行之外，已无法支撑新的业务系统的部署和运行，主要存在如下几个方面问题。

1.1 服务器算力资源分配不均及硬件故障

中心的20多台物理服务器运行至今已有十余年，raid卡故障、硬盘故障、电源故障、网卡故障等时有发生。一台物理服务器的硬件故障有可能导致若干业务系统无法运行，无法实现业务系统运行的快速恢复。由于算力资源受限，多个业务系统同时运行会导致CPU、内存资源急剧攀升，而处于空闲的服务器资源则没有充分利用。

1.2 服务器算力资源分配不均及硬件故障

服务器资源的分配原则是一台物理服务器对应一个应用，但随着各类业务系统的不断增加，在物理服务器资源有限的情况下，导致一台服务器通常需要运行两个甚至多个应用系统。由于各个业务系统运行所需的库文件、中间件、数据库的不同，即使能够在同一操作系统运行，不同的软件彼此在运行过程中也会有冲突的情况产生（进程、端口占用），不同厂商的技术人员在对本公司开发的系统进行运维时，有可能导致另一个业务系统无法正常使用。

1.3 运维及部署周期成本高

由于服务器的物理隔离，运维管理人员无法实现物理服务器的批量、集中、统一管理，无法实现算力资源的统一调度。一个新应用的上线运行之前，一般需要经过预算、采购、系统安装、调试、测试和上线等几个阶段。在服务器上架之后系统部署之前，需要部署raid阵列、安装操作系统、配置相应的安全防护策略等若干步骤。由于数据中心本身物理空间、电力的限制，实现一个应用对应一个物理服务器势必造成空间、能源、人力的巨大损耗。

2 数据中心虚拟化的优势分析

服务器虚拟化是将服务器物理资源抽象成逻辑资源，让一台服务器变成几台甚至上百台物理隔离的虚拟服务器，不再受物理结构限制，让CPU、内存、磁盘、网络等硬件变成动态可管理的“资源池”，从而提高资源利用率，简化系统管理，实现服务器的资源整合[1]。结合我校实验教学中心物理服务器数据中心的现状，通过服务器虚拟化带来如下优势。

2.1 降低能耗、节省空间

利用虚拟化将三台计算服务器、三台存储服务器及相关网络互联设备构建虚拟化集群，替代25台物理服务器的计算及存储资源。

2.2 降低能耗、节省空间

每个虚拟主机可以根据业务系统的配置要求，配置相应的CPU、内存、硬盘、操作系统、设置独立的IP及应用端口，实现虚拟主机与业务系统的一对一关系，各虚拟主机之间彼此互不影响，结合安全审计堡垒机，将各业务系统的虚拟主机与厂商技术人员实现业务绑定，实现远程部署和运维，对业务系统的任何操作都能有据可查。

2.3 服务器资源的统一分配、调度

合理利用CPU、内存、硬盘、网络资源，实现服务器资源的按需分配，提高服务器资源的利用率，当某台主机服务器的计算、存储资源不足时，利用虚拟化特有的HA、VMotion、FT等高级功能，可以随时将虚机资源迁移到另外一台资源充足的服务器上运行，迁移方式可以实现计算、存储及整机迁移。

2.4 利用P2V（物理机迁移虚拟机）实现系统迁移

实验系统的运行环境存在数据库、操作系统版本老旧，无法升级且只能在固定服务器上运行，部分实验系统已经脱保，但依旧在使用的情况存在。为保证实验系统的可靠运行，提升实验系统对算力资源的需求，保证实验系统的稳定运行和统一管理，采用P2V技术将实验系统迁移到虚拟机上，使之能够运行于虚拟化平台之上。由于部分实验系统采用USB硬加密的方式，导致虚拟机无法识别USB硬加密的问题，通过将USB over Network软件解决。

3 数据中心虚拟化的优势分析

实验教学中心为全校师生提供IaSS基础架构服务，具体包括两大服务方向：计算终端服务、数据中心服务。计算终端服务：1200余台终端承担全校实验、实训、考试、创新创业大赛的上机任务。数据中心服务：25台物理服务器为各类实验教学平台提供基础运行环境。

中心31个实验室共计1200余台计算终端（包括物理PC、桌面云服务），目前已完成VDI、VOI、IDV三种桌面云虚拟化技术解决方案的设计、部署、测试和运行，能够满足实验、实训、创新创业大赛等多场景使用需求。其中VDI解决方案40点位实现实验室开放共享、教学资源的远程访问，VOI解决方案部署40点位充分发挥现有实验室硬件资源、为虚拟仿真、科研、高性能计算提供服务。其中IDV架构解决方案262点位部署从2019年至今，已保证各类日常教学、和各类考试的高效稳定运行[2]。

中心具备功能完备的网络拓扑结构。31个实验室通过划分独立的VLAN和IP子网，实现可靠的安全性、带宽利用率以及便捷的管理。每个实验室通过接入层交换机光纤汇聚到核心交换机S7606，数据中心区域通过千兆电口上联核心交换机S7606实现不同实验室之间、实验室与数据中心区域的高速互访，核心交换机上联出口网关NPE60E千兆光纤链路至校园网。

因此通过服务器虚拟化技术完成从传统物理架构向虚拟化数据中心的改造是完全可行的，将25台物理服务器的实验平台全部迁移到虚拟化集群，具体网络拓扑如图1所示。

图1 实验教学中心网络拓扑

4 基于vsphere构建数据中心虚拟化的建设实践

图2 数据中心网络拓扑

针对上述传统物理架构的数据中心运行中存在的问题，结合中心现有网络拓扑、统计现有实验平台所需计算及相关存储资源以及未来的可扩展性。采用vsphere的两大组件ESXI及vCenter[3]，实现计算、网络、存储资源的集中统一管理，实现虚拟服务器的动态分配，将三台高性能DELL服务器进行vmware虚拟化作为计算节点，同时利旧两台联想服务器用于数据备份及共享存储[4]，一台QNAP文件存储服务器用于存储虚机模板及镜像模板等服务。

六台服务器通过万兆光纤交换机万兆双链路互联，数据中心网络拓扑如图2所示。

4.1 计算及存储资源规划

采用三台配置相同的DELL高性能服务器作为计算节点，允许一个计算节点器宕机后，虚机资源可以迁移到另外两台服务器继续工作，同时为避免共享存储的单点故障，充分利用计算节点的本身的存储资源。非生产NAS存储用于虚拟机的备份，生产数据共享存储用于计算节点及本地存储资源不够时，将虚机存储资源迁移到共享存储，具体配置如表1所示。

表1 计算及存储资源配置表

服务器名称配置用途 DELL PowerEdge R740 服务器1CPU：英特尔至强银牌 4210 2.2G，内存128G，3.8T本地存储运行Web服务 DELL PowerEdge R740 服务器2CPU：英特尔至强银牌 4210 2.2G，内存128G，无本地存储连接共享存储，计算节点资源补充 DELL PowerEdge R740 服务器3CPU：英特尔至强银牌 4210 2.2G，内存128G，7.6T本地存储运行旧实验平台、虚拟仿真等 非生产数据NAS存储服务器15.7T 存储虚拟机备份 生产数据共享存储服务器3.8T 存储虚拟机存储 文件备份服务器12T 存储系统镜像及文件存储服务

4.2 降低能耗、节省空间

每个DELL服务器总共有四块千兆网卡用于跑业务流量，两块万兆网卡用于互联共享存储和数据备份服务器。

数据中心的内部网络流量涉及的业务主要包括：旧实验教学平台、虚拟仿真项目、Web服务。根据各类业务的属性特点，按照VLAN属性对网络流量逻辑隔离，方便后续IP地址统一规划，安全策略统一防护，同时管理流量及共享存储及备份流量需要通过上行链路网卡物理隔离。

为保证虚机迁移，要求三台计算节点服务器配置相同的四台虚拟标准交换机用于上联计算节点网卡。

实验平台及虚拟仿真项目的特点是用户访问量大，对I/O速度要求较多，占用空间多，将此类业务绑定两块千兆物理网卡，实现流量的负载均衡及链路带宽扩充。

Web业务流量由于涉及对外信息发布功能，对I/O速度要求不多，且占用存储资源不多，此类业务单独绑定一个千兆物理网卡。

管理流量涉及虚机迁移、ESXI主机管理、以及vCenter服务，将此类流量单独上联一个千兆物理网卡。

三台计算机点的共享存储流量及数据备份流量，只是内部数据交换，不涉及用户访问，因此分别绑定一个万兆网卡与万兆交换互联。

计算节点主机网络规划如下表2所示。

表2 计算主机节点网络规划

业务类型IP网段VLAN端口组ID虚拟标准交换机上行链路网卡 管理流量192.168.99.0/2499vSwitch0vmnic01000M 生产数据共享存储172.16.60.0/24无vSwitch1vmnic410000M 非生产数据备份存储172.16.61.0/24无vSwitch2vmnic510000M 虚拟仿真项目192.168.96.0/24VLAN96vSwitch3Vmnic1，vmnic2双网卡2000M Web流量192.168.97.0/24VLAN97vSwitch4vmnic3 1000M

4.3 计算及存储资源规划

中心技术运维人员负责虚拟化服务器CPU、内存、硬盘的分配和创建，部署操作系统基础环境、IP地址规划、网络连通性。

通过技术和制度两个层面保证信息系统的网络安全。技术上在操作系统防火墙、WAF、出口网关配置控制策略实现各类系统的精细化管理，部署堡垒机满足运维管理的安全审计需求。在制度方面通过信息系统开发与部署安全承诺书、堡垒机使用申请表、虚拟机使用申请表、密码使用制度、用户身份制度，规范各类系统的安全责任要求。

5 结束语

通过服务器虚拟化技术实现数据中心从传统物理架构向虚拟化数据中心的改造，帮助运维技术人员能够进行理论和实践的技术积累的同时，有力支撑了创新创业与实验教学的业务开展，中心的本科教育教学改革成果《“大平台+”支持下的新商科“课赛训创”创新创业教育体系的构建》，荣获2020年度辽宁省本科教学成果二等奖。随着国内超融合、私有云等技术的逐步成熟，未来将计算、网络、存储、安全资源纳入统一管理和扩建，并将数据中心现有基础设施淘汰、利旧和新建，规划构建一个灵活高效、生态丰富、可持续运营的校园实验和实践云服务平台全面支撑全校实验教学、科研、创业实践。

[1]刘金丰.企业桌面云规划、部署与运维[M].北京：机械工业出版，2018：48-49.

[2]宫宇.基于IDV架构的云桌面实验室运维管理实践[J].中国管理信息化，2020，23（17）：191-192.

[3]王春海.深入学习VMware vSphere 6[M].北京：人民邮电出版社，2018：105-112.

[4]何坤源.VMware vSphere6.7虚拟化架构实战指南 [M].2019：160-175.