探索分布式文件系统应用场景的案例
2020-08-06 14:15刘嘉奕
中小企业管理与科技·上旬刊 2020年6期
关键词：应用场景
【摘 要】某数据中心中由ESXI主机（PC服务器）+存储构成的vSphere HA集群存在两个问题：一是存储资源消耗较大;二是PC服务器内置硬盘利用率不高。分布式文件系统软件的出现为开发和利用集群内置硬盘资源提供了一个新的方向，论文对此方面进行了一些有益的探索和实验。
【Abstract】There are two problems existing in the vSphere HA cluster composed of ESXI host （PC server） + storage in a data center： one is the large consumption of storage resources; the other is the low utilization of built-in hard disk of PC server. The emergence of distributed file system software provides a new direction for the development and utilization of cluster built-in hard disk resources. This paper makes some beneficial explorations and experiments on this aspect.
【關键词】GlusterFS Linux Vmware;分布式文件系统;应用场景
【Keywords】GlusterFS Linux Vmware; distributed file system; application scenario
【中图分类号】TP333 【文献标志码】A 【文章编号】1673-1069（2020）06-0160-02
1 案例实施背景
当前，某数据中心PC服务器数量已达上百台，按部署架构大致可分为两类：
①少量PC服务器作为实体机使用，主要承载管理类数据库等对运算资源要求较高的应用，一般外接存储和NAS，内置硬盘中只需2块作RAID1用以部署操作系统，其余硬盘没有明确用途。
②其余大部分PC服务器用作虚拟资源池。基于业务连续性等方面的考虑，重要应用系统所用的虚拟机主要部署在vSphere HA集群。vSphere HA集群由若干ESXI主机（PC服务器）+存储构成，一般情况下，业务数据放置于存储，主机内置硬盘仅用于安装ESXI操作系统。
上述部署架构存在两个问题：第一，存储资源消耗量较大;第二，PC服务器内置硬盘资源实际大量闲置，利用率较低。分布式文件系统软件的出现为该情况的改善提供了契机，为集群内置硬盘资源的使用提供了一个新的方向，在此方面，本文进行了一些积极的探索和实验。
2 案例实施方案
2.1 准备工作
2.1.1 软件选型
①商用软件FusionStorage
商用软件FusionStorage的优点是相对成熟且易获得技术支持;缺点是对硬件要求较高，与现有虚拟资源池架构契合度不好，主要表现为：基于虚拟机的融合部署时，需要将硬盘和RAID卡都直通给CVM，但RAID卡直通给CVM后，安装ESXI的硬盘就无法被系统识别，导致ESXI无法启动。融合部署有一规避方法就是将RH2288H后置面板上的2块硬盘直接接到主板的SATA口上，不通过RAID卡，但此方法只能将ESXI安装在单盘上，无法组RAID，因此，存在风险。
②开源软件
常见的开源软件包括MooseFS（MFS）、Ceph、GlusterFS、Lustre、Hadoop等。经调研，上述软件中GlusterFS的安装相对简单，无Metadata Server节点，且具有易扩展、适合存储大文件等特点，因此，本文采用了该软件作为实验对象。
2.1.2 软件安装
实验环境搭建于专用测试网段，使用13台Linux服务器，1台作为Client，其余12台作为GlusterFS Server。共测试两个版本：Suse11 sp3 + GlusterFS 3.6.5和Suse 12 sp2 + GlusterFS 3.10.0rc0。
2.1.3 配置
①先建立虚拟机模板，在模板的/etc/hosts文件中加入所有Server和Client的地址和主机名，按照RUNBOOK设置相关参数。
②使用模板克隆和部署12台Server虚拟机和1台Client虚拟机，并为各虚拟机设置主机名、地址。虚拟机部署于各ESXI主机的内置硬盘datastore。每台主机上只部署1台虚拟机，并要确保各ESXI主机连接相同的2台交换机，且虚拟机使用专门的1～2块网卡，以减少跨交换机流量和降低对其他虚拟机的影响。
③使用内置硬盘为各虚拟机增加虚拟硬盘，建立文件系统，在该文件系统下建立data目录（此处名称任意），并在fstab中加入相关信息。
④清除/var/lib/glusterd/下的文件，设置Glusterd为自动启动，重启操作系统。
⑤配置volume
在任一Server虚拟机内执行：
gluster peer prob HEBTVL-GFSS-A01
gluster peer prob HEBTVL-GFSS-A02
……
gluster peer prob HEBTVL-GFSS-A12
gluster volume create VOL_LUN0_C1 transport tcp HEBTVL-GFSS-A01：/brick/LUN0/data #可根据需要设置volume类型
gluster volume add-brick VOL_LUN0_C1 HEBTVL-GFSS-A02：/brick/LUN0/data
……
Gluster volume add-brick VOL_LUN0_C1HEBTVL-GFSS-A07：/brick/LUN0/data
gluster volume VOL_LUN0_C1 start
gluster volume set LUN0_C1 performance.readdir-ahead off
⑥配置客戶端
#mount 文件系统（使用fuse）
mount -t glusterfs -o backupvolfile-Server=HEBTVL-GFSS-A01，backupvolfile-Server=HEBTVL-GFSS-A02 HEBTVL-GFSS- A03：/VOL_LUN0_C1 /gfs || mkdir /gfs/nfs
#export nfs echo"/gfs/nfs 10.59.12.0/255.255.255.0（fsid=0，rw，root_squash，sync，no_subtree_check，crossmnt）" >> /etc/exports
exportfs -av
值得注意的是，除fuse外，GlusterFS还支持iscsi方式共享volume。
2.2 分布式文件系统的使用
2.2.1 虚拟机备份
以Client虚拟机为中继，将GlusterFS volume挂载到ESXI主机，挂载成功后即可作为ESXI主机的datastore使用，替代NAS。
2.2.2 IQ库备份文件的恢复验证
某数据中心的IDFB系统IQ库USER空间已近7T，每次备份需6T存储空间，且备份期间I/O消耗较大。针对这一难题，本文使用GlusterFS 3.6.7新建了一个striped 4（4个节点一组作条带化）的volume用于IQ库备份和稍后的恢复验证：
gluster volume create VOL_LUN1_C1S4 stripe 4 transport tcp xxxTVL-GFSS-A01：/brick/LUN0/data xxxTVL-GFSS-A02：/brick/LUN0/data xxxTVL-GFSS-A03：/brick/LUN0/data xxxTVL-GFSS-A04：/brick/LUN0/data xxxTVL-GFSS-A05：/brick/LUN0/data xxxTVL-GFSS-A06：/brick/LUN0/data xxxTVL-GFSS-A07：/brick/LUN0/data HEBTVL-GFSS-A08：/brick/LUN0/data
经测试，在4节点作条带化情况下，IDFB使用千兆网卡访问GlusterFS volume时写入速度可稳定达到117MB/s（网卡传输速率的上限），单个节点写入速度最高为29.3MB/s（volume写入速度的1/4）。
3 经验与收获
①PC服务器安装前应提前调整硬盘分布，将硬盘集中到部署分布式文件系统的机器上，必要时提前划好RAID。
②ESXI主机应具备3块以上物理网卡，实现联机（online）请求与文件传输（offline）的网络分离。
③GlusterFS Server虚拟机和客户端对应的ESXI主机应尽可能连接相同IP交换机，以减少跨交换机的网络流量。
【参考文献】
【1】杨靖炜.服务器虚拟化在医院信息系统中的应用[J].计算机产品与流通，2020（4）.
【作者简介】刘嘉奕（1998-），男，河北石家庄人，本科在读，从事软件工程研究。
