构建CentOS+GPFS集群

引言：本文介绍构建CentOS+GPFS集群的实验环境，以帮助各位系统管理员进行集群系统搭建及学习使用。本实验在VMware Workstation 12 Pro上进行，Linux使用CentOS-6.8-x86_64-bin-DVD1.iso，GPFS文件系统使用GPFS4.1.1 for Linux版。

本实验在 VMware Workstation 12 Pro上 进行，Linux使 用CentOS-6.8-x86_64-bin-DVD1.iso，GPFS文件系统使用GPFS4.1.1 for Linux版。该试验只是帮助各位系统管理员进行集群系统搭建及学习使用，相关软件因为涉及版权问题，如果用于生产环境，请购买正版授权及相关技术服务。

安装操作系统

1.在VMware中创建两台Linux虚拟机，并按照自己的硬件情况适当设置相关参数。建议创建时手工添加一块网络适配器，以便更好地模拟实际真实系统环境，同时也可以体验Linux最新的多网卡绑定（Team）技术。创建完成后如图1所示。

2.安装 CetOS6.8，虚拟机启动后将进入如图2所示界面。

图1 在VMware中创建Linux虚拟机

图2 启动虚拟机

图3 选择Gonme Applications选项

选择Install CentOS 6选项，即可开始安装CentOS 6.8，这里没有什么特别的选项，只需要按照自己的习惯进行安装即可。建议安装中在Software Selection选项中选择Gnome desktop，并在右侧选项中选择Gonme Applications选项，这样为将来安装Oracle及管理带来很多便利（如图3）。之后，设置其他参数静待安装完成。

安装GPFS

1.创建本地源，因为安装GPFS时，需要Linux系统相关软件组件，因此为了方便安装这些组件，我们需要使用本地源系统进行快速安装。在使用YUM进行安装时，将自动为我们校验和安装组件依赖包，非常方便。创建本地源过程介绍如下。

使用命令mkdir /etc/yum.repo.d/repoBase在/etc/yum.repo.d目录下创建repoBase目录，用于备份系统默认的repo文件；进入/etc/yum.repo.d/目录，使用命令mv *.repo./repoBase/将当前目录中所有repo文件移动到repoBase目录下。

使用命令vi CentOSBase.repo编辑新文件，内容如下：

保存退出。

使用命令mount /dev/sr0 /media/将光盘挂载到/media目录中，并使用命令yum reoplist进行本地源验证，系统如果出现如下信息：

说明本地源设置成功。

2.安装GPFS所需的系统组件，使用命令yum install m4 ksh安 装 m4、ksh组件包，否则GPFS安装会提示需要组件包而无法安装。

图4 安装包目录结构

图5 基础包安装回显信息

图6 GPFS文件系统组件升级系统回显信息

3.上传GPFS文件系统安装包，并进行解压，我获得的安装包目录结构如图4所示。

其中，base为基础包，fp为补丁包，需要先进入base目录使用命令rpm –ivh *.rpm进行基础包安装，系统回显信息如图5所示。

之后进入fp目录使用命令rpm -Uvh *.rpm进行GPFS文件系统组件升级，系统会回显信息如图6所示。

4.编译GPFS源码。在系统中继续安装如下组件：compat-libstdc++-33、r p m-build、kerne lheaders.x86_64、kerneldevel-2.6.32-642.el6.x86_64、imake.x86_64、g c c-c++.x 8 6_6 4、libstdc++、redhat-lsb。使用命令yum install compat-libstdc++-33rpm-buildkerne lheaders.x86_64 kerneldevel--2.6.32-642.el6.x86_64 imake.x86_64 gcc-c++.x86_64 libstdc++redhat-lsb进行以上组件安装，这样编译时才能顺利通过，否则可能会有各种编译报错，无法进行编译。

之后执行命令cd /usr/lpp/mmfs/src 进入到GPFS安装目录中。

接着，执行官方安装建议命令：

此时系统一定会报如下错误：

原因是默认配置文件不支持该操作系统，需要手工编辑配置文件内容，此时需要先终止编译过程，然后执行如下命令：

使用命令vi /usr/lpp/mmfs/src/config/env.mcr对配置文件进行编辑，修改相关行内容如下：

图7 配置文件内容

保存退出之后，返回到src目录，继续执行命令make World; make InstallImages; make rpm

执行命令cd /root/rpmbuild/RPMS/x86_64/ 进入该目录并执 行rpm -ivh gpfs.gplbin-2.6.32-642.el6.x86_64-4.1.1-4.x86_64.rpm安装该组件包。

配置GPFS

1.在虚拟机中创建共享磁盘，方法比较简单，只要在虚机关机状态下通过“编辑虚拟机设置”选项在一台机器中添加需要的硬盘设备，同时将虚拟设备节点选为SCSI1控制器支持的通道（因为操作系统安装时已经使用了SCSI0控制器作为本地硬盘控制器，共享盘设置需要对虚拟机的.vmx配置文件进行编辑，此项必须进行设置），模式勾选独立，并复选永久选项。

在试验中我们增加了4块5GB的硬盘设备。用户需要对自己的虚拟机配置文件对照一下实验配置文件进行修改，文件内容如图7所示（注释中添加必须字样的内容为需要用户手工添加的内容）。

重启主机，在两台主机上分别执行命令fdisk -l，应该就可以看到新的共享盘符了。

本试验中两台主机中均可以看到/dev/sdb 、/dev/sdc、/dev/sdd、/dev/sde四个新的硬盘设备。

2.建立双机互信，使用SSH建立双机互信，分别登录两台主机，执行命令sshkeygen -t rsa 生成密钥文件，之后分别在各主机上执行命令ssh-copy-id -i/root/.ssh/id_rsa.pub root@对端主机IP地址，之后进行双机互信登录测试。

3.创建GPFS双机集群，双机互信建立之后，此时可以直接编辑双机GPFS集群配置文件，使用vi /root/gpfsprofile ,文件内容如下：

之后使用命令mmcrcluster -N /root/gpfsprofile -p oraclenode1-s oraclenode2 -C oracle_gpfs_cluster -r /usr/bin/ssh -R /usr/bin/scp创建集群，注意指定SSH方式，命令参数含义如下：

-C oracle_gpfs_cluster设定集群名称

-U bgbc定义域名

-N /root/gpfsprofile指定节点文件名

-p oraclenode1 指定主NSD 服务器为 oraclenode1

-s oraclenode2 指定备NSD 服务器为oraclenode2

使用命令mmchlicense server --accept -N oraclenode1,oraclenode2接受许可协议。使用命令mmlscluster确认创建集群状况。

4.生成nsd 盘，使用/dev/sdb、/dev/sdc、/dev/sdd、/dev/sde，使用命令 vi/nsdprofile创建配置文件，文件内容如下：

之 后， 使 用 命 令mmcrnsd -F /nsdprofile创建NSD盘。此时系统自动修改/nsdprofile 文件内容如下：

5.启动GPFS集群，使用命令mmstartup -a启动GPFS集群软件，使用命令mmgetstate -a -L查看GPFS集群状态，检查GPFS state列，显示为“active”说明GPFS文件系统正常。

6.创建GPFS文件系统，在所有节点中使用命令mkdir /gpfs创建GPFS文件系统挂载点，并在任意节点执行命令mmcrfs /gpfs gpfs_lv -F /nsdprofile-A yes -n 30 -v no 系统将创建设备为gpfs_lv的GPFS文件系统设备，此时可以进入/dev目录进行查看验证。使用命令mount /gpfs挂载文件系统。使用命令mmchconfig autoload=yes将GPFS集群设置为开机自启模式。使用命令mmchconfig tiebreak erDisks=”gpfs1nsd;gpfs2nsd;gpfs3nsd”配置仲裁盘。重新启动所有节点使用命令mmlscluster、mmlsconfig、mmgetstate -a -L、mount、df -hl对GPFS文件系统及系统挂载节点进行验证。