部署多路径软件实现共享存储

■ 福建 林春景 肖静静

编者按： 为解决在集群服务器中，任意一台服务器因为HBA卡、线缆、交换机或者存储设备的RAID控制器故障等原因造成其中一条物理路径失效时，服务器可以通过其他物理路径的I/O转移到其他正常的物理路径，从而提高系统应用的稳定性。

下面笔者将重点讲述如何在国产化软件Kylin操作系统下部署Multipath多路径软件，实现同一个集群服务器内各服务器成员拥有共享数据存储空间。

部署环境

1．操作系统：

Kylin银河麒麟服务器操作系统

2．服务器：

HuaWei RH5885 V3

3．多路径软件：

Linux DM Multipath

4. 光纤交换机：

HuaWei OceanStor SNS2124

5．存储系统：

HuaWei OceanStor 2200 V3

图1 具体内容

Multipath软件安装

1．查看软件安装状态

root@MAP-1:～# dpkg -l|grep multipath-tools

r o o t@M A P-1:～##如果没有返回值，说明没有安装该软件

2．安装相应软件包

本文主要讲述在本地安装的方法，DM-Multipath软件除了multipath-tools外，需要先依次安装libsgutils、sg3-utils、sg3-utilsudev、kpartx。以上软件均可以从系统安装光盘（Kylin-4.0.2）中找到，用于解决软件包的依赖关系。具体内容如图1所示。

3．启动multipath服务

r o o t@M A P-1:～#s y s t e m c t l s t a r t multipathd.service

4．设置开机自启动

r o o t@M A P-1:～#s y s t e m c t l e n a b l e multipathd

5．查看服务开启状态

r o o t@M A P-1:～#systemctl list-unit-files|grep multipath

Multipath参数配置

1．创建multipath.conf配置文件

默认情况下，不会在/etc目录下自动生成multipath.conf配 置文件，但安装multipathtools后，会在/usr/share/doc/multipath-tools/examples/目录下生成multipath.conf.synthetic的模板文件。因此，将该文件复制至/etc目录并重命名multipath.conf。

root@MAP-1:～# cp -v /usr/share/doc/multipatht o o l s/e x a m p l e s/multipath.conf.synthetic/etc/multipath.conf

2．读取WWID编号

通过multipath -ll命令读取系统连接存储的WWID编号。

图2 具体内容

r o o t@M A P-1:～#multipath -ll

3．打开配置文件

root@MAP-1:～# vim /etc/multipath.conf

4．编辑配置文件

具体内容如图2所示。

5．使配置文件生效

root@MAP-1:/home/fjwj# systemctl reload multipathd.service

管理和使用LVM

LVM是逻辑盘卷管理简称，是磁盘管理的另一种工具，是建立在硬盘和分区之上的一个逻辑层，用来提高磁盘分区管理的灵活性。通过LVM系统，管理员可轻松管理磁盘分区，如将若干个磁盘分区连接为一个整块的卷组 (volume group)，形成一个存储池；然后可以在卷组上随意创建逻辑卷组（logical volumes），并进一步在逻辑卷组上创建文件。

1．创建物理卷

root@MAP-1:/home/fjwj# pvcreate /dev/mapper/GIS

结 果 显 示 ：Physical volume "/dev/mapper/GIS"successfully created

2．创建卷组

root@MAP-1:/home/fjwj# vgcreate GIS /dev/mapper/GIS

结 果 显 示 ：Volume group "GIS" successfully created

3．创建逻辑卷

创建一个使用全部卷组的逻辑卷之前，先通过root@MAP-1:pvdisplay命令，查看Free PE项的值,然后进行创建：

root@MAP-1:/home/fjwj# lvcreate -l 1572863/dev/mapper/GIS -n GIS

结 果 显 示 ：Logical volume "GIS" created.

//“1572863”该值为当前卷组的最大可用PE数，来源于存储系统创建空间后的值，此处等于6TB。

4．格式化逻辑卷

root@MAP-1:/home/fjwj# mkfs.ext4 /dev/mapper/GIS

5．创建挂载点并挂载

root@MAP-1:/home/fjwj# mkdir /GIS

root@MAP-1:/home/fjwj# mount /dev/mapper/GIS-GIS /GIS

欧阳锋原本以为讲了段子就能少喝两杯，结果事与愿违，所有同学不约而同地拿他做了靶子，这个说真他妈看不出来，你小子那么有才，一鸣惊人哪！那位说你也真是，平日里斯文得像个太监，没想到城府如此之深！欧阳锋百口莫辩，疲于招架，几个回合下来就晕乎乎的找不着北了。

6．查看挂载状态

root@MAP-1:/home/fjwj# df -h

7．设置启动自动挂载

首先通过root@MAP-1:/home/fjwj# blkid命令行，可查询逻辑卷的UUID，如下

/dev/mapper/GIS-GIS:UUID="f593a74f-85b1-422b-bf7e-3a52fa1cb722"TYPE="ext4"

然后打开fstab文件：

root@MAP-1:/home/fjwj# vi /etc/fstab

在文件最后追加如下一行：

UUID=f593a74f-85b1-422b-bf7e-3a52fa1cb722 /GIS ext4 defaults 0 0

//以上各项值为别对应：

8．集群服务器中的其它成员设置

假设集群由两台服务器组成，并连接好各类线缆。那么在第二台服务器（MAP-2）中，分别执行 pvdisplay、vgdisplay可查询物理卷和卷组已经创建完毕，在此无需另外创建或修改。

接着跳过创建逻辑卷和格式化逻辑卷的操作，直接创建挂载点并挂载，最后设置启动自动挂载文件（参照管理和使用LVM进行设置）。

读写测试

1．在两台服务器上分别创建5个文件

root@MAP-1:touch /GIS/sysadm-{1..5}.txt

root@MAP-2:touch /GIS/test-{1..5}.tx

2．重新挂载并查看

root@MAP-1:umount /GIS #卸载

root@MAP-1:mount /dev/mapper/GIS-GIS /GIS#挂载

r o o t@M A P-1:/home/fjwj# ls /GIS/#查看创建后的内容

在MAP-2服务器做相同操作，结果一致。

3．注意事项

如何在对创建后的文件进行操作时，有出现如“无法访 问"/GIS/test-1.txt":结构需要清理”的类似情况。先卸载挂载点，然后执行root@MAP-2:/home/fjwj#fsck /GIS 进行修复，完毕后重新挂载即可。