网络存储管理系统性能的优化

陈广旭 董启雄 龚瀛

摘要:存储架构与存储资源日益的复杂性,使得系统管理者必须花更大的精力投入到如何更有效的管理存储资源上。如何设计一个廉价简单易用的存储管理系统成为存储界关注的焦点。本文对网络存储管理系统性能的优化进行了探讨。

关键词:网络存储 管理系统 性能优化

针对存储管理系统的具体应用,我们主要从文件系统、网络性能和服务性能方面对网络存储管理系统进行优化。

一、网络存储管理系统性能瓶颈

存储管理系统嵌入在一个存储网络环境之中,想知道它的瓶颈必须先了解整个存储网络系统的结构。存储网络系统由存储设备、网络设备和客户端主机三个部分组成。存储设备是指该系统中采用的NAS、SAN、IP-SAN等磁盘阵列设备,这些设备在存储管理系统的管理下向客户端主机提供服务;网络设备主要是指FC交换机或以太网交换机;客户端主机是指安装了以太网卡、FC HBA卡,并安装了一定应用软件的主机设备。

存储系统的瓶颈分析主要是看这三个部分中哪一种会首先达到其性能的最大值。存储设备成为整个系统的瓶颈,是指存储设备的带宽达到最大值,或IOPS达到最大值,存储设备限制了系统性能的进一步提升,甚至影响了整个系统的正常运行。由于不同业务系统对存储的性能要求不同,一般小文件(小于1MB)读写型的系统中对I/O的要求较高,大文件的读写型系统对存储设备带宽的要求比较高。不用应用模式下系统对存储设备的要求不同,瓶颈点出现的位置和特点也不一样。

应用模式1:

小型网站系统,应用大多集中于远程用户对WEB页面访问,网站内部为WEB服务器和数据库之间的读写,应用系统对存储的压力非常小,差不多所有类型、所有档次的存储设备都可以作为核心存储,存储设备的带宽和IOPS很难会达到极限。在这样的系统中,与存储设备连接的网络设备以太网交换机和接入网部分的可用带宽最有可能成为存储网络的瓶颈。

应用模式2:

如果该网站是一个大型的网络视频系统,支持大量用户在线进行视频节目播放和下载,这种类型的网站前端接入网一般都在2Gb/s以上。一般来讲,由于NAS设备的带宽和IOPS相对较小,因此NAS比SAN和IP-SAN设备更容易成为系统的瓶颈,而SAN和IP-SAN较难成为瓶颈。瓶颈还经常会出现在负责节目播放和下载功能的视频服务器处。如果视频服务器配置的数量不足,或视频服务器之间无法正常地实现自动地网络负载均衡,那么整个系统的性能压力瓶颈就会出现在视频服务器,使用整个视频网站无法给远程用户提供流畅的节目画面。

应用模式3:

非线性编辑制作系统。在非线性编辑制作网络中,所有工作站共享式地访问核心存储系统,每台工作站同时以50-200Mb/S的恒定码率访问存储设备。业务系统对带宽的压力非常大,而IOPS压力较小。存储设备内部设计时,一般会通过增加磁盘数量、增加扩展柜数量、跨扩展柜创建RAID组、增加主机通道数量等方式最大限度地利用存储控制器前端和后端的总可用带宽,使得磁盘、磁盘通道、主机通道等的总带宽大于控制器的总带宽,这样在工作站访问时存储设备时,才能最大地发挥出控制器的带宽性能。带宽瓶颈在控制器部位才能说明是最好的存储系统设计方案。 从上面的四种典型的应用模式中,在存储网络当中,对于存储管理系统最可能出现的瓶颈一般表现在三个方面:网络性能、存储服务性能(比如NAS或SAN)和文件系统。

二、网络存储管理系统优化思路

对于网络性能的优化,首先优化与网络设备有关,网络设备(例如网卡、集线器、网关和路由器)的选择对网络的性能表现有很大的影响,选择合适的网络硬件是非常必要的,而对于网络设备带宽参数是最重要的,由于存储网络中有大数据量的传输操作和高频率的I/O请求,因此在存储网络中应该选择带宽高的网络设备。其次是网络设计本身,我们采用IP accounting技术来定位网络设计的瓶颈,然后通过网络分割和DNS负载均衡等技术来提高网络性能。

对于服务性能,主要是提高基于WEB GUI访问方式Apache服务器的性能和涉及NAS服务的NFS服务器性能和Samba服务器性能。对于WEB GUI访问方式的优化,最重要的就是优化Apache Web服务器的性能。而提高Apache服务器的方法主要有三种:第一种,通过确定已经编译好的HTTP模块哪些模块的需要的,哪些模块的是不必要的,删除不必要模块可以使Apache服务器更加专用,更加高效,从很大程度上提升Apache服务器的性能;第二种,通过调整Apache配置文件,用相关命令来调整Apache服务器的参数设置,使得Apache更加适合存储管理系统的应用;第三种,针对具体的使用环境,通过加载相关的模块来加速Web应用。

对于文件系统,存储管理系统采用的文件系统一般是Ext3。对于Ext3文件系统里的平均文件大小,默认设置的块尺寸太小可能导致寻道时间增加,fsck检查文件系统速度相对较慢,并且产生更多文件碎片。通过实验来确定文件系统里文件的平均大小,依据平均大小值来调整文件系统的块尺寸大小,这样就可以大大的提高文件系统的访问速度。另外一种优化方法就是通过Ext3文件系统磁盘工具来调整文件系统的相关设置来优化性能。

网络存储管理系统的优化思路就是针对具体的存储应用环境,找出可能称为系统瓶颈的地方,通过调整相关设置,使得我们的设计没有瓶颈,尽量使设备发挥最大性能。

三、网络存储管理系统优化具体方法

(一)网络性能的优化

除了硬件的选择,网络还剩下什么可以优化呢?当然是网络设计本身。本节将讨论如何为存储管理系统设计高性能的网络。

1.网络分割技术优化以太局域网或广域网

单一的以太网分段结构,通过一组集线器堆叠的方式互联,这就意味这所有的计算机共享着一个通道。这样就造成了网络带宽的瓶颈。基于以上问题,我们设计不同应用的计算机被分割在不同的IP网络中,并通过一个网关进行互联,该网关可以是启用IP forwarding功能的Red Hat Linux系统,并通过一些静态路由完成标准的路由方针。

2.用交换机取代集线器可以大幅度的提升网络的性能

以太网集线器与交换机最大不同在于交换机的每个端口都是自身的逻辑划分。一台连接到交换机某一端口的单独计算机享有全部带宽,不需要跟其他计算机竞争,从而避免了冲突。

传统的以太网是10/100Mbps的,在现在的商业化环境下是远远不够的,现代化的商业环境以电子邮件为基本的通信手段,广泛的应用Internet,视频会议和其他高带宽的作业。因此首先配备1000Mbps的高速交换机,为计算机购买10/100/1000Mbps的自适应网卡。拥有交换性能的高速以太网能给局域网带来很高的性能表现。

3.通过IP accounting来提高网络性能

IP accounting可以帮助我们了解IP报文如何在网络中传递。一般情况下,我们在Linux网关系统上使用IP accounting技术。

假定要在192.168.1.0(eth0)、192.168.2.0(eth1)和202.96.128.68(eth2)三个网络之间使用网关。前两个是内部部门,第三个是Internet服务提供商的上行网络。

下面建立IP accounting规则如下:

/sbin/iptables–A FORWARD–i eth2–d 192.168.1.0/24

/sbin/iptables–A FORWARD–o eth2–s 192.168.1.0/24

第一行指明添加一个新规则到FORWARD链,这样所有发往192.168.1.0的报文在通过网关的eth2时都被记录。Eth2接口是服务提供商网络连接的(可能经由路由器、数字环线DSL或者电缆调试解调器Cable Modem。第二行指明添加个一个规则到FORWARD链,以便记录源自192.168.1.0网络并经由eth2接口的IP报文。这两条规则有效地监控了所有在192.168.1.0网络和Internet间传递的IP报文。

总之,网络性能的表现是综合作用的结果,受到操作系统、网络设备、带宽以及所选择的构造网络的总体设计方案的影响。我们针对上述几项采用了不同的方法来优化我们网络的整体性能。

(二)服务性能的优化

存储管理系统要对外提供NAS的一些常用的服务,这些服务的性能不仅与服务软件本身有关系,还受底层的操作系统的影响,可以对网络存储管理系统提供服务方面的机制进行优化。

1.Web服务器性能

在当今的Linux操作系统上,默认的Web服务器大多数是Apache。依照Apache开发小组的理解,Apache的首要任务是成为一个精确的HTTP协议服务器,而性能却是次要的。但是从技术的角度来讲,对Apache Web服务器进行正确调整,可以提高它的性能,增强它的适应性。

2、NFS服务器的性能

一个NFS系统的主要瓶颈是NFS服务器的磁盘I/O速度。该速度取决于NFS服务器是采用哪种磁盘。我们存储管理系统的硬件采用应该是Intel Xeon 3.0、6个带有RAID5的SATA硬盘。下一个硬件瓶颈就是网络本身。我们使用独立的高带宽连接入内部网络方法可以减少性能降低。建立一个NFS主干网专门用于传送NFS信息报文会很大幅度的提高NFS服务的性能。

(三)文件系统性能优化

Linux缺省情况下使用的文件系统为Ext2,Ext2文件系统的确高效稳定。但是,随着Linux系统在关键业务中的应用,Linux文件系统的弱点也渐渐显露出来了;其中系统缺省使用的Ext2文件系统是非日志文件系统。这在关键行业的应用是一个致命的弱点。

Ext3文件系统是直接从Ext2文件系统发展而来,目前Ext3文件系统已经非常稳定可靠。它完全兼容Ext2文件系统。用户可以平滑地过渡到一个日志功能健全的文件系统中来。Ext3日志文件系统有以下特点:高可用性;数据的完整性;文件系统的速度;数据转换;多种日志模式。

基于以上优点和特性,在存储管理系统中采用Ext3文件系统,对于Ext3文件系统,主要用两种手段来提升文件系统:一种是将默认的块尺寸从1024改为多倍1024处理(一般不超过4096),使之更好的为大型文件的服务器服务。另外一种是通过Ext3文件系统磁盘工具调整文件系统。

本文从存储管理系统要向用户提供IP SAN和NAS的服务谈起,首先对服务性能很有大影响的就是网络,通过操作系统、网络设备、带宽以及所选择的网络构造的总体设计方案的改进来对我们提供服务的环境进行改善;其次,从存储管理系统提供的最常见的应用着手,分别介绍和分析如何优化Web服务器、Email服务器、Samba服务器和NFS服务器性能,从而提高服务的质量。

参考文献:

[1]余胜生,刘念,周敬利.一种基于光纤通道存储网的存储管理系统的设计与实现.小型微型计算机系统,2002,23(4):401～404

[2]蔡皖东.基于SAN的高可用性网络存储解决方案.小型微型计算机系统,2001,21(3):284～287