浅谈企业存储技术应用

牛小杰

摘 要随着企业信息化水平的不断提升，信息业务数据容量和重要程度也不断提高，核心业务数据往往支撑大范围业务办公运作和决策，如发生丢失或损坏后果将不可想象。因此，如何通过掌握存储系统底层架构原理并制定正确的数据存储备份恢复模式，利用合理的存储备份措施保护企业信息数据成为当今大数据时代存储设备应用的新课题。

【关键词】数据存储 磁盘阵列 备份 恢复

1 绪论

国际上信息化应用较为发达的国家对数据存储备份技术发展快应用广，但在国内仍处于较初级的阶段。随着信息技术的不断进步，存储备份技术也逐步由单磁盘模式向多磁盘阵列组及数据高可用、数据传输、备份恢复机制、容灾等领域拓展。发展过程中不仅存储容量在发生着巨大的变化，在存储数据存储方式、传输类型、备份容错机制等多方面都有了巨大的进步。

依托现有OSI网络模型，数据的共享与传递也逐渐从依赖主机系统向依赖网络系统发展。同时随着集群技术、故障转移技术、应用负载等系统应用机制的产生以及企业对数据重要性的高度重视，应用业务系统逐渐从单服务器运行走向多服务器承载。在企业中大量的应用服务器部署已经非常普遍，仅仅依靠服务器自身的raid技术很难对本身磁盘数据进行完善的管理优化，突发的存储部件故障损坏更让运维工程师对恢复数据头疼不已。

而现阶段不少企业的主要信息化投入在企业网络建设、信息安全和业务应用开发建设等方面，对最基本的数据保护重视程度不足。在如何确定合理的数据存储备份需求、备份恢复机制和策略制定、存储技术和产品选择等方面的研究深度不够、投入不足。为摆脱盲从局面，降低重要业务数据被破坏或者丢失风险，尽可能避免对企业日常业务造成的巨大影响和损失，加强存储知识及该领域更深层次的研究是非常有必要的，在企业信息化建设前期就做好数据容灾规划，并通过高质量的实施和严格运行管理，提升数据存储备份保障能力，降低数据损坏风险。

本文主要结合实际工作中企业存储产品网络架构设计、存储备份实施建设经验和数据恢复案例等技术要点，为进一步提升企业存储备份能力提供参考。

2 企业网络存储的实施及改进案例

2.1 基本思路

随着企业信息化业务的不断扩展，为了保证数据的可靠性、安全性，根据存储实施需求，将多个业务应用子系统部署于NetApp存储盘阵上，部署方式采用SAN架构网络存储，并且通过主备两套存储完成数据同步复制备份机制。

存储部署需要考虑到如下几个因素：

2.1.1 数据安全性

重要业务系统均采取应用负载均衡或HA高可用模式且数据库文件存放在存储上，使数据更为安全可靠；单设备业务系统可将数据库文件与备份数据文件分别放在物理服务器或存储上，通过数据库备份计划任务可灵活掌握数据库文件备份，保证数据文件有2至3份以上，如果主数据损坏且尝试修复无果的情况下，应可利用最近还原点备份数据进行恢复还原；

2.1.2 高性能

方案采用双机容错模式的存储组成高可靠，高可用的数据存储平台，应用分布式部署在两套存储系统的4个控制器上，能有效保障各存储更好的发挥性能，不会产生存储性能上的瓶颈。

2.1.3 高可用

避免存在单点故障，大到主机、存储设备，小到网络线缆、光纤线缆、HBA卡等均是冗余容错的；无论是主机或存储设备出现故障，均可通过主/备份两套存储系统保证数据的完整性。

2.1.4 数据通信最小化

在光纤交换机上创建基于端口的Hardware Zoning而尽量避免使用Software Zoning，对数据进行物理隔离，有效保障数据通信安全性。

2.1.5 合理的备份机制

为有效减免设备损坏、误操作等因素带来的不必要损失，采用存储备份技术保存多份数据副本。

3 网络存储产品选择

为保障业务可用性，存储架构中所部署存储系统需满足企业存储需求，存储系统应适用于主流数据库、电子邮件和信息发送、主目录合并以及灾难恢复等应用的企业SAN存储架构。存储产品在采购选型过程中应注意考虑存储设备管理及维护、存储设备性能稳定性、存储自有成熟备份机制智能化程度较高的产品。这样整套存储可根据企业业务需要更易于部署和使用，性能更高而成本更低。

4 存储磁盘架构规划

以企业存储磁盘架构规划案例说明，该企业存储架构中采用NetApp存储产品V3240（主存储）及Fas3210（备份存储），V3240存储系统共满配48块600GB SAS磁盘，Fas3210存储系统满配24块2TBSAS磁盘，为保证存储控制器CPU占用，根据设计要求各存储控制器负责管理存储磁盘柜中的一半磁盘；存储中所有磁盘划分为Raid-DP类型，如存在某一块磁盘发生故障后，热备盘会自动替换受损磁盘。热备盘的特点在于不包含数据，不管是哪个RAID组的盘损坏了，都可以替换，也就是说热备盘是全局起作用的，而不是属于哪个Raid Group。热备盘会自动替换损坏的盘，替换磁盘需于损坏磁盘类型大小一样，替换速度非常快。

在Aggregate上为各业务划分Volume（卷），Volume在逻辑上相当于我们PC上的一块磁盘。而NetApp的SnapShot快照技术是基于Volume来做的，Volume的大小可以调整，而快照空间也是可以自动扩展的。

在了解存储逻辑空间大小后，根据各个业务系统需要，为各个业务系统划分足够空间最后单独在每个Volume卷上划分单独的lun（逻辑单元号），lun通过FC SAN映射到服务器操作系统上。

5 存储网络架构规划

主备存储各有两个控制器，各控制器使用一个管理以太端口及两个业务以太端口，控制器业务端口通过端口聚合技术将两端口合并成一组业务端口用以增加I/O数据传输。

网络存储架构设计示意图如图1所示。

从上图可以看出，该存储系统拓扑结构包含八台服务器，共四套业务系统，在存储架构中采用Fibre Chanel SAN架构，涉及操作系统包含RedhatEnterprise Linux 6.3；Windows Server 2008 R2以及IBM AIX及业务数据库Oracle 11g R2 、Mysql；中间件包括IBM WAS；Tomcat。各系统都通过HBA卡以FC-SAN方式连接存储盘阵。

6 存储备份功能测试

为切实保障此次存储实施存储产品具备良好的管理操作性、存储硬件高可用及具备企业级容灾数据备份恢复机制，对NetApp Data ONTAP存储操作系统、存储控制器双活双控高可靠性以及数据同步复制、快照等存储技术进行全面测试。

通过对存储设备应用管理操作性测试表明该存储系统具有良好的统一管理特性，使日常系统管理只需要在同一系统平台下通过浏览器形式便能完成绝大部分日常管理工作；其复杂的存储状态信息，网络配置，功能选项都可在GUI界面中查看。

在硬件高可用方面，NetApp存储系统双控双活机制可以做到在发生硬件故障（如磁盘损坏，电源、风扇掉电，网络故障）的情况下，使用系统的RAID保护结构和容余配置对系统进行自动故障排除或磁盘接管，该特点较好地减少可管理的复杂性并且保证了系统运行的高可用性。

在快照备份方面，在测试磁盘中写入数据后在存储系统中对测试存储卷手动创建SnapShot快照点，在测试卷磁盘中删除测试数据，取消挂载磁盘后重新还原快照文件，还原后在挂载磁盘中数据又还原至初始测试数据内容。

在数据灾难性备份还原测试中，分别在主存储源端建立卷vol_test和目的端存储建立备份测试卷vol_test_bak，并将源端数据映射到测试系统上，开启同步传输备份机制，在源端映射磁盘LUN中写入测试数据，由于测试采取同步传输备份机制，所以马上中断同步传输备份，删除磁盘上的测试数据，此时的主存储源端数据已经被彻底删除无法恢复。能否通过同步传输备份反向传输数据还原主存储测试数据在此一举，首先离线操作系统上挂载的存储磁盘，通过resync数据反向传输机制将原目的端vol_test_bak改成源端，源端vol_test改成目的端，从存储管理系统中开启数据反向反向传输，数据自动将备份数据vol_test_bak传输回vol_test中，重新挂载磁盘到操作系统上。测试结果显示原测试删除测试数据又回到了测试服务器上，同步传输备份功能测试通过。经过存储备份功能综合测试，确认该存储产品功能及性能初步满足业务需求。

7 存储架构优化分析

目前企业内部存储架构采用的是两级存储平台架构：工作级在线存储和近似在线的近线存储，由于两台存储采用存储备份技术备份，既保存实体数据又保存备份数据，主存储承担工作级存储角色，备份存储则担当了近线存储的角色。为更有效保障数据安全，仅保存一份数据副本往往还是不够安全的，可以考虑在现有技术基础上通过增加NAS文件备份存储系统，将现有在线存储、近线存储二层传统存储数据方式变更为在线存储、近线存储和离线存储的三层存储架构，离线存储的数据不常被调用，NAS作为离线存储主要是用于对在线存储的数据进行文件级备份，以防范可能发生的数据灾难。

8 业务系统存储备份机制优化

按照行业内通用的基本存储备份机制实现数据存储保护，使用主备2套磁盘存储阵列，通过存储备份技术实时同步及计划快照备份系统数据，优点是当业务系统服务器出现问题后可通过将备份存储数据回传技术将业务断点时数据完全恢复回原状态。缺点是通过光纤挂载存储无法从存储本身或其他方式查看到实际备份存储中数据文件，只有挂载到操作系统中才允许查看。底层数据块备份机制虽然有效减少带宽负载，但是该机制无法确定数据有效性，为提升数据存储可靠性，最大程度降低数据丢失损坏的风险，通过对上述存储备份技术和产品的研究，结合业务系统生产环境的实际情况，对其存储备份机制和措施进行了优化提升，具体优化措施包括：

使用计划快照任务实现对相应存储空间每日0点的快照备份服务，当生产环境下业务数据出现损坏或数据丢失情况下可通过计划快照将数据还原到上次快照备份时间点。

部署NAS网络存储系统，可通过操作系统的NFS、CIFS文件传输协议和SSL加密协议安全的将数据文件传输到NAS存储系统上，实际数据文件可以从NAS存储系统中查看到，当业务系统出现故障后，可将计划备份的NAS存储数据恢复到任意一台服务器上。其缺点在于传输速度比光纤慢，无法应用于实时生产业务环境。在离线备份计划中针对linux操作系统制定，使用计划备份脚本定期对源数据全复制备份，针对windows操作系统采用NAS同步数据软件建立数据备份空间，实时比对同步备份源数据，并生成6个不同的变更节点文件还原点。

通过上述优化措施完成对业务系统数据的离线备份提升结合定期巡检管理的强化，实现了在现有存储备份计划的多重保障。后续的进一步优化在于提升整体存储备份能力级别，结合《信息系统灾难恢复规范》（GB/T 20988-2007）灾难恢复等级要求，优化改进RTO（恢复时间目标）及RPO（恢复点目标）达到更全面和深入的改造建设，对照提升整体存储备份和恢复能力。

9 总结

本文对主流存储设备的关键技术原理和作用，企业实施过程中存储磁盘架构、网络架构规划的研究分析并且结合存储备份业务文件系统修复案例说明存储备份与企业应用之间具有紧密联系，为进一步提升企业存储备份能力提供参考。

参考文献

[1]张东.存储系统底层架构原理极限剖析[J].大话存储，2015（01）.

[2]殷苏民.基于NetApp存储设备与技术的企业网络数据高效存储与备份系统的研究[J].机械电子工程，2006（02）.

[3]刘卫星.网络存储备份应用技术研究[J].数字技术与应用，2010（01）.

作者单位

核工业计算机应用研究所 北京市 100822