虚拟化环境下高端SAN Switch的研究

摘 要：虚拟化技术得到了空前的发展，基于主机虚拟化在工业界成功商用，本论文提出了在虚拟化环境下高端SAN Switch。重点剖析了虚拟化、SAN、SAN Switch、Gen 5 Fibre Channel，及应用SAN Switch需要注意的问题。最终阐述了为什么虚拟化环境下应用SAN Switch是发展的趋势。

关键词：虚拟化；SAN；SAN Switch；Gen 5 Fibre Channel

中图分类号：TP319 文献标识码：A

Research on high-end SAN Switch in Virtual Environment

LI XiaoKun 1

（Heilongjiang Hengxun Technology Co.Ltd. ，Harbin 150090，China）

Abstract：Virtualization technology has been an unprecedented development， virtual hosts in the industry based on the successful business， this thesis presents high-end SAN Switchin the virtual environment. After that， the paper focuses on the analysis of virtualization， SAN， SAN Switch， Gen 5 Fibre Channel， and the problems which could be paid attention to about the application of SAN Switch. Finally the paper explains why using SAN Switch is development trend in virtual environment.

Key words：Virtualization； AN； SAN Switch； Gen 5 Fibre Channel

0 引 言

云计算概念的两种核心技术就是虚拟化和大数据。主机虚拟化、网络虚拟化、存储虚拟化技术在工业界的成功商用，虚拟化技术需要高运算性能，高带宽，高I/O，高可用，如何解决虚拟化应用的这些问题呢？答案就是在虚拟化环境下应用高端SAN Switch。

1 虚拟化、SAN、SAN Switch、Gen 5 Fibre Channel技术

1.1 虚拟化

虚拟化是以某种用户和应用程序都可以很容易从中获益的方式来表示计算机资源的过程，而不是根据这些资源的实现、地理位置或物理包装的专有方式来对其进行表示和呈现。换句话说，虚拟化为数据、计算能力、存储资源以及其他资源提供了一个逻辑视图，而不是物理视图。云计算环境下的互联网应用在数据存储位置，数据存储容量以及应用规模等方面均区别于传统模式[1]。虚拟化是表示计算机资源的逻辑组（或子集）的过程，这样就可以利用从原始配置中获益的方式来实施访问。这种资源的新虚拟视图并不受实现、地理位置或底层资源的物理配置的限制。虚拟化对一组类似资源提供一个通用的抽象接口集，从而隐藏属性和操作之间的差异，并允许通过一种通用的方式来查看并维护资源。作为一项有望大幅降低成本的新兴技术，虚拟化得到了众多信息业巨头的关注与重视[2]。

虚拟化，是指通过虚拟化技术将一台计算机虚拟为多台逻辑计算机。在一台计算机上同时运行多个逻辑计算机，每个逻辑计算机可运行不同的操作系统，并且应用程序都可以在相互独立的空间内运行而互不影响，从而显著提高计算机的工作效率。

虚拟化使用软件的方法重新定义划分IT资源，可以实现IT资源的动态分配、灵活调度、跨域共享，提高IT资源利用率，使IT资源能够真正成为社会基础设施，服务于各行各业中灵活多变的应用需求。

虚拟化技术可以扩大硬件的容量，简化软件的重新配置过程。CPU的虚拟化技术可通过单CPU而模拟多CPU并行，允许一个平台同时运行多个操作系统，并且应用程序还可以在相互独立的空间内运行而互不影响，从而大幅提高计算机的运行运转效率。

1.2 SAN

存储区域网络（Storage Area Network，简称SAN）采用光纤通道（Fibre Channel ，简称FC）技术，通过SAN Switch连接存储和主机，建立专用于数据存储的区域网络。SAN经过多年历史的发展，已经相当成熟，而且成为工业界的事实标准（但各个厂商的光纤交换技术并不完全相同，其主机和SAN存储仍有兼容性的要求）。目前，SAN的一个研究热点就是SAN的存储虚拟化技术，通过SAN的存储虚拟化而实现按需分配存储资源，整合不同设备商提供的存储产品，提供可选择性的配置功能来获得更高的可用性和减少用户总成本[3]。

SAN专注于企业级存储的特有问题。当前企业存储方案所遇到问题的两个根源是：数据与应用系统紧密结合所产生的结构性限制，以及大型、中型、小型计算机系统接口标准的限制。大多数分析都认为SAN是未来企业级的存储方案，这是因为SAN便于集成，能改善数据可用性及网络性能，而且还可以减轻管理作业。

实际上，SAN是一种专门为存储建立的独立于TCP/IP网络之外的专用网络。通过利用可扩展的网络拓扑结构，在相对独立的专用网络中为各种应用提供数据存储服务[4]。目前，一般的SAN提供8～16Gb/S的传输数率，同时SAN网络独立于数据网络存在，因此存取速度很快。另外，SAN一般采用高端的RAID阵列，使SAN的性能在几种专业存储方案中傲视群雄。

SAN是基于一个专用网络，因此扩展性很强，不管是在一个SAN系统中增加一定的存储空间还是增加几台使用存储空间的主机都非常方便。通过SAN接口的磁带库或虚拟带库，SAN系统可以方便高效地实现数据的集中备份及双活。

目前常见的SAN有FC SAN和IP SAN，其中FC SAN为通过光纤通道协议转发，而IP SAN则通过TCP协议转发。

SAN采用光纤技术，因而性能优异，但在其应用中需要FC交换机连接服务器和存储设备[5]。SAN主要用于数据大集中的环境，如电信、金融等，只是成本高、标准尚未确定等问题却影响了SAN的市场拓展，不过，随着这些用户业务量的增大，SAN必然具有广泛的应用前景。

1.3 SAN Switch

光纤通道交换机在逻辑上是SAN的核心，主要连接着主机、存储、备份设备。光纤通道交换机有着许多不同的功能，包括支持GBIC、冗余风扇、冗余电源、分区（Zone）、环操作和多管理接口等。每一项功能都可以增加整个交换网络的可操作性。具体来说，光纤交换机的主要功能，自配置端口、环路设备支持、交换机级联、自适应速度检测、可配置的帧缓冲、分区（基于WWN的分区）、IP over Fiber Channel（IPFC）广播、远程登录、Web管理、简单网络管理协议（SNMP）等。目前，国内外互联网络广泛采用基于消息头寻径的通信技术，由于消息头和消息体共存于同一帧中，因此其通信一般采用“存储-转发”方式，每条信道均需缓冲区来暂存消息体，控制逻辑复杂，价格昂贵[6]。

光纤交换机往往根据其功能和特点可分为不同的类别。通常，硬件可能都是基于相同的基本架构或者相同的ASIC芯片，只是软件的功能不同，光纤交换机的价格则主要是依据其所能满足的需求来制定的。高端SAN Switch的核心级交换机是个例外，即在多数情况下是根据自己的硬件容错平台开发设计的。

高端SAN Switch（又称架构中枢或导向器）一般位于大型SAN的中心，使若干边缘交换机相互连接，形成一个具有上万个端口的SAN网络。高端SAN Switch也可以用作单独的交换机或者边缘交换机，但是具体增强的功能和内部结构却使其在核心存储环境下工作得更好。高端SAN Switch其他功能还包括支持光纤以外的协议（如FICON、InfiniBand）、支持16Gbps光纤通道、高级光纤服务（如：安全性、中继线和帧过滤等）。

高端SAN Switch交换机通常提供更多端口，高于384端口的SAN Switch才能称之为高端SAN Switch。其中使用非常宽的内部连接，并以最大的带宽路由数据帧。使用这些SAN Switch的目的是为了建立覆盖范围更大的网络和提供更大的带宽，因而将其设计成为在多端口间以尽可能快的速度用最短的延迟路由帧信号。另外，高端SAN Switch往往采用基于“刀片式”的热插拔电路板：只要在机箱内插入交换机插板就可以添加需要的新功能，也可以进行在线检修，还可以做到在线的分阶段按需扩展。SAN Switch 交换机，高性能存储均价格不菲，对网络管理员的技术也是一种挑战[7]。高端SAN Switch可支持高度可扩展的核心-边缘（core-edge）拓补，如图1所示。

图 1 高端SAN Switch核心-边缘拓补

Fig.1The high-end SAN Switch core-edge topology

1.4 Gen 5 Fibre Channel

第五代光纤通道技术是存储区域网络（SAN）的最新演进成果。针对第五代光纤通道技术，即借由T11技术委员会曾负责制定了光纤通道接口标准开发的技术，可将8 Gbps链路的数据吞吐量增加一倍，从每秒800兆（MB/sec）提高到1600 MB/sec。数据传输速率更快，完成相同任务需要的链路和需要管理的设备更少，而且使用Gen 5 Fibre Channel时功耗也更低。最近的几大服务器和存储技术进步成果增加了对更高SAN带宽的需求，包括应用和存储容量增加、高密度服务器虚拟化、全新Gen 5 Fibre Channel存储和固态硬盘（SSD）存储。第五代光纤通道技术使企业数据中心可以充分发掘这些进步成果相关先进技术的全部潜力。然而，Gen 5 Fibre Channel的优势不仅限于性能和更高的吞吐量。Gen 5 Fibre Channel还可以提供几种重要功能，使SAN可靠性、可用性和管理简便性上升到一个新高度，同时大幅度降低运营成本。正是这些优势使Gen 5 Fibre Channel正以前所未有的速度实现了大范围的广泛普及。

光纤通道（FC）被部署在数据中心内，是数据中心内存储网络连接领域的事实标准。光纤通道，以其低延时，带宽高，可靠性等特点，而成为下一代航空电子统一网络的一种主要联网标准，现已应用于美国航空电子系统的升级换代中。[8]Gen 5 Fibre Channel是一种经过广泛实践验证的专用网络基础架构，用于满足数据中心存储需求，可提供无与伦比的可靠性、可扩展性和16 Gbps的出色性能。Gen 5 Fibre Channel提升到了一个新高度，可利用独特的技术创新成果提供全面的SAN支持，Gen 5 Fibre Channel提供关键应用和虚拟化应用所需的无与伦比的出色性能，硬件和软件可靠性，连续提供99.9999%的可用性，通过机箱连接，提供64 Gbps并行Gen 5 Fibre Channel，帮助实现大规模基础架构整合和简化，一种先进的硬件和软件架构，可通过创新的诊断、监控和管理技术最大限度地延长运行时间，优化应用性能，简化SAN管理。SAN的光纤通道拓扑结构分为三种：点到点、环形和交换式[9]。

光纤通道包括 14 个 ANSI T11X3 协议，按其功能结构，可以划分为从 FC-0～FC-4 的 5 层结构[10]。Fibre Channel（光纤通道）面世伊始，一台服务器专用于某一种应用，导致服务器资源利用率很低。服务器虚拟化技术的出现改变了这一局面，允许多种应用共享同一台物理服务器，由此即提高了效率和服务器资源利用率。不断演进的关键工作负载和Tier 1应用正被托管到虚拟机（VM）上。除了服务器虚拟化的日渐广泛普及外，虚拟机密度（每台物理服务器上托管的虚拟机数量）也稳步增长，达到了每物理服务器100、200甚至更多虚拟机，而且都从SAN Boot启动并接入SAN资源。VM的使用范围和重要性正在不断增加，密度更在加速提升，日益要求存储计算基础架构提供更高的性能（带宽和I/O）、可靠性和可用性。在高度虚拟化环境中，存储网络中的任何拥塞、低劣的I/O性能或故障都会影响到大量应用。Gen 5 Fibre Channel可有效解决带宽和I/O问题。

2 虚拟化环境下应用高端SAN Switch

2.1 高端SAN Switch

高端SAN Switch同时满足：16G的Gen 5 Fibre Channel；架构中枢或导向器架构；单机箱支持至少384个16 Gbs光纤通道端口；冗余控制处理器模块；高时支持16G 、FICON、InfiniBand、FCoE接口；同时兼容大型机、中型机、小型机、工业标准PC Server。

目前具有新特性的一批功能硬件开始进入SAN市场，由此即可看出未来SAN的雏形[11]。更高吞吐量的优势尽显，而高端SAN Switch则可带来更多优势，帮助满足更新的及不断变化的要求。低延时和出色的IOPS（每秒I/O操作数）性能可最大限度地增加每物理服务器支持的虚拟主机数；在数据中心经过实践验证的定制架构可最大限度地降低高密度服务器虚拟化的风险及故障率；不停机网络和自动化管理功能可最大限度地降低运营成本和复杂性；集成式高级诊断、监控和RAS（可靠性、可用性和可维护性）功能可简化管理并增强弹性；集成式ISL数据压缩和加密可优化带宽，保护数据；向后兼容现有基础架构，最大限度地减少彻底淘汰和更换设备的需求；很低的开销和延时可避免I/O瓶颈，释放Flash、SSD及16 Gbps高端存储产品的全部性能潜力。高端SAN Switch还采用了多种突破性技术，来大大简化SAN部署和管理并降低运营成本。以下各部分更详细地介绍了这些独特功能；UltraScale机箱连接，实现更高的密度和更简单的Fabric架构，进而降低网络复杂性和成本；借助创新的诊断、监控和管理功能，Fabric Vision技术可最大限度地延长运行时间，优化应用性能，简化SAN管理。

2.2 Brocade DCX 8510-8 Backbone

Brocade DCX 8510-8 Backbone充分释放私有云存储的全部潜力，同时确保无与伦比的可扩展性、性能和可靠性、实现更简单、更扁平的低延时机箱连接，降低网络复杂性、管理复杂性和成本利用集成的高性能城域和全球连接，优化远距离数据中心连接借助全面的诊断、监控和自动化功能，简化并集中完成端到端 SAN 管理，最大限度地提高 I/O 和带宽密集型应用的，保护对现有 SAN 架构和自动化工具的投资，同时降低运营成本，最大限度地减少业务中断。

Brocade DCX 8510-8 Backbone是业内最强大的光纤通道交换基础架构之一，可为关键任务存储环境奠定最可靠、可扩展的高性能基础。旨在提高业务灵活性，同时提供对信息的不间断访问，降低基础架构和管理成本。网络需要不断演进，来满足高度虚拟化环境和私有云架构不断增长的需求。光纤通道已成为存储网络的事实标准，正与数据中心一同演进。支持Gen 5 Fibre Channe（16Gbps）的Brocade DCX 8510 Backbone强大、可靠的高性能技术带来更高的可扩展性和高级功能。在企业扩展业务的过程中，则可以继续利用现有的IT投资。还可以整合存储区域网络（SAN）基础架构，来简化管理并降低运营成本。

Brocade DCX 8510-8 Backbone单机支持384个16 Gbs（E、F、D、M、EX）光纤通道端口，使用 48 端口16 Gbps 光纤通道刀片。最多512个（Brocade DCX 8510-8）8 Gb 通用（E、F、D、M、EX）光纤通道端口，使用64端口8 Gbps光纤通道刀片，带ICL端口的多机箱最多 3456个16 Gbps光纤通道端口（使用16 Gbps 48端口刀片），最多4608个8 Gbps通用光纤通道端口（使用 8 Gbps 64 端口刀片）；采用冗余（主/备）控制处理器模块；全面的 Fabric 架构，最多可有 239 台交换机；支持 DWDM、CWDM 和 FC-SONET 设备；光纤通道，Inflight 压缩（Brocade LZO）和加密（AES-GCM-256）BB Credit 恢复；FCIP、自适应速率限制（ARL）、数据压缩、Fast Write、读/写 Tape Pipelining、QoS；FICON 堆叠支持无损 DLS；FICON CUP；Advanced Accelerator for FICON（FICON Global Mirror、XRC 仿真和读/写；采用无源背板，冗余主动/被动控制处理器架构，冗余主动/主动核心交换刀片，冗余 WWN 卡；冗余电源设计。

2.3 Cisco MDS 9710 Multilayer Director

Cisco MDS 9710 Multilayer Director是业界唯一能与Brocade DCX 8510-8 Backbone竞争的产品， Cisco MDS 9710 Multilayer Director交换机的整合可为下一代存储区域网络（SANs）提供灵活的、高性能的构建模块。9710 Multilayer Director可以为FC、FICON、IP光纤通道（FCIP）、iSCSI和FCoE融合网络提供灵活的、多协议的解决方案。16Gb FC Cisco MDS 9710 Multilayer Director每秒可提供24TB的总交换容量。减少了备份和恢复窗口，并且为跨网络的大数据集迁移提供了高性能的连接性，Cisco MDS 9710 Multilayer Director是一个高可靠性的存储导向器，采用了N+1结构、全冗余组件和一个容错架构设计， Cisco MDS 9710 Multilayer Director统一架构解决方案，只需一个平台即可同时控制FC和FCoE，满足新客户SANs环境的需求。随着数据的持续增长，加之虚拟化、云计算、闪存和SSD技术的使用，这些都推高了企业对高带宽、“零”停机、多协议存储网络解决方案的需求。Cisco MDS 9710 Multilayer Director解决了这些困扰，并且能够为当前任务关键型应用如Oracle、SAP和SQL提供所需的可靠性、性能、可用性和可扩展性。

Cisco MDS 9710 Multilayer Director单机支持384个16G FC光纤通道端口；支持模块化多协议多层次，6个交换矩阵，双监控模块，8个交换插槽；适用于虚拟化数据中心SAN整合，业务连续性，集中SAN管理；支持FC、FICON、IP光纤通道（FCIP）、FCoE冗；冗余电源设计。

2.4 虚拟化环境下应用高端SAN Switch的优势

高端SAN Switch使用独立于LAN的SAN架构，不争用LAN的带宽，虚拟化环境下应用高端SAN Switch可以提供超高带宽，高I/O，高可用，采用基于虚拟化的高端SAN Switch高可靠“主动-主动（active-active）”网状拓扑的大规模部署，如图2所示。

图 2 高端SAN Switch网状拓扑

Fig.2 The high-end SAN Switch mesh topology

虚拟化环境下应用高端SAN Switch提供高可用性；提高了数据的可靠性和安全性；易扩展性和兼容性；集中管理、共享存储；提高数据访问速度；异地容灾得以实现；虚拟化环境下应用高端SAN Switch是解决数据大集中的主要技术之一。

3 虚拟化环境下高端SAN Switch需要注意的问题

任何技术从萌芽到成型，再到成熟，都需要经历一个过程。部署高端SAN Switch技术相对复杂，成本很高。要求使用方充分了解存储区域网（SAN）的相关知识和各平台虚拟化相关知识，而且SAN Switch与各种系统硬件则存在密切联系。存储设备性能问题，所有主机均连接高端存储设备，对存储设备的性能要求很高。存储设备高可用问题，一旦存储出现故障，所有数据都将面临灾害，建议使用高端存储解决存储性能问题。建立基于存储的容灾、备份、双活系统，提高业务支撑系统的高可靠性。基于交换机的虚拟化方式将虚拟化层直接做到交换机上，可用同一个设备完成交换功能和虚拟化功能[12]。目前，国内品牌尚无高端SAN Switch设备和配套软件，希望国内具有强大研发实力的Huawei、Zte加大高端SAN Switch的研发投入，使国内品牌高端SAN Switch系统早日进入成功商用。高端SAN Switch设备中Brocade占据统治地位，Cisco 高端SAN Switch设备核心商用仍有待时间考验，IBM、Sun、EMC、HP、DELL、Huawei等厂商大多OEM Brocade产品，希望国内具有高研发实力厂商早日研发出自主知识产权的SAN Switch设备或配套软件。

4 结束语

虚拟化、大数据是实现云计算的主要技术，目前除电信、金融行业外其它领域虚拟化环境下应用高端SAN Switch尚在探索测试的阶段，但相信随着云计算的发展以及应用虚拟化的日趋成熟，该技术必会给云计算的发展带来伟大的变革。本文围绕虚拟化环境下应用高端SAN Switch，总结了应用虚拟化；SAN；SAN Switch；Gen 5 Fibre Channel原理、优势，应用，趋势；为构建虚拟化环境下应用高端SAN Switch提供了实践经验支持。虚拟化；SAN；SAN Switch；Gen 5 Fibre Channel为高性能云计算提供澎湃动力。

参考文献：

[1]朱夏，宋爱波，东方，等. 云计算环境下基于协同过滤的个性化推荐机制[J].计算机研究与发展，2014，51（10）：2255-2269.

[2]史英杰，孟小峰. 云数据管理系统中查询技术研究综述[J].计算机学报，2013（2）：209-211.

[3]谢长生，高巍. 存储区域网（SAN）中存储虚拟化的研究与实现[J]. 计算机应用研究，2003（8）：130-132.

[4]罗斌，李树友，宋斌恒. 一种SAN存储虚拟化的实现方案[J]. 计算机应用研究，2006（3）：214-232.

[5]田磊，冯丹. 存储区域网中磁盘阵列光纤通道接口的设计与实现[J]. 计算机工程与科学， 2005，27（7）：106-108.

[6]徐代阳，冯萍，陈艳平，等. 基于信令降频码方法的信令寻径式光纤交换机的研究[J]. 计算机测量与控制，2009（12）：2488-2511.

[7]李晓坤，邵娜. 云计算虚拟化与SAN存储大集中集成研究[J]. 软件，2014（1）：113-114.

[8]霍卫涛，田泽，李攀，等. 基于FPGA的光纤通道网络监控卡设计与实现[J]. 计算机技术与发展，2014（5）：199-201.

[9]Marc Farley.孙功星，译.SAN存储区域网络[M].北京：机械工业出版社，2002：345-356.

[10]高昆，凡叔军，徐海铮，等. 光纤通道应用系统的设计方法[J]. 光电工程，2004（11）：31-33.

[11]张志刚. 下一代SAN是软硬结合[J]. 中国计算机报，2003（20）：11-12.

[12]谢长生，金伟. SAN网络级存储虚拟化实现方式的研究与设计[J]. 计算机应用研究，2004（4）：192-198.