构建高可用性专网

引言： 本文对网络可用性及相关保障技术进行了分析，对单位专网拓扑、应用业务特点进行了梳理，最后结合实际规划了专网高可用性网络三层接入组网模型，并提出了具体设计思路。

可用度指可维修产品在规定的条件与时间内，维持其规定功能的能力，它综合反映可靠性和维修性。HA（High Availablity，高可用性）日益成为网络建设重要指标，对其参考衡量主要涉及可靠性和可维修性两个方面。网络可用性指标用A(Availability，可用度 )来表示，可靠性用MTBF（Mean Time Between Failure，平均无故障时间）来表示，可维修性用MTTR（Mean Time To Repair，平均修复时间）来表示。可用公式A=MTBF/(MTBF+MTTR)来表示，其中MTBF值越大，即可靠性越高，可用度越高。

为保证网络高可用性，我们需要提高网络可靠性，重点对网络的四个部分进行评估和改进，分别是：网络设计、底层设施、操作和维护、支持服务。其中网络设计和底层设施我们在建设时首要重点考虑的部分。网络设计最重要的体现就是网络拓扑，其原则是核心、汇聚层进行最高的可用性保证；整体设计应保证关键硬件不应该出现单点故障；另外一个重点就是应当给出对重要区域的设备的带外管理通路，通过单独的管理网络来对重要的设备进行访问——当主要通路中断时，能够对设备进行诊断和进行故障修复工作，可以显著地提高故障恢复工作的效率。

网络高可用性保障技术

基于网络设计和底层设施的高可用性保障技术主要有以下9个方面：

（1）硬件冗余

对节点设备进行硬件冗余，主要形式一般有双机冗余、主控冗余、交换网冗余、单板热插拔和电源风扇冗余等，硬件冗余可以在单个部件可靠性一定的情况下提高整个设备、节点可用性。

（2）链路捆绑技术

链路捆绑就是把多个属性相同的物理链路捆绑在一起，逻辑当成一条链路。链路捆绑主要优势在于：提供更高的链路带宽；流量在各个链路间可实现负载分担；链路间互为备份，这些都大大提高系统可用性。另外，利用跨单板、跨设备链路捆绑，事实提供了一定程度的单板、设备间备份功能，也较大程度提高了网络可用性。

（3）热补丁技术

为了对设备的软件系统中的某些错误进行修正，需要对设备软件进行升级、更改。热补丁技术可以在不影响系统、业务正常运行的情况下完成对设备软件错误的修正，也就是对设备软件的动态升级。

（4）智能弹性架构

IRF(Intelligent Resilient Framework，智能弹性架构)是将多台三层交换机互联在一起形成一个逻辑交换实体的技术实现。其实它是一种增强的堆叠技术，除做到扩展端口、统一管理之外，在高可靠性、冗余备份方面比传统堆叠有了很大提高，容许全局范围内的跨设备链路聚合，提供全面链路级保护。同时IRF技术也实现了跨设备的三层路由冗余，支持多种单播路由协议、组播路由协议的分布式处理，真正实现了多种路由协议的热备份技术。此外IRF技术也实现了二层协议在逻辑设备内分布式运行，提高了堆叠内各交换机的利用率和可靠性，减少了设备间的协议依赖关系。

（5）环网技术

环网就是把设备进行环形链接，因而提供了一定的链路冗余，具有很强的单点故障自愈能力。环网技术分单环和双环两种结构，较新的环网技术有：RPR（Resilent Packet Ring，弹性分组环）和RRPP（Rapid Ring Protection Protocol，快速环保护协议）。RPR沿袭了光传输SDH环型结构，属于互逆双环结构，它继承了SDH的快速自愈能力，可以实现50ms的故障切换。RRPP组网采用单环结构，是一种专门应用于以太网环的链路层协议，它在以太网环中能够防止数据环路引起的广播风暴，以太网环上链路或设备故障时，能迅速切换到备份链路，保证业务快速恢复。与生成树协议相比，RRPP协议具有算法简单、拓扑收敛速度快、收敛时间与环网上节点数无关等优势。

（6）生成树协议技术

STP（Spanning Tree Protocol，生成树协议）及Smart Link技术都是解决由于链路冗余而产生的二层环路问题的协议。其中STP可用于各种拓扑，缺点是收敛时间较慢，通常30秒，难以适应重要数据传输保障，RSTP（快速生成树协议）相对于STP，大大加快了收敛时间，达到百毫秒级收敛速度。MSTP（多实例生成树协议）的出现解决了冗余链路利用率低的问题。Smart Link则可以认为是特定组网情况下STP的替代技术。

（7）网关冗余技术

为了解决局域网内主机静态配置缺省网关而出现单点故障问题，可以采用网关冗余技术。通过多个物理网关虚拟出一个或多个虚拟网关，作为局域网主机的缺省网关，虚拟网关的转发任务由选举出来的某个物理网关承担，如发生故障，则选举出另外物理网关承担虚拟网关的转发任务。通过把局域网内主机的缺省网关配置成不同的虚拟网关，网关冗余技术还可实现流量的负载分担。目前的虚拟网关技术主要有VRRP（Virtual Router Redundancy Protocol，虚拟路由冗余协议）、HSRP（Hot Standby Router Protocol，热备份路由协议）和GLBP（Gateway Load Balancing Protocol，网关负载均衡协议），其中HSRP和GLBP是CISCO的私有技术。

（8）冗余路由及路由快速收敛

通过冗余路由来提高网络可用性是重要技术手段，当其中一条路径发生故障时，流量可以切换到其他冗余路径。冗余路由可以分为两种情况，一种是等价路由，一种是非等价路由。ECMP（Equal Cost Multi Path，等价路由，等价多路径），是各条路径在互为备份的同时实现了负载分担。非等价路径情况下，只有最优路径被启用作报文转发，次优路径只有当最优路径失效时才会被启用。ECMP具有很好的收敛速度，使用ECMP来保障高可用性是重要及必要的选择。

图1 专网基本拓扑示意图

为提高收敛速度，基于链路状态类型的内部网关路由协议，如OSPF、ISIS等可采用以下方法，提高收敛速度：①提高邻居故障检测速度：快速Hello可以有效加快故障检测速度，允许把Hello间隔设到最小50ms，来提高邻居丢失检查速度；②提高协议会话建立速度：在没有冗余路径的情况下，快速hello的另一个作用是可以提高OSPF和IS-IS邻居关系的建立；③提高链路状态数据库的同步速度：提高链路状态的同步速度，需要对链路变化快速反应，迅速生成新LSA并泛洪；④提高SPF计算效率：提高SPF计算效率，目前普遍采用iSPF（incremental SPF，增量最短路径优先）；⑤减少LSDB同步到SPF计算开始之间的时间间隔，可以通过适当调整SPF timer来实现。

（9）链路检测

快速检测相邻设备之间链路通信故障的速度很大程度上决定了网络的收敛速 度。DLDP(Device Link Detection Protocol，链路检测协议)协议的作用就检测单向链路的存在状态，它工作于二层，与物理层协同以监控链路状态。另个链路检测协议是BFD (Bidirectional Forwarding Detection，双向转发检测协议)也是一个为上层控制协议提供通用的低开销快速故障检测的协议，上层控制协议利用BFD提供的服务来决定自己采取相应的重新路由等操作。

专网拓扑及应用业务分析

专网组网拓扑

单位专用网络基本拓扑基本呈星型，部分干线建有SDH环。典型呈以一、二级控制中心及外测通站的三层组成拓扑结构，如图1所示。

专网业务应用分析

单位专网主要功能是为实现测量站信息数据实时、可靠传输与中心站传输，业务应用主要采用组播形式进行传送。

主要业务应用有：实时语音类（指挥、调度、勤务电话等）、实时图像类（测量实况等）、实时数据类（测量、控制等）、事后数据类（测量等）。

其业务应用数据流特性如下：实时突发小数据流（语音）；实时突发大数据流（控制数据）；稳定小数据流（指挥显示、时间统一）；实时稳定大数据流（图像、测量数据）。

数据流向为：多个外测通站向二级中心传输交互（图像、测量、控制数据等）；二级中心向一级中心、外测控站传输（语音、指挥显示、时间统一等）。

随着网络规模逐年扩大，设备逐年增加，各接入设备IP化建设改造不断深入，网络业务应用在向更多、更大的实时稳定大数据流（测量数据）保障需求发展，给专网网络性能、组播业务高可用性保障组织带来巨大压力。

图2 高可用性网络三层接入组网模型

专网高可用性设计

网络高可用性不但涉及到网络架构、设备选型、协议选择、业务规划、网络安全防护等技术问题，还受用户现有网络状况、网络投资预算、用户管理水平等影响，所以在规划和设计高可用性网络的时候需要根据使用实际、网络现状，综合考虑。

依据基本网络拓扑，建议进行典型的三层结构组网模型和简化了的二层扁平结构组网，严格定义各层功能模型；综合使用各种故障检测技术，实现网络故障的快速检测、上报；采用冗余设计，提供关键节点的冗余和链路冗余，并通过预留资源实现快速收敛；综合考虑各种高可用性技术的应用部署，优化最佳收敛效果。高可用三层接入组网模型，如图2示意。

接入层设计

接入层是边缘设备、终端站和IP电话接入网络的第一层。接入层交换机双归属到两个单独的汇聚层交换机以实现冗余。若使用L3连接，则不会出现环路，所有上行链路都将有效转发流量，并完成负载分担。

健壮的接入层提供以下主要特性：

（1）使用冗余交换管理引擎和冗余电源获得的系统级冗余，为关键用户群提供高可用性

（2）使用冗余系统（GLBP、HSRP或VRRP的汇聚层交换机）的双归属连接获得的缺省网关冗余，支持在汇聚层的主备交换机间快速实现故障切换

（3）实施QoS为关键任务网络流量分发优先级，从而尽量靠近网络入口对流量进行分类和排队

（4）链路汇聚高可用特性，提供更高的带宽利用率，同时降低复杂性，汇聚的链路之间在故障发生时，正常链路可承担起所有网络流量

（5）安全服务，通过配置802.1x,端口安全性、DHCP侦听、动态ARP检查及IP源保护等工具来增加安全性，从而更有效地防止非法网络访问

在接入交换机上终结VLAN，从而针对最确定的高可用性网络拓扑避免STP/RSTP的复杂计算和长时间收敛。如果避免了STP/RSTP，网络的收敛是可预测、可限制的，并能够进行可靠调试。在接入层就配置三层路由协议，可以把VLAN限制在接入端口上，从而限制了二层广播域。与二层协议相比，接入层设备配置三层路由协议将具有更好的收敛性能，而且能够充分使用连接链路进行负载分担，提高链路利用效率。但接入层使用三层链路会增加路由设计的复杂性，而且每个三层接口都需要分配IP地址，增加了对IP地址的消耗。

汇聚层设计

汇聚来自接入层的节点，保护核心不受高密度对等关系的影响。另一个功能是创建故障边界，在接入层发生故障时提供逻辑隔离点。负载平衡、服务质量(QoS)和易于设置等都是汇聚层的主要考虑因素。

使用相同冗余节点备份连接，实现最快速的收敛并避免黑洞产生。作为模块化设计的分区汇聚核心，模块内实现跨越多个接入层交换机的L2 VLAN和三层路由汇总，有利于达到最佳的OSPF收敛。当有VLAN跨越多个接入层交换机时，汇聚层设备间通过二层TRUNK链路连接，提供二层通路；当接入层设备没有VLAN跨越或采用三层接入组网时，汇聚层设备间使用三层链路进行路由汇总，加快下层网络故障时路由收敛速度。汇聚层作三层接入网关时，还可以通过VRRP/GLBP等协议实现网关的冗余备份和流量的负载分担。

核心层设计

核心层设备作为网络的骨干，需要能提供快速的数据交换和极高的永续性，从备份和负载分担角度可选用双核心或多核心；从单台设备考虑，选用交换性能和可靠性极高的高端路由交换设备，支持双主控、电源冗余、风扇冗余、分布式转发等特性。并降低核心设备配置的复杂度，减少出现运行错误的几率。

尽量在核心使用冗余的点到点互联，这样可产生最快速、最确定的收敛结果。将核心设计为只使用硬件加速业务的三层交换环境要优于二层的设计，因为在链路或节点故障时能提供更快的收敛速度、通过减少路由邻接关系和网络拓扑提高了可扩展性、通过等价多路径提高带宽利用率。

结语

建设高可用性网络，需要从网络结构、安全、管理、优化等方面全盘综合考虑。

在网络规划阶段，需要细致分析用户需求和业务模式，明确对网络可用性影响最大的关键节点和链路。设计阶段，需要合理规划网络结构，对关键节点和链路作充分的冗余设计，采用高可用性技术，并对网络安全给予足够的关注。在部署阶段则需要关注设备软硬件质量和链路质量。在维护阶段，还需要利用合适的网络管理工具持续对网络业务流量进行分析，不断优化网络，提升网络可用性水平；另外在进行软硬件版本的升级和新业务部署时，需要事先详细规划，并制订应急措施。