金融大客户全冗余动态BGP专网建设案例

摘要：本案例通过介绍PF_BANK在合肥市滨湖建设数据灾备核心节点，和联通、电信、移动互联网骨干节点通过动态 EBGP方式对接，案例中针对该用户业务做的一些BGP路由调整策略和全冗余的接入设计，满足了PF_BANK提出的“ 链路冗余、设备冗余、端口冗余、路由冗余”的全冗余动态BGP互联网全穿透接入要求。为以后相关业务接入起到了示范接入的作用。

关键词： 全冗余、穿透；EBGP；BFD；路由策略

一、案例背景

合肥依托加入长三角经济圈成为副中心城市，与依托长三角数据备份基地建设互联网核心节点，是加快合肥长三角副中心城市群的经济发展，落实网络经济强市目标的有力支撑。PF_BANK目前租用我公司互联网BGP带宽 4000M，2021 年贡献收入超千万元，是我公司金牌金融大客户。PF_BANK提出在合肥市滨湖数据中心基地建设自身银行系统的全球灾备中心，需要同是与联通、电信、移动三家運营商进行动态BGP互联，提出了全冗余的网络设计要求暨“ 链路冗余、设备冗余、端口冗余、路由冗余”，三家运营商所有用户访问该节点，将通过各自运营商本网系统内访问避免进行跨网访问以减小网络时延，提升客户感知。开通动态BGP接入方式是的该数据备份基地成为PF_BANK业务核心备份节点的必要条件，该业务的开通也是安徽省内三家运营商在数据中心项目上第一次的合作，为巩固合肥数据灾备基地核心节点地位，进一步拉动 IDC 机柜、云计算业务增长，起到了重要的作用。

二、案例描述

（一）网络现状

安徽联通 169 IP网骨干网路由器由两台 NE5000E-X16A 设备组成，分别部署在合肥市的滨湖新区、政务新区两个骨干核心机房，地市核心设备分别与集团国干设备之间口子型互联。合肥城域网 CR有2台NE5000E-20组成、BRAS（合肥SR和BRAS属于合设） 有16台华为ME60-X8设备组成，分别双上行至合肥本地出口路由器上，承载本地市的IP网业务，包括互联网业务， MPLS_VPN业务等。

（二）接入需求

1. PF_BANK采用自身公有AS号与联通公有AS号进行动态 EBGP 互联，要求接收互联网全部路由条目（83万条左右），保证接入类型是全穿透模式。2. BGP协议本身具有冗余备份、消除环路的特点，所以要求本次2条BGP互联线路可以实现路由的相互备份并且负载均摊，在一条线路出现故障时路由会快速检测自动切换到其他线路。3.要求同时打开BGP协议，静态路由、对接口的BFD快速检测能力用于加快路由收敛。4.在本地传输层面提出了全冗余的网络设计要求暨“ 链路冗余、设备冗余、端口冗余、路由冗余”接入拓扑如图2所示。

（三）接入要点

1. EBGP 接入类型全穿透

合肥CR路由器收到PF_BANK路由向169国干网转发，再由169骨干网传播至国内其他运营商和全球互联网。虽然合肥CR路由器与省内其他CR路由器存在互联但是本次由于客户没有特殊要求不向其他地址之间发送PF_BANK的路由，其他地市CR还是通过集团骨干网的AR路由器学习PF_BANK路由。合肥CR路由器与PF_BANK对接时出于安全考虑需要采用协议对接加密方式，并采用BFD对BGP协议时刻进行监控。

2.用户路由选择问题

正常情况下省内用户访问PF_BANK业务通过各地市 CR 到国干的链路访问省外PF_BANK服务器相关业务，PF_BANK省内采用 AS56006和合肥CR 2.9654建立 EBGP邻居后，其他地市由于合肥市CR在与地市互联口过滤了AS-path路径，所以其他CR上只会从骨干学习到PF_BANK路由，不需要做地址优选策略路由。当PF_BANK与联通的BGP互联存在问题时，在BFD的帮助下BGP会快速地将联通本地PF_BANK路由失效，从而地市CR会从169骨干学习到其他运营商发布过来的PF_BANK路由信息。

3.合肥本地网与PF_BANK设备对接问题

合肥联通城域网CR除了和国干直连以外还兼做省干，并在本次项目中与PF_BANK做BGP PEER 由于合肥联通城域网CR路由器从网络安全方面考虑不能与用户直接进行对接，但是我们大客户专属的SR路由器没有全量的互联网路由，所以在EBGP对接时我们采用的是客户与合肥联通城域网CR（AS2.9654）建立multi-hop BGP连接，交换IPV4/IPV6双栈路由信息。广播方式为全穿透方式，合肥城域网将PF_BANK自带IPv4/IPv6地址广播至China169骨干网，由169骨干网根据既定策略对外广播，同时合肥联通城域网CR将从169骨干网学习到的全网络由表广播给PF_BANK。

4. BGP路由策略发布问题

本次与PF_BANK对接是采用公有AS的动态BGP对接，客户IP地址是采用自己的BGP路由器发布，并且PF_BANK本次还同时接入了电信、移动的公有AS，所以有可能存在其他运营商路由信息的泄漏风险。所以接收PF_BANK的路由信息时只接收客户在我们这里申请的IPV4/IPV6地址表，并对as-path-filter进行正则表达式过滤^56006$，并将local-preference 设置成800。

5. PF_BANK内部路由问题

PF_BANK和合肥联通CR路由器建立公有AS的EBGP邻居后会收到169网传递过来的所有互联网的路由信息，需考虑业务来回路径一致问题，只有联通用户访问PF_BANK的业务路由才会走在这条 EBGP 链路上。

（四）配置部署

1.部署原则

按照PF_BANK的全冗余的互联要求合肥联通采用传输系统用两个方向的两套独立设备与用户的前置两台路由器对接，分别上联到合肥联通城域网的两个核心局点的SR路由器。两台SR路由器平时对用户流量采用负载均摊的方式进行流量转发，在一个方向出现问题时可以将用户流量迅速切换到另一个方向，网络拓扑如图3所示。

2. 部署配置

（1）CR路由器與PF_BANK的peer配置

CR与PF_BANK之间由于不是直接对接所以需要采用muilt-hop在数据基地设备到省干 CR 和郑州 CR 的 export 方向添加策略，确保只有PF_BANK IP 网段 且下一跳为与PF_BANK本地设备互联的 IP 的路由、数据基地始发的路由可以发给省干、郑州CR，保证只有在下一跳生效的情况下业务路由才生效。IPV4 BGP邻居对接配置：

group PFBANK external  //EBGP对接

peer PFBANK connect-interface LoopBack0  //BGP对接口采用LoopBack0口

peer PFBANK password cipher XXXXXXX  //BGP对接是采用密码验证

peer 58.242.194.xx4 as-number 56006//与浦发西开发方向设备对接

peer 58.242.194.xx4 group PFBANK

peer 58.242.194.xx4 description to PFBANK

peer 58.242.194.xx4 ebgp-max-hop 3   //multi-hop BGP 对接是最大跳数为3

peer 58.242.194.xx4 bfd min-tx-interval 300 min-rx-interval 300 detect-multiplier 5

peer 58.242.194.xx4 bfd enable  //打开BGP的BFD检测功能，和300毫秒双向检测

peer 58.242.194.xx0 as-number 56006//与浦发滨湖方向设备对接

peer 58.242.194.xx0 group PFBANK

peer 58.242.194.xx0 description to PFBANK

peer 58.242.194.xx0 ebgp-max-hop 3//multi-hop BGP 对接是最大跳数为3

peer 58.242.194.xx0 bfd min-tx-interval 300 min-rx-interval 300 detect-multiplier 5

peer 58.242.194.xx0 bfd enable//打开BGP的BFD检测功能，和300毫秒双向检测

（2）BGP对接相关安全过滤策略设置

确保合肥市CR与PF_BANK动态公有BGP对接安全相关策略。

import方向PF_BANK地址段前缀列表

ip ip-prefix pfx_from_PFBANK index 10 permit 103.142.9X.0 24

import方向PF_BANK地址段本地优先级调大

route-policy rp_PFBANK_IN permit node 10

apply local-preference 800

import方向PF_BANK AS_path 过滤：

ip as-path-filter aspath_from_PFBANK index 10 permit ^（5600X_）+$

export方向PF_BANK AS_path 过滤：

ip as-path-filter aspath_to_PFBANK index 10 deny ^6451[2-9]_

ip as-path-filter aspath_to_PFBANK index 20 deny ^645[2-9][0-9]_

ip as-path-filter aspath_to_PFBANK index 30 deny ^64[6-9][0-9][0-9]_

ip as-path-filter aspath_to_PFBANK index 40 deny ^65[0-9][0-9][0-9]_

ip as-path-filter aspath_to_PFBANK index 50 permit .*

（3） 合肥接入SR路由器设置

SR 路由器与PF_BANK之间采用传输系统对接，2个接口分布在两个不通板卡上，使用静态路由将PF_BANK的路由表指向PF_BANK，为了网络的快速倒换加持了BFD协议，其协商时间与BGP的协商时间保持一致。

对接口的配置：

interface Eth-Trunk9.112

vlan-type dot1q 112

description DDK-PF_BANK-DIA

ipv6 enable

ip address 58.242.194.XXX 255.255.255.252

ipv6 address 2408：8000：C03C：1：：4：XXX/127

BFD的配置

bfd PuFa2 bind peer-ip 58.242.194.XX4 interface Eth-Trunk9.112 source-ip 58.242.194.113 auto

detect-multiplier 5

min-tx-interval 300

min-rx-interval 300

ip route-static 103.142.96.0 255.255.255.0 58.242.194.xx4 track bfd-session PuFa2 description to-PuFa2_BANK-1000M-DIA-BGP_AS 56006

三、结束语

本业务 EBGP 接入在安徽省内首次部署， 因该用户三网接入的特殊性，网络存在一定接入复杂度，在 EBGP 接入时需要考虑国干、地市等各场景路由情况外加多层BFD的安全检测和流量负载分担，该方案采取严格匹配 AS_path、地址前缀、下一跳等参数控制路由收发策略， 更精准确控制业务路由。随着云计算、 物联网、大数据业务的不断发展，本地化接入的需求也越来越大，该案例对以后BGP接入的用户起到了重要的示范及指导作用，也让城域网内省内业务路由策略控制更加灵活。

作者单位：夏炜炜    中国联合网络通讯有限公司合肥分公司

参  考  文  献

[1]苏申. Internet 域间路由建模与分析研究[D].哈尔滨：哈尔滨工业大学，2016．

[2]贺聿志，章勇，柳斌.多链路 BGP 接入方法的探讨[J].华中科技大学学报（ 自然科学版） ，2016.

[3]Karl Solie． CCIE 实验指南[M]．北京：人民邮电出版社，2010.