CORD应用与发展

周伟，唐雄燕

（中国联合网络通信有限公司网络技术研究院，北京 100048）

CORD应用与发展

周伟，唐雄燕

（中国联合网络通信有限公司网络技术研究院，北京 100048）

CORD开源项目提供了面向未来网络演进的一种基于SDN/NFV技术的综合接入边缘云的参考实现。在分析CORD项目对现有CO和DC的影响的基础上，研究了CORD核心架构和协议栈。分析了如何在面向5G的移动应用场景（M-CORD）中应用CORD架构并实现自动性能监测和系统调整的参考解决方案。最后给出了CORD与其他开源软件之间潜在的集成应用解决方案。

开源；CORD；SDN；NFV

1 产生背景和目标

传统通信机房（central office，CO）面临着高额的部署和运维成本开销。如何在面向未来网络的转型架构下改造传统通信机房，成为运营商面临的迫切问题。因此，CORD（central office re-architected as a datacenter）应运而生。CORD最早是ONOS（open network operating system）的一个用例场景，该场景由AT&T提出，其核心背景是AT&T的Domain2.0的需求。AT&T在2013年11月发布了Domain2.0白皮书，其目标是使AT&T网络业务和基础设施能够像数据中心内的云服务一样被使用、配置和调度。特点是用一套 API（application programming interface，应用程序编程接口）按需并接近实时地管理、操纵和消费信息服务。此外，这些网络业务将被实体化，使其在通用的基础设施上实现。届时整个AT&T的公共基础设施将以类似于Pod被用来支持云数据中心业务的方式被购买和配置。

CORD正是一种尝试实现这种新型基础设施的解决方案，从而实现服务敏捷地从云端扩展到接入网侧。CORD项目的背后逻辑是：将目前高度依赖部署和运维的电信传统设备网络转为完全基于开放硬件和开放软件的搭建模式。届时把信息网络业务迁移至多业务、多租户平台，意味着替换或扩充现有网元（一般是被集成去完成某一单向功能）。这种替换技术包括底层连网能力（通常称为“网络功能虚拟化基础设施”（network functions virtualization infrastructure，NFVI））或只是接收软件和软件定义网络（software defined networking，SDN）协议指令去完成多种网络功能和业务的基础设施。这种基础设施最典型的是支持NFV的服务器，其次是基于商业芯片的分组数据转发能力（通常被称为白盒设备）。通过SDN、NFV（network function virtualization）以及商业硬件、开源软件、白盒技术，将为未来的通信机房提供数据中心化的经济性和云计算的敏捷性。

CORD项目的目标是提供一个网络运营商的支持多业务场景的服务交付平台的参考实现。其核心输出包括一个软件平台、系列硬件规范（如基于OCP（open compute project）规范）和业务模型等。其中的软件平台架构，是由模型驱动的可扩展架构。相关的模型定义了 CORD架构内的对象和对象之间的关系，并提供参考设计语言实现。该架构是一个面向实际运营的可执行系统，能够自动生成所有南向API并后向兼容现有数据面设备。

作为一个集成系统，CORD并不是共同的旗帜下的相关项目的松散集合，而是要从开源组件出发构建一个完全集成的系统来支持现场测试。CORD目前提供了用来部署实现应用场景的CORD Pod设备以及用来收集数据和分析性能的CORD应用商店，包括用来方便开发者将 VNF（virtual network function）转换成实际业务的SDK等。CORD模式如图1所示。

图1 CORD模式

如图1所示，传统模式下系统的软件、硬件由供应商提供，相关的开发和知识产权均属于供应商；而在CORD模式下，由于CORD提供了全套开放和开源的集成参考实现，运营商可在其基础上进行二次开发或组织供应商进行二次开发。如运营商可在控制器和协同器、系统集成平台管理和基于OCP规划的硬件等方面进行二次开发，形成自有知识产权方案来实现差异化网络优势。

CORD的业务场景主要分为家庭接入业务（R-CORD）、企业业务（E-CORD）和移动业务（M-CORD）。R-CORD是发展最早的，目前已具备了商用的基础。2017年3月，AT&T完成了业界首个来自多个供应商的开源白盒交换现网试验。

CORD项目受到业界的强烈关注，其董事单位包括ON.Lab（开放网络实验室）、AT&T、中国联合网络通信集团有限公司（以下简称中国联通）、Verizon、Comcast（康卡斯特）、Google（谷歌）、SKT、NTT、Radisys（锐德世）、Nokia（诺基亚）、Cisco（思科）、Intel（英特尔）、Ericsson（爱立信）、NEC等，全面涵盖了互联网企业、电信运营商、有线电视运营商和设备商等。在国内，中国联通牵头在2016年12月成立了中国CORD产业联盟，推进CORD技术在中国的应用。在2017年巴塞罗那的MWC展会上，中国联通、Radisys、AT&T、Verizon、Google等也共同展示了CORD的研究成果。

2 对现有CO和DC的影响

在我国的运营商网络中，CO主要放置专有网络设备和系统（软硬件一体、垂直专业化设备），因为不同专业化设备和系统间的差异性，目前形成了大量专有封闭的电信机房。每个 CO根据与承载网络的连接关系，可分为多级。其中在核心机楼中的CO一般承载CR路由器、核心网设备及省集中的CDN（content delivery network，内容分发网络）设备以及少量的BRAS/MSE；在一般机楼的CO主要部署绝大部分BRAS/MSE以及少量OLT（optical line terminal，光线路终端）；接入端局的CO主要放置大量OLT和BBU。DC（data center，数据中心）则包括以提供物理资源和虚拟资源出租服务为主的提供互联网应用访问的数据中心；承载云资源池，面向大规模数据汇聚、存储、处理和管理需要的数据中心机房。DC也涉及运营商的云和OTT（over the top）企业的第三方云。

在未来网络的演进中，中国联通的CUBE-Net2.0、中国移动的 NovaNet、中国电信的 CTNet2025都提出了未来网络的分级 DC架构。以中国联通CUBE-Net2.0架构为例，分为综合接入DC、区域DC和基地DC。而随着光进铜退，大量原有的CO面临退出，以PSTN CO为例，中国联通有超过2 000个PSTN CO要退出，如何利用这部分资源来适应未来的演进，成为急迫的课题。

目前CORD项目定位为面向固定、移动融合的边缘云，与未来网络整体架构的一种集成参考关系如图2所示。

图2 CORD与未来网络参考关系

CORD可在未来网络架构中提供面向移动接入、企业宽带接入、家庭宽带接入的综合接入边缘云解决方案。

3 核心架构和协议栈

CORD的核心是CORD Pod平台。CORD Pod包括白盒设备、通用服务器、通用存储、交换机和接入设备。其核心是利用数据中心中的“leaf-spine架构”和白盒设备来重构运营商的端局。其中 leaf-spine架构即分布式核心网络，核心节点包括两种：leaf（叶）节点负责连接服务器和网络设备；spine（针）节点连接交换机，保证节点内的任意两个端口之间提供时延非常低的无阻塞性能。通过一定的端口收敛比/超配比可以满足数万台服务器的线速转发。一种典型的架构如图3所示。

图4给出了CORD系统的软件协议栈。这里，通过 ONOS实现对应用的控制，通过运行在OpenStack虚拟机和Docker容器（如Kubernetes）上的可扩展服务和XOS等协同器来实现多租户服务等。

典型的可用于实验室测试的CORD Pod（如支持M-CORD场景）可包含以下硬件：电信级别支持 OCP（oracle certified professional）规范的硬件（包括交换机等）、商用服务器、eNode B、RRU等。

在SDN实际部署中，对新建网络可以采用underlay方案实现网络SDN服务。但对于原有网络，由于设备功能的局限，更多是通过overlay方案实现网络 SDN服务。事实上，很多广域的业务都会跨新建网络和原有网络。Trellis项目就是通过统一运行在 underlay网络和overlay网络的SDN控制器，将基于leaf-spine光纤连接的 underlay方案同基于虚拟网络的overlay方案整合成一个方案。Trellis架构如图5所示。

图3 CORD中的leaf-spine架构

图4 CORD Pod软件协议栈

图5 Trellis架构

CORD项目是一个模型驱动，其业务抽象模型建模涉及用来组合业务的实例、网络、切片、控制器等基础模型。建模包括3个层次：实例到实例、实例到网络、网络到网络。在业务抽象建模过程中，目前已有大量业务建模成果被采用，包括OPNFV的应用模型、OpenConfig的服务配置模型和ONF（开放网络基金会）的信息模型。目前以 TOSCA模型为主，也在逐步支持 Yang模型。

CORD项目是以图3架构为核心，结合不同的接入场景，从而实现从接入到云平台的敏捷服务。以R-CORD为例，图6为传统的家庭宽带接入架构，由于CPE（customer premise equipment ）等设备均是专用设备，相关业务修改、发放和配置管理都需要很长的周期。

图6 基于传统网络的家庭宽带接入架构

基于CORD的家庭宽带接入架构如图7所示。

图7 基于CORD的家庭宽带接入架构

如图7所示，由于接入侧的CPE和ONU只保留了简单的数据处理，复杂的业务逻辑处理都放在了局端。而在局端，通过vOLT、vSG、vRouter、vCDN等虚拟化技术，一方面实现了控制与转发分离，另一方面实现了控制面集中管理，从而可实现整网业务策略的统一部署，提高业务上线速率，增强市场竞争力。用户可以通过用户订阅门户来订阅相关业务，由CORD平台完成网络的相关配置，由于CORD平台实现了设备资源虚拟化和集中控制，因此可根据业务的具体需求，动态地扩容或缩减资源。一种典型流程如图8所示：根据业务需求自动形成相关业务模型驱动CORD Pod控制单元；CORD Pod控制单元调度Pod内的本地计算、存储、网络单元（vOLT、vSG、vRouter、vCDN等）资源并根据需求缩容或扩容来实现相关业务。

图8 CORD Pod系统业务示意

4 典型应用

以移动场景为例，当前各国运营商都在积极发展5G，5G的标准仍然在制定中。无论是eMBB场景、mMTC场景还是URLLC场景，都需要允许网络运营商定制和优化基础设施和服务，并大幅降低了资本支出和运营成本。M-CORD希望在基于共同的CORD Pod平台上建立面向5G的开放和可编程的平台解决方案。其中利用设备解耦和白盒技术，提供基于虚拟化技术的端到端移动解决方案，并提供持续的定制和优化。M-CORD的关键属性包括：

· 基于开源RAN和EPC的开源移动基础设施架构可实现快速创新；

· 开源软件定义的管理和控制器可通过端到端的可编程性提供最大的灵活性；

· 开放的计算机运营商级硬件支持运行OCP等规范的开放硬件，并基于此建立可运行的下一代移动业务的边缘接入云。

图9为M-CORD可编程网络切片实现架构。由于M-CORD整体架构中的“leaf-spine架构”和虚拟网络的隔离特性，M-CORD在创建、修改或终止切片时，其他切片不会受到影响。M-CORD对切片定义进行编程，并对RAN和CORE切片编号。同时M-CORD允许支持按时间、地点和业务类型的切片，如对具有特定开始和结束日期/时间的网络切片进行编程和/或仅对特定地理/位置有效的网络切片进行编程，通过CORD开放软件平台执行相关可编程服务，实现通过CORD切片的动态可编程性。以视频业务为例，首先由CORD开发软件平台对切片资源进行编号、控制、管理和预编程，然后在RAN侧，对无线资源进行切片操作，包括资源块的虚拟化，并将这些资源块的子集分配到不同的切片片段上，并制定相应的控制功能，如调度、切换、准入控制等。在核心网侧，切片包括将分解的虚拟化EPC组件与每个切片相关联。最后在CORD开发软件平台形成端到端切片协同管理。

图9 M-CORD网络切片实现示意

5G服务可以在 M-CORD上启动，并根据M-CORD提供的灵活软件定义架构来实现对网络资源的动态编程。因此对于运营商，基于M-CORD可以快速推出新服务，同时在运营过程中，也需要能够快速地监测、识别和解决服务障碍，以尽量减少对用户和应用程序的影响。这种服务保证需要相关自动化监测技术，因此CORD也同时基于CORD Pod开发了A-CORD参考实现。A-CORD的目标包括：建立一个通用的监控框架，对CORD中的物理设备和软件模块进行性能探测和度量，并完成收集、存档和传递；同时该框架能够在感知工作负载和异常事件的基础上动态地适应CORD的分析应用。相关A-CORD监测系统可以与CORD Pod（如M-CORD）一同部署，并实现实时监测和网络的闭环自动控制，从而有助于可靠地提供新的电信级5G服务。

图10给出了部署在M-CORD中的用于监测链路负荷情况的A-CORD方案。该方案为主动式性能监测方案，是由一个模型驱动的主动测试框架来执行主动性能监控测试。首先通过虚拟化探针监测特定的用户平面流量，并将服务质量指标发送到 A-CORD 中的 Analytics组件进行可视化和跟踪，并对服务质量度水平持续进行跟踪监测，当它们低于可接受的阈值时，触发一个主动的性能监控测试，获得流量路径中的相关服务问题的更多细节，如分组丢失情况或时延，帮助分析可能影响服务性能的拥塞是否发生。最后，当服务质量恢复时，性能监控测试停止。

图10 A-CORD示意

5 与ONF、OPNFV、ONAP以及其他开源社区和标准的关系

CORD项目和ONOS项目都是由ON.Lab发起并管理的SDN领域开源项目，2016年10月ON.Lab宣布计划同SDN标准组织ONF合并。新的ONF目标是帮助拥有大型网络的运营商降低其资本开支和运营成本，并且更容易创建和部署新服务。新的ONF将开源社区软件开发和标准制定结合起来，形成“Software Defined Standards（软件定义的标准）”。在这个软件定义标准的流程中，首先是运营商作为需求方，提出用例场景，推动ONF开展开源软件用例和平台的研发，实现相关PoC（proof of concept，概念验证）；然后ONF根据PoC的反馈情况，确定关键API和数据模型；再后ONF形成具体文档；最后完成软件定义标准。在这个过程中，软件开发人员和标准制定人员需要在典型场景产生、接口需求、标准文档等环节通力合作，同步形成标准文档、PoC、实验室和外场测试、产品，缩短从标准到产品的现有周期和减少由于对标准理解不一致带来的互通等问题，加快新业务和新功能上线。

新的ONF也跟相关开源社区和其他标准组织开展了深入合作，如图 11所示，包括开源组织OPNFV、ONAP、OCP、OVS以及标准组织MEF、BBF等。

图11 CORD与其他开源和标准组织关系

以ONAP为例，当CORD的服务上线时，可以将CORD集成到ONAP的Design Studio中，CORD 控制单元（controller）可同ONAP的MSO、A&AI、DCAE等建立接口。CORD与ONAP集成示意如图12所示。

图12 CORD与ONAP集成示意

6 结束语

开源社区是支撑当前技术发展的重要创新体系，开源社区同传统标准组织的结合也越来越紧密。我国在“十三五”国家信息规划中明确指出：支持开源社区创新发展。鼓励我国企业积极加入国际重大核心技术的开源组织，从参与者发展为重要贡献者，在优势技术领域争当发起者，积极维护我国相关标准专利在国际开源组织中的权益。

在未来网络转型中，开源社区是产业生态中的重要组成部分。开源社区聚焦在产业基础框架参考实现和接口的标准化。而一个健康的产业生态需要开源社区、运营商和供应商合作协同。一方面运营商能把真实的、能够带来商业价值的案例输入开源社区，另一方面供应商能够基于开源的参考实现，交付高质量的产品和整体解决方案。未来需要运营商、供应商、开源社区共同合作，跨越裂谷，实现“open source，open standard，open operation（开源，开放标准，开放操作）”。

[1] AT&T Domian2.0 vision white paper[EB/OL]. (2013−11−13) [2017−02−28].https://www.att.com/Common/about_us/pdf/AT &T%20Domain%202.0%20Vision%20White%20Paper.pdf.

[2] 周伟, 唐雄燕. CORD重构边缘DC 开源社区推动多项研究将落地[EB/OL]. (2017−02−23)[2017−02−28]. http://www.c114. net/tech/175/a998578.html. ZHOU W, TANG X Y. CORD re-architeture edge DC and multi solution will be applied by open source[EB/OL]. (2017−02−23)[2017−02−28].http://www.c114.net/tech/175/a99 8578.html.

[3] 史凡, 熊小明. CORD助力运营商网络重构的冷思考[EB/OL]. (2017−02−23)[2017−02−28].http://www.c114.net/tech/175/a998639. html. SHI F, XIONG X M. CORD Facilitate network transformation of operators [EB/OL]. (2017−02−23)[2017−02−28]. http://www. c114.net/tech/175/a998639.html.

[6] 周伟, 唐雄燕, 杨剑键. ONOS应用和部署[J]. 邮电设计技术, 2016(11): 25-29. ZHOU W, TANG X Y, YANG J J. Application and deployment of ONOS[J]. Designing Techniques of Posts and Telecommunications, 2016(11): 25-29.

[7] 尹博南, 艾元, 彭木根. 雾无线接入网:架构、原理和挑战[J].电信科学, 2016, 32(6): 20-27. YIN B N, AI Y, PENG M G. Fog computing based radio access networks: architecture, principles and challenges[J]. Telecommunications Science, 2016, 32(6): 20-27.

[8] 李丹, 刘方明, 郭得科, 等. 软件定义的云数据中心网络基础理论与关键技术[J]. 电信科学, 2014, 30(6): 48-59. LI D, LIU F M, GUO D K, et al. Fundamental theory and key technology of software defined cloud data center network[J]. Telecommunications Science, 2014, 30(6): 48-59.

[9] 赵辉, 丁鸣, 程青松, 等. SDN与NFV技术在云数据中心的规模应用[J]. 电信科学, 2016, 32(1):144-151. ZHAO H, DING M, CHENG Q S, et al. Application of SDN and NFV technology in the cloud data center [J]. Telecommunications Science, 2016, 32(1):144-151.

[10] 国务院. 关于印发“十三五”国家信息化规划的通知[EB/OL]. (2017−02−23) [2017−02−28]. http://www.gov.cn/zhengce/content/ 2016-12/27/content_5153411.htm. The State Council of the People. Notice on printing and distributing the national informatization planning of the 13th five-year plan[EB/OL]. (2017−02−23)[2017−02−28]. http://www.gov.cn/ zhengce/content/2016−12/27/content_5153411.htm

周伟（1979−），男，博士，中国联合网络通信有限公司网络技术研究院教授级高级工程师，ONOS/CORD开源社区用例委员会委员，主要研究方向为移动网络和移动互联网国际标准、SDN/NFV开源软件。

唐雄燕（1967−），男，博士，中国联合网络通信有限公司网络技术研究院教授级高级工程师，ONOS/CORD开源社区副董事，主要研究方向为未来网络研究和网络演进规划。

Application and development of CORD

ZHOU Wei, TANG Xiongyan
Network Technology Research Institute, China United Network Communications Co., Ltd., Beijing 100048, China

CORD open source project provides one implementation reference of unified access edge cloud. On the basis of analysis of influence of CORD project on the existing CO and DC, the core architecture and software stack of CORD were studied. Meanwhile, the integrated reference solution of 5G-oriented mobile scenario and performance analysis was also analyzed. Finally, the reference solution to integrate CORD with other open source was given.

open source, central office re-architected as a datacenter, software defined networking, network function virtulization

TP393

A

10.11959/j.issn.1000−0801.2017110

2017−02−28；

2017−04−12