边缘电信云架构与关键技术

付乔，段晓东，王路，范亚梅



边缘电信云架构与关键技术

付乔，段晓东，王路，范亚梅

（中国移动通信研究院，北京 100032）

随着用户对业务在时延、带宽、智能等多方面的需求日益增长，靠近用户侧的边缘云研究工作日趋重要。目前业界对于边缘云的研究还处在起步阶段，尚未形成完整的边缘云体系和解决方案。结合运营商的网络转型需求和边缘业务发展趋势，系统阐释边缘电信云体系架构和核心特征，并针对边缘电信云涉及的关键技术提出解决思路，以共同推进边缘电信云的成熟。

NFV；SDN；边缘电信云

1 引言

随着5G技术的快速发展和边缘业务的快速兴起，越来越多的业务产生了边缘位置部署需求[1]。核心网网关类业务承载百万级用户量，存在大量带宽需求，例如5G UPF带宽需求超过300 GB，可将网关等转发类网元下沉至边缘分散，实现流量本地汇聚和中转，降低传输网和核心网的流量负荷；无线侧网元CRAN-CU要求端到端时延小于3 ms，需尽量部署在边缘侧，以满足业务的超低时延需求；新兴的边缘计算类业务除以上需求外，对本地快速处理能力需求较强，如视频加速、车联网等，此类边缘业务将根据业务需求分地域按需部署在地市、区县或以下机房。这些对承载的边缘云提出了更高的灵活性和动态性要求，边缘云成为承载高性能云化电信网络的关键研究领域之一。

此外，随着边缘业务和边缘电信云成为热点，标准和开源组织针对边缘云的讨论也逐步深入。目前，国际上多个开源组织和标准组织（包括ONAP、ETSI MEC、OPNFV、OpenStack等）已针对边缘进行立项。AT&T也于2018年2月联合Intel公司和风河（Wind River）公司在Linux Foundation（Linux基金会）宣布发起新的针对边缘云的开源项目Akraino。国内方面，三大运营商在边缘云领域加大研发力度，以推动边缘云发展成熟。据了解，三大运营商于2018年4月在CCSA（中国通信标准化协会）成立“边缘云关键技术研究”项目，研究边缘云在硬件、容器、加速等关键领域的需求与架构。此外，中国移动已联合Verizon、Intel、ARM、华为、中兴等数10家企业，在OPNFV主导成立Edge Cloud（边缘云）项目，旨在针对边缘场景，输出边缘云参考架构，推动轻量级、资源异构、远程运维的边缘云架构的快速实现。

2 边缘云总体架构及核心特征

国内外主流运营商均以NFV/SDN为核心技术[2]，发布了未来网络转型的目标架构。目标架构通常采用两级电信云架构，核心电信云主要承载集中化的业务和网元，以云化形态部署在大型数据中心，边缘电信云主要承载需要分散部署、接近网络边缘的业务和网元，可能部署在地市、区县乃至接入机房中，满足业务低时延、高带宽等需求[3]。

图1 边缘电信云内部架构

核心电信云因为大集中，通常具备统一的体系架构、硬件模型、虚拟层要求、组网方案、存储方案等，整体产业成熟度高。边缘电信云因为靠近用户侧，机房供电、制冷、空间等环境相对恶劣，承载网元类型差异较大，导致边缘电信云在体系架构与核心电信云有较大差异，且边缘内云内部存在异构场景，结合前期业务需求分析，对边缘云的架构及核心特征等进行深入分析和研究。

2.1 边缘电信云的内部架构及组网方案

2.1.1 边缘电信云的内部架构

图1展示了边缘电信云的内部架构。其中灰色阴影部分为物理资源，包括通用服务器、定制化服务器和软硬一体设备，向上提供虚拟机、容器、裸机等异构资源，边缘电信云需根据场景进行差异化部署。

对于地市级边缘电信云，资源池较大，内部结构较为统一，以通用服务器和虚拟机资源池为主，网元采用SR-IOV实现高速网络转发，组网采用spine-leaf架构，通过管理、业务、存储三平面的流量物理隔离方式实现，结合SDN功能实现网络配置自动化，采用分布式存储为网元提供存储容量。

区县及以下边缘电信云相对规模较小，存在大量异构，如虚拟机、容器、裸机等资源池异构，部分站点甚至有定制化服务器需求，组网方面也进行相应简化，管理、业务、存储三平面流量采用虚拟隔离方式实现，存储方案以本地存储为主。

2.1.2 边缘电信云的组网方案

按边缘业务的需要，在地市、区县以及更边缘的接入位置都可能存在边缘电信云，相关边缘电信云内的网元存在相互组网的需求，因此需要将边缘电信云接入一张跨各个位置的IP承载网中，实现边缘电信云的互联。从目前运营商IP承载网的情况看，一般在地市以上位置都具备接入路由器，边缘电信云的出口路由器可连接接入路由器，实现与IP承载网的连接。对于区县及以下位置，若没有IP承载网（接入路由器没有下到此位置），可考虑通过专线方式将边缘电信云出口路由器连接到最近位置IP承载网的接入路由器，后续随着边缘业务的发展，逐个边缘电信云拉专线的方式影响部署和运维的灵活性，可考虑在边缘位置部署IP承载网。未来随着IP承载网实现SDN的端到端控制，电信云之间的流量可进一步在广域网（WAN）中实现全局调度和流量调优，从而提升边缘电信云的业务体验。

在边缘电信云内部，组网方式因机房资源、服务器规模等因素的不同而差异较大。对于地市级边缘电信云而言，由于机房条件较好、服务器规模较大（百级），因此内部组网采用spine-leaf的两层交换架构，在服务器端口和交换机层面实现业务、存储、管理3类流量的物理隔离。对于区县及以下边缘电信云而言，机房空间和供电的扩展性较差，服务器规模一般为十级，建议采用单层交换架构，业务、存储、管理3类流量可考虑采用逻辑隔离。

边缘电信云内部网络配置自动化的需求以及未来的5G切片等需求，可能会需要在边缘电信云中部署SDN。机房条件较好的边缘电信云（如地市），SDN的部署可以与核心电信云一样；机房条件较差的边缘电信云（如区县及以下），受限于空间和资源，应尽量缩减SDN对服务器资源等资源的占用，可考虑轻量级方案。边缘电信云组网方案如图2所示。

图2 边缘电信云组网方案

2.2 边缘电信云的层级管理架构

图3展示了一种电信云简化层级管理架构。考虑网管集中管理要求，核心电信云统一部署编排器、VNFM和EMS[4]，通过编排器与VIM接口远程管理地市级边缘电信云的VIM。地市、区县、接入电信云仅部署VIM和SDN相关设备。其中地市级边缘电信云部署完整VIM功能。而考虑区县/接入电信云分散广且环境较差，此级别电信云极有可能不配备资源池运维人员，而仅配备硬件设备运维管理人员，区县/接入边缘电信云的租户认证功能和UI界面可共用地市级电信云的VIM对应服务。此外，编排器仅与地市级边缘电信云的VIM连接，区县级边缘电信云的业务编排操作由地市级电信云内的VIM触发。这一架构使得网络的管理中心统一在省级/区域核心电信云内，地市及以下的资源池管理统一在地市级边缘电信云内，一定程度上提高了全网业务和资源池管理的集中度，降低了区县/接入级电信云的运维管理要求。

图3 边缘电信云的层级管理架构

2.3 边缘电信云的基本特征

边缘电信云部署位置较为分散且差异较大，现有机房在运维、电力、空间、制冷等多方面受限。机房改造和新建也面临很大困难。业务部署方面，边缘电信云业务可能有较高的计算、转发等性能要求，同时对资源有异构需求。因此，边缘电信云应具备管理轻量级、资源异构、软/硬件加速、远程运维等特征需求（可参照图1标注A、B、C、D），这对边缘电信云内部结构提出多样化需求，需要结合具体需求场景灵活部署。

（1）A：管理轻量级

边缘电信云，特别是位于区县及以下的边缘电信云往往空间和电力配置有限，资源池规模往往较小。考虑资源池利用率，小规模资源池的管理轻量化尤为重要。边缘电信云的管理单元主要为VIM和SDN，需重点考虑VIM、SDN管理组件虚拟化和容器化部署。

（2）B：资源异构

边缘电信云承载的业务多种多样，对资源池的要求也存在一定差异，如5G UPF、MEC等新兴业务，具有使用容器资源的需求。此外，考虑边缘电信云机房的特殊性，可能存在定制化的服务器设备。边缘电信云的物理资源池和虚拟资源池均可能存在资源异构。资源池占比的合理分配、多种资源池协同管理及多业务在不同资源池部署和调度成为边缘电信云需要考虑的关键问题。

（3）C：软硬件加速

大量转发面业务、新兴的人工智能和边缘计算业务，对边缘云的计算、网络加速能力提出了新的要求。考虑边缘云空间和功耗限制，大量的计算、网络转发功能需从CPU卸载至加速设备中，以提高资源效率。边缘云业务的多样性导致边缘加速设备多种多样。

（4）D：远程运维

边缘云分布广泛，尤其是区县及以下边缘电信云往往部署区域较为偏远或环境较为恶劣。现有区县及以下位置新增资源池运维力量有限，在本地完成租户管理、界面呈现、故障监控、报警处理等运维需求的困难较大。因此建议将可通过软件远程运维的功能尽量收敛到地市边缘云统一运维。

3 边缘电信云关键技术研究及建议

业务的低时延、高带宽、本地快速处理等需求对边缘云的设计提出了更高要求。这要求边缘云在硬件、云平台、加速、编排、安全等各个层面具备支撑边缘业务条件。根据前期大量研究，参考运营商现网情况，就以上各个层面对应的技术方案进行分析，并提出建议。

3.1 硬件

边缘机房，尤其区县/接入级机房在承重、电力、制冷等多方面条件受限。为适应严苛边缘机房要求，服务器形态需要从机架深度、主板布局、可维护性和机箱散热等多方面考虑进行重新设计。中国移动于2017年11月主导成立OTII项目，旨在形成电信行业深度定制、开放标准、统一规范的服务器技术方案。目前已完成OTII服务器概念机模型的设计工作[5]。

OTII定制化服务器要求主要包括：机箱深度限制在470 mm以内，并在机箱深度缩小的前提下，保证PCIe插槽的扩展性，同时操作维护的面板以及告警指示灯等进行前维护设计，并要求风扇支持热插拔，便于对设备进行快速维护和替换等。

3.2 云平台

当前虚拟化网络功能主要通过虚拟机实现，边缘云架构中仍以虚拟机为主，虚拟机管理以OpenStack作为VIM的主要部件。随着业务动态性需求的提升及容器技术的成熟，边缘云将可能引入容器化网元以及容器管理平台。未来容器和虚拟机将在较长时间内并存。

3.2.1 虚拟机及管理

虚拟机及其管理技术在NFV领域应用较为成熟。虚拟机资源池较为公认的计算组件是以KVM为主，边缘云的虚拟层对实时性和吞吐量有更高的要求，提供实时性、吞吐量更高的云操作系统产品。虚拟机资源池较为公认的管理组件是OpenStack[6]。考虑到区县及以下边缘电信云地理位置偏远，可采用较为成熟的multi-region方案（或类似方案）进行多站点管理。对于资源池极少的区县或接入电信云，推荐采用轻量级OpenStack方案（如管理组件虚拟化或容器化、冗余组件裁剪），将管理组件占用资源从物理服务器级降低到CPU核级。目前OpenStack multi-region方案及轻量级OpenStack尚未成熟，亟待完善和推进。

3.2.2 容器及管理

轻量化、易移植、启动快、资源利用率高等特点，使得容器技术能够在一定程度上满足边缘云相关电信网元在快速迭代、动态创建等方面的服务需求。虚拟机和容器在一段时间内长期并存，要求容器架构与现有NFV架构进行适配，形成兼容虚拟机、容器的边缘云架构体系，满足运营商电信云相关要求。

在边缘云架构中，目标是形成容器化网元、容器及其集群管理平台、底层的NFVI层多层解耦，且容器及其集群管理平台以同厂商提供为主。初期容器化网元与容器及其管理平台解耦难度较大，可同厂商部署，但需满足运营商电信云的相关要求，主要包括与MANO接口兼容性、与虚拟层兼容性、电信级增强要求等。未来容器及其集群管理平台对网元提供规范、统一的平台能力，网元设计需与平台进行适配，在此阶段容器化网元与平台解耦。

3.3 加速

由于边缘电信云机房在资源、空间上的限制和业务对本地高速处理能力的要求，边缘云资源池需具备加速能力，支持计算卸载、网络转发加速。边缘电信云的加速主要涉及3个方面的问题，包括加速器根据业务场景的选型、加速资源管理、加速调用通用API。

在加速器选择方面，目前主要加速点包括：网络转发、DPI、Charging、IPSec、Transcoding、隧道处理、HQoS、AI、音视频编解码、视频解析、位置服务、物联网、现实增强、本地内容优化和缓存等。相关加速点对应的加速器优先考虑FPGA和GPU。

在加速资源管理方面，要求使用Cyborg对加速硬件进行纳管，并要求VNFD增加对加速资源池的描述，且能够被VNFM正确解析，此外要求VIM、VNFM、NFVO等相关MANO接口支持对加速资源编排调度。

在通用API方面，建议整个产业积极推动FPGA、GPU通用API制定，以供上层VNF统一调用，使VNF不感知FPGA、GPU的生产厂商和型号等。

3.4 管理编排

边缘电信云分散分布，位置偏远，需要远程运维。编排管理系统（如NFVO、VNFM等）仅集中部署在省级及以上核心电信云内。此外，在网元容器化之后，边缘电信云呈现出虚拟机、容器、裸机等多种资源池共存形态。引入容器技术，VNFD网元模型中需增加容器相关描述，管理编排系统新增了针对容器的生命周期管理需求，还需引入新的管理组件（如Kubernetes）等。新增管理组件需要与现有NFV 编排管理架构的融合、编排管理流程等均需要协同规划。面向商用的运维管理，需基于现网运维要求完善FCAPS管理流程及指标制定。目前业界在引入容器后的统一管理编排流程仍不清晰，尚待研究。

3.5 安全

边缘电信云继承了核心电信云在云计算基础设施和通信业务系统安全中的问题。但是边缘的特殊性，如部分站点无人值守需远程运维、资源异构等，带来了新的安全问题，如裸机容器隔离性低、远程运维组件通信消息被篡改或截获、无人值守边缘电信云易遭受物理攻击等，需要针对安全问题制定对应的安全策略，如容器安全扫描、管理组件加固、远程通信相互认证授权、篡改行为检测等，避免遭受攻击。由于边缘电信云无人值守，一套自动发现、处理安全问题的机制显得尤为重要，保障边缘电信云甚至全网安全。

4 结束语

边缘云是未来电信云的核心组件，但边缘电信云尚未完全形成体系，边缘云方案制定和产业技术等诸多方面尚未成熟，亟待进一步完善和推进。例如，统一的容器编排调度方案制定、标准通用的加速API制定、边缘相关组件的开源实现（如轻量级OpenStack、SDN控制器等）。本文结合了笔者多年从业经验，给出了一些建议和分析，后续希望与产业界共同展开更加深入的合作研究，早日推动边缘云成熟。

[1] 董振江, 董昊, 韦薇, 等. 5G环境下的新业务应用及发展趋势[J]. 电信科学, 2016, 32(6): 58-64.

DONG Z J, DONG H, WEI W, et al. New services and development trend in 5G environment[J]. Telecommunications Science, 2016, 32(6): 58-64.

[2] 李晨, 段晓东, 陈炜, 等. SDN和NFV的思考与实践[J]. 电信科学, 2014, 30(8): 23-27.

LI C, DUAN X D, CHEN W, et al. Thoughts and practices about SDN and NFV[J]. Telecommunications Science, 2014, 30(8): 23-27.

[3] 中国移动通信集团有限公司. NovoNet 2020愿景[R]. 2015.

China Mobile Communications Corporation. NovoNet 2020 vision[R]. 2015.

[4] ETSI NFV ISG. Network function virtualization (NFV) management and orchestration: GS NFV-MAN 001 V1.1.1 [S]. 2017.

[5] ETSI NFV. Network functions virtualisation (NFV); virtualisation technologies: GS NFV-EVE 004 V1.1.1[S]. 2016.

Architecture and key technology of telco edge cloud

FU Qiao, DUAN Xiaodong, WANG Lu, FAN Yamei

China Mobile Research Institute, Beijing 100032, China

With the increased requirement for low latency, high bandwidth and artificial intelligence for future network, the concept of edge cloud, which could bring network service closer to end users, has become a hot topic recently. For now, the understanding and study on edge cloud is still at the startup phase, with no end-to-end framework and solution yet. Combining with the network transformation requirement for the telco network, and the newly emerging edge service, a typical framework and multiple key features were proposed. And the possible solutions for edge cloud related technologies was provided to try to bring insight for the future edge cloud development.

NFV, SDN, telco edge cloud

TN915.02

A

10.11959/j.issn.1000−0801.2018218

2018−06−20；

2018−07−10

付乔（1987−），女，中国移动通信研究院网络与IT技术研究所中级工程师，主要从事NFV相关研究工作，包括NFV云基础设施和边缘云技术攻关。

段晓东（1977−），男，中国移动通信研究院网络与IT技术研究所所长、教授级高级工程师，多年从事IP承载网络、数据业务管理、移动互联网、下一代网络和5G的研究和开发工作。

王路（1980−），男，博士，中国移动通信研究院网络技术研究所高级工程师，主要从事NFV相关工作，包括下一代网络顶层设计和总体技术要求、电信云引入和部署策略、虚拟层和容器相关技术研究等。

范亚梅（1991−），女，现就职于中国移动通信研究院，主要研究方向为NFV/SDN领域相关的科研、测试等，包括下一代网络、移动核心网云化、边缘云设计等。