云原生5GC关键技术研究

王卫斌 朱进磊 刘建华

中兴通讯股份有限公司 南京 210012

引言

当前，云计算的核心理念正在从资源供给调度为中心向应用编排为中心转变。云原生技术和5G应用需求结合催生了云原生架构的5G核心网，成为5G网络助力行业数字化转型的核心能力。

1 云原生在电信网络的应用

多年来，电信运营商饱受复杂的专用硬件困扰。随着云计算技术向电信领域的渗透，网络功能虚拟化(NFV)被提出。NFV将各类网络功能软件按需部署分布在不同地点的由通用服务器、交换机和存储设备组成的资源池上[1]。

如图1所示，电信云原生应用是在开发实践过程中逐步发展出来的，经历了虚机、容器和云原生三个阶段。虚机阶段从封闭走向开放，实现网络功能软件与底层硬件解耦，同时引入云计算的集约化资源供给，实现了网络功能和资源的统一管理、自动编排部署和伸缩。ETSI定义了NFV的应用和管理框架：VNFM负责应用部署和管理，VNF拆解为多个VNFC，这些组件根据实时负载动态弹缩以及时占用和释放虚拟机资源。

图1 电信应用云化演进

由于虚拟机资源消耗大，初始化速度慢，为了轻量化和快速弹缩，逐步发展到轻量化的容器部署阶段。该阶段在基础设施和应用之间增加了一层容器编排平台，如K8S。应用进一步拆分为轻量化微服务(Micro Service)组件，MS间通过API通信。云原生阶段的平台能力在容器阶段基础上进一步提升。不同应用的公共组件被纳入平台范围，提供统一的平台服务(Platform as a Sevice，简称PaaS)，应用只需关注业务逻辑实现，基于平台服务统一开发框架快速构建。云原生方式重构的网络功能可以更灵活地服务在线共享方式，快速动态地拼接出新应用。

当前，ETSI正在从网络运营角度定义电信网络云原生应用的特性和需求具备程度(Readiness)[2]，如表1所示。

表1 ETSI定义的电信网络云原生应用特性

2 云原生5GC

2.1 价值和挑战

5G包括eMBB(增强移动宽带)、uRLLC(低时延高可靠)和mMTC(低功耗大连接)三大业务场景[3]。3GPP在5GC(5G核心网)规范中引入了SBA、切片、无状态、CUPS和MEC等关键技术以灵活满足多种场景的业务需求[4]。

如图2所示，云原生与5GC在需求和技术理念上高度一致。云原生技术栈包含的容器、微服务、服务网格、不可变基础设施及声明式API与5GC架构中的SBA、网络切片、弹性和灰度、编排和管理高度匹配。云原生基于云平台快速构建应用，能力层次化开放和运维工具化的设计理念和方法论与5GC的网络功能按需灵活部署、网络特性可定制、资源解耦动态申请以及智能化运维需求高度一致。因此，基于ETSI NFV架构部署并采用云原生技术来构建5G核心网目前已是主流运营商和设备商的选择[5]。

图2 云原生关键技术与5GC匹配关系

由于电信应用的特殊性，5GC云原生化也存在一些技术挑战。

1)多场景基础设施适配

5G云原生核心网需要广泛适应私有云、边缘云、公有云、混合云等云化基础设施，还需要支持专用设备场景的部署[6-8]。复杂的部署场景对云原生5GC的系统架构设计提出了挑战。一方面，要保证管理、资源、应用的解耦，确保系统架构和接口的通用性；另一方面，又要针对不同场景的特殊要求对各个子系统进行相应的优化和增强。

2)电信特性增强

5G云原生核心网需要支持电信网元的多网络平面架构，要为控制面网元和转发面网元提供网络隔离和不同的性能支持[9]。原生的Kubernetes技术并不能很好地支持多网络平面以及特殊协议(如GTP、SCTP)网络转发需求，也不支持动态巨页、NUMA、POD资源独占，无法满足高性能转发需求。高可用和安全隔离是电信增强的另一个重要体现，云原生5GC应用内部要实现容器隔离、租户权限、安全组隔离等措施在云化通用基础设施上提供99.999%的高可用。

3)持续演进和平滑迁移

随着云原生技术不断发展以及5G核心网本身的演进，云原生5GC也会经历不同发展阶段。由于电信应用永远在线的服务要求，在跨越不同阶段时要考虑应用升级对基础设施、管理系统的影响，尽可能做到平滑迁移。

2.2 关键技术

应对云原生5GC的上述挑战的关键技术包括：合理的系统架构设计、云原生电信增强技术和平滑演进能力。

2.2.1 系统架构设计

云原生5GC的系统架构如图3所示，核心网各个网元基于微服务做功能拆分和归类，构建出公共服务域和业务域，使用容器和自动化编排等技术，对这些微服务做灵活组合，在NFV资源池、公有云以及专用硬件设备上部署运行。

图3 云原生5GC软件架构

1)管理域

管理域MANO是5GC的核心，同时具备资源编排和服务管理功能。云原生5GC在管理域新增CaaS管理模块CISM和CCM。CISM由CCM部署，CCM可支持多个CISM集群发放。MANO根据VNF部署时注入的节点信息自动注册至CISM进行纳管。MANO和CI/CD工具配合，提供灰度升级、AB测试等特性，完成云原生5GC持续集成和持续部署，加速需求响应速度。管理域还应部署网元设备管理功能，通过南向接口获取、管理云原生5GC应用的状态和运行信息，适配转换后再通过北向接口纳管到网络管理中心。

2)业务域

业务域是云原生5GC 的灵魂，包含多个标准的网络功能NF(Network Function)的微服务，实现3GPP定义的5G核心网业务能力。这些业务微服务是云原生5GC的实现载体，与3GPP SBA定义的NFS(Network Function Service)没有严格的对应关系。

3)公共服务域

云原生5GC公共服务域的设计目的是实现通用服务共享，快速构建5GC应用。公共服务域至少包括运维管理、LB(Load Balance)服务、数据存储服务，为业务域的应用服务提供统一的支撑。容器服务、微服务治理可以归属公共服务域，也可以下沉到资源域。

运维管理提供5G 核心网的FCAPS(Fault、Configuration、Accounting、Performance and Security)功能，以及日志、跟踪和License等管理运维能力。5G核心网的业务配置较复杂，基于Yang模型设计业务配置，可为运维人员提供友好的CLI/MML操作方式，方便查询、修改、备份和恢复。

云原生5GC的各个业务微服务需要采用无状态设计以具备鲁棒性和快速弹性。数据存储服务要具备实时访问能力，可为各业务微服务提供业务会话上下文数据的存储服务，根据业务需求提供流程级、事务级、会话级三级无状态服务。为了确保性能，云原生5GC的数据服务一般不采用开源数据库组件，而是采用自定义的内存数据库，并在业务逻辑组件设计专门的数据库Cache。

4)资源域

基于公有云、运营商NFV资源池、专用硬件设备等基础设施，为云原生5GC提供物理机或虚拟机方式的计算和存储资源，以及多网络平面组网。针对云原生5GC的转发性能要求，有时还需要基于加速卡、异构处理器等特定硬件的标准化挂接提供高性能数据转发或安全加解密服务等。

2.2.2 电信增强

1)容器增强

云原生5GC在支持共享CPU配置基础上针对DPDK应用扩展新的独占式调度方式，避免所需资源被内核线程或K8S上其他应用抢占。需要从操作系统层面进行多线程CPU绑定来确保这种独占性，同时支持动态巨页和NUMA亲和等调度方式。

2)网络增强

5G核心网包括控制面网元和转发面网元，不同网元对网络的性能和配置要求不同，内部还要进行不同的平面隔离，而原生的Kubernetes网络POD仅支持单网络接口。如图4所示，为了满足云原生5GC高性能转发和多平面需求，要引入增强的多网络平面插件和智能网卡(Smart-NIC)加速技术。Smart-NIC支持OVS加速，动态生成的vNIC用于POD的扩展网络；POD网络通过Multus+CNI-X的方式，提供多网络平面和物理网络。如果服务器不支持智能网卡，就需要在普通网卡上采用SR-IOV以确保高速转发性能，但是SR-IOV的逻辑端口扩展性有限制。此外，Kubernetes节点还要具备多网卡能力，以便于为POD提供hostnic方式的CNI，IP Vlan或Calico方式的CNI。当POD上的应用有对接多个外部网络需求时，还需要扩展支持vlan trunk等组网功能。

图4 云原生5GC的网络增强技术

3)安全增强

容器化环境中风险主要来自容器配置和容器运行时引入的漏洞，如内核共享、侧信道攻击、非法访问敏感数据、危险代码执行等。ETSI GS NFV-SEC 023中定义了镜像制作、镜像管理和容器逃逸三种主要的云原生安全威胁。对于容器运行时，在Kata容器技术成熟之前可以采用虚机嵌套容器方式部署，避免容器异常时应用间的相互干扰。对于容器环境配置管理，可以依据CWPP(Cloud Workload Protection Platform)模型进行云原生安全加固。CWPP提供完善的核心防护和附加防护策略，包括权限及数据变更管理、安全隔离、完整性监控、应用控制、行为监控和漏洞扫描等。同时，在基础设施层可以引入可信芯片TPM/vTPM、可信操作系统、可信VMM等可信计算技术增强基础设施的安全性。

2.3 持续演进

云原生在不断演进中，5G核心网的云原生化进程也应依据应用场景、基础设施能力和商业驱动力综合考虑。如表2所示，可以从兼容性、服务化、可靠性、弹性、安全、可观察性、CI/CD这7个维度构建云原生5GCDE成熟度参考模型。分4个阶段：L1阶段是云原生起步阶段、L2阶段是云原生进阶阶段、L3阶段是云原生成熟阶段、L4阶段是云原生优化阶段，不同阶段在可观察性、服务化、弹性等方面有不同的要求。当前，比较先进的云原生5GC应用基本处于L2阶段，正在进一步向L3演进。

表2 云原生5GC成熟度参考模型

在向高级阶段的云原生5GC迁移时，可以采用双域双活方式实现不中断业务升级，不同业务域之间采用隧道方式互通，具备信令协议转换和数据同步能力。也可以同一应用采用跨不同资源池的混合部署方式，通过扩容新资源池和缩容旧资源池方式，最终平滑演进至新的云原生应用。

3 总结与展望

云原生5GC围绕容器云平台(如K8S)设计、开发和运维，采用微服务架构，利用平台生态圈丰富的开源组件实现快速迭代和灰度发布，灵活满足行业专网和边缘计算的碎片化需求，快速定制和持续更新。随着5G网络建设和商用进程的不断深入，云原生架构的5G核心网将得到越来越广泛的应用。