网络云原生PaaS平台架构研究

陈 杲 杨文强 黄 蓉 杨文聪

中国联通研究院 北京 100048

引言

随着5G规模商用，5G to B领域已经成为电信运营商的商业新蓝海，5G to B面临灵活多样化的垂直业务场景，行业数字化对网络的差异化服务能力、业务灵活性和快速上线能力以及敏捷运营等方面提出了更高要求。同时，电信运营商正在积极推进以云化为特征的网络转型，目标是借鉴IT领域的设计理念和优秀实践，构建全面云化的网络以迎接5G等新业务带来的挑战。云原生作为云计算领域最新成果，在IT领域获得了持续应用和广泛认同，将云原生技术应用于电信网络已成为网络云化的关键方向和研究重点，例如网络云原生将云原生理念与技术体系应用于通信网络中，其应用包括核心网和边缘云，也包括运营运维等支撑系统[1]。本文结合5G业务需求和网络功能要求对云原生PaaS平台架构进行了分析，对统一边缘云的云原生PaaS平台架构设计进行了探索。

1 云原生PaaS

随着容器(Docker)、 容器编排调度器(Kubernetes)、微服务(Microservice)、服务网格(Service Mesh)、声明式API和不可变基础设施为代表的云原生技术、理念的推广使用，Kubernetes已经成为容器编排的事实标准，越来越多的IT上层系统开始采用Kubernetes本身已经具备的能力或功能来实现，包括CI/CD、PaaS和Serverless等，下文将对PaaS平台实现架构和网络云原生PaaS进行详细说明。

1.1 云原生PaaS实现架构

PaaS 平台可以利用Kubernetes 原 生HPA(Horizontal Pod Autoscaler)来实现应用自动弹性伸缩，利用Service Catalog来集成基础软件服务(包括MySQL、Redis和Kafka等)。目前云原生PaaS平台在IT领域获得广泛采纳，例如IBM和Redhat推出的OpenShift平台，不仅屏蔽了微服务通信层以下的全部基础设施，可以帮助企业进行应用架构重构、容器落地和服务治理，还提供从业务开发、集成到部署和运维的全流程以服务于企业应用，促进业务创新[2]。

参考OpenShift的定义，云原生PaaS平台是指以容器技术和Kubernetes为核心，集成了微服务集群管理工具及实现CI/CD的DevOps工具链，提供多语言运行环境、中间件和数据库等服务目录，支持服务网格，并满足云原生应用运行环境的PaaS平台，其架构如图1所示[2]。

图1 云原生PaaS平台参考实现架构

基于Kubernetes来构建PaaS平台并不是简单地将其迁移或集成到Kubernetes上，关键是如何利用云原生能力来构建和增强PaaS服务，例如阿里云就提出不仅需要将现有的PaaS平台接入Kubernetes底盘，让研发和运维充分享受云原生技术革新带来的生产力提升，还需要能够发挥Kubernetes技术能力和生态价值[3]。电信运营商也在积极思考如何通过云原生方式，将第三方能力集成到云平台并开放给用户，包括5G网络能力和垂直行业专属能力，并借助云原生技术实现5G生态的快速集成。

1.2 网络云原生PaaS进展

云原生PaaS层通过构筑统一的能力平台，能够向上为上层应用提供标准、开放且易于扩展的技术服务，向下与虚拟机、容器等资源管理平台对接，为应用部署和资源调度提供统一的管理平台。PaaS平台作为云原生架构中的关键技术层，在未来5G生态中变得至关重要，必将得到充分应用和发展[4]。

针对网络云原生技术和PaaS平台研究，电信行业在标准领域以及应用领域都展开了积极的探索和实践。在国际标准化领域，ETSI NFV ISG 029于2019年10月底发布了面向云原生容器和PaaS的增强NFV架构研究报告(IFA029)，包括NFV架构演进策略以及NFV MANO参考架构中引入容器管理编排的研究，为标准化框架选型提供参考依据。在国内标准化领域，由运营商牵头制定的电信云原生平台架构与技术要求、电信云原生PaaS平台架构技术标准等在CCSA完成立项，并启动标准预研工作。在实践应用领域，2020年5月由中国移动在Linux基金会牵头成立开源项目XGVela，联合产业界及开源社区力量，共同探索并构建电信网络云原生PaaS平台开源参考实现。由OPNFV和CNTT合并成立的Anuket项目于2021年1月27日启动，通过创建和开发参考云基础架构模型、一致性程序和工具来增强和完善NFVI行业规范，以更快、更可靠、更安全地提供网络服务[5]。

当前网络云原生PaaS研究聚焦于PaaS层框架制定和模型定义，5G网络PaaS平台的构建，需要基于5G商业应用目标，结合5G核心网、边缘云等的具体的部署场景，明确PaaS层在网络中的定位，分析网络通用能力沉淀至PaaS层的方案，探索对业务和服务进行高效编排的方案。

2 PaaS架构分析

IT云原生PaaS架构的定义和网络云原生的研究进展，为电信运营商网络云原生PaaS平台提供了两种思路：一是采用网络云的基础设施(NFVI)来统一承载；二是基于边缘计算平台，采用独立的基础设施，而不是基于统一的NFVI。以下分别从网络云和边缘云角度对PaaS平台架构进行分析。

2.1 网络云PaaS架构

电信网络云化以NFV为技术框架进行演进，网络的PaaS平台架构可基于NFVI进行构筑。从业务功能看，主要承载如5G Core、4G EPC、IMS等网络功能，考虑到5G面临的业务不确定性要求，除网络功能外，网络还需要支持应用定制的业务创新能力。从部署的位置看，除了集中部署外，网络功能还可下沉到边缘侧，并与边缘应用对接，比如针对垂直行业的5G专网场景，核心网网元可部署到行业用户本地。

网络PaaS平台层的功能，既需要基于业务网元的功能考虑，还需要结合5G业务场景的高度灵活性，为上层应用的开放、创新提供一个统一集约的支撑平台。网络的PaaS平台层的功能架构，可以包括两个层面，如图2所示[6]。

图2 基于NFVI的PaaS平台架构

其中通用PaaS功能层，关注PaaS层的基本功能要求，以K8S为基础，基于CNCF定义的PaaS层功能实现，提供运行应用及其相关服务的环境；电信PaaS功能层，基于核心网络功能和业务需求，将网络业务层通用能力提炼成特色的电信PaaS能力，使能上层基于业务需求的灵活定制和编排，同时考虑通用PaaS电信适配层需求，实现通用PaaS组件的调整和增强，满足电信业务的需求。

2.2 边缘计算PaaS架构

电信运营商的边缘计算系统包括了边缘IaaS层、PaaS层和各种边缘应用，其中边缘IaaS层提供了云化环境和计算机、边缘网络等基础设施，边缘PaaS层提供边缘计算服务框架、运行环境API和应用管理，根据用户需求提供标准化的边缘网络服务和IT增值服务。

云原生边缘计算指的是基于云原生边缘计算平台打造云边一体的云原生边缘基础设施和云原生边缘PaaS平台。与传统IT厂商不同，电信运营商在采用云原生技术构建PaaS平台需要考虑如何发挥移动通信网络优势，将网络能力开放给第三方使用。例如5G网络需要开放的网络能力不仅包括传统的核心网能力，还包括无线接入网和传输网能力，其中无线网络能力包括无线网络信息服务(Radio Network Information Services，RNIS)、基于位置服务(Location Based Service，LBS)、带宽管理服务等[7]，如图3所示。

图3 电信运营商边缘PaaS需要支持NaaS

电信运营商和云服务商都积极采用云原生技术进行边缘侧PaaS平台建设，希望通过统一API接口将服务能力开放到应用侧，提升边缘应用落地能力[8]。中国联通参加了各种相关的开源项目进行5G网络能力开放的实践，例如在Linux Foundation Edge Akraino的PCEI(Public Cloud Edge Interface)项目(Blueprint)中开展边缘计算平台的多云连接能力接口实现(AWS、阿里云和腾讯云等)和边缘PaaS的实现模式研究。PCEI项目的研究重点是基于云原生PaaS平台如何合理划分融合电信网络能力和通用能力，如何提升获取网络能力的便利性和快捷性，如何实现边缘节点间互联来提高API的响应速度和可用性等[7]。如图4所示，边缘使能层(Edge Enabler)通过封装P1接口和ETSI MEC定义的RNIS、LBS、本地流量分流(Local Break-Out，LBO)等接口形成电信运营商边缘接口P2(Telco Edge APIs)。P1接口(3GPP Interfaces)表示3GPP定义的网络接口。

图4 边缘使能层(PaaS)架构示意图

由于现有的P2接口都是从CT的角度对网络能力API进行封装，从而导致IT开发者需要掌握一定的无线接入网络知识才能进行网络能力API的调用。为了解决这个问题，PCEI提出在边缘PaaS平台之上增加应用使能层(Application Enabler)，对P2接口再次封装，打造应用友好的P3接口(End User Application APIs)，从而实现网络能力面向应用程序员的友好开放，推动边缘PaaS平台向边缘场景服务发展。

3 基于统一边缘云的PaaS架构

统一边缘云提供跨电信运营商的统一边缘云服务，采用统一通用的API接口，支持应用的跨电信运营商统一部署交付、运维和管控。统一边缘云本质上是打造统一的边缘云基础设施资源，首先需要实现边缘计算平台互联互通。目前业界相关的工作主要包含两方面：一是采用分布式技术和云原生技术来屏蔽平台架构差异，打造统一的边缘基础设施；二是进行边缘计算平台互联互通的标准化工作，例如GSMA OP、ETSI MEC #035和3GPP都已经开展相关工作[9-11]。

3.1 跨电信运营商的统一边缘云

电信运营商具有独特的网络优势，即使云服务商或CDN厂家已经构建了自有的边缘云节点，但是仍然希望和电信运营商的边缘计算节点打通以充分利用边缘网络能力，例如阿里云已经宣称与运营商在MEC节点上开展深度合作，在某些区域已实现资源的互联互通[12]。电信运营商边缘云之间不能互相割裂，而且需要支持多种边缘计算节点接入，尤其是第三方云服务商的边缘云节点，才能构建跨电信运营商和云服务商的统一边缘云。更进一步，电信运营商还希望通过云边协同、边边互联和网络能力开放，提供确定性、无损或超低时延的网络服务，提升电信运营商网络管道价值，打造真正意义上的云网融合产品。另外，从云计算发展的趋势来看，分布式云是下一代云计算，边缘计算本身就是分布式云。由于分布式边缘云能够实现“云边端”算力的统筹供给和协同调度,所以被广泛认为是计算与网络深度融合的下一代社会化的信息基础设施。国家也制定了相关的产业政策，推动其发展，例如2021年5月国家发改委提出推动各行业数据中心加强一体化联通调度，促进多云之间、云和数据中心之间、云和网络之间的资源联动，构建算力服务资源池[13]。

电信运营商的边缘计算平台一般采用两种方式构建，一种是自主研发，例如国内三大电信运营商都是采用自主研发的方式[14]。另一种是与公有云服务商合作，采用其提供的边缘云平台，例如AT&T与谷歌云合作，采用谷歌云的“Anthos for Telecom Platform”作为其边缘计算平台[15]。尽管这些边缘计算平台都对外宣称兼容ETSI标准定义的MEC架构，但是事实上并不支持平台互操作，无法实现互联互通[16]。如何实现统一的边缘云有很多解决方案，GSMA提出的边缘计算聚合方案(MEC Aggregation)和边缘计算联盟方案(MEC Federation)，详细内容可以参考GSMA于2021年6月底发布的白皮书[9]。与此同时，ETSI MEC和3GPP也已经开展了相关的研究工作，并启动了相关的标准化工作：ETSI MEC #035已经申请启动更新ETSI边缘计算系统架构，计划引入新的功能网元(MEC Federation Manager和Broker)来支持边缘计算联盟[10]。3GPP SA6经过讨论在2021年7月启动相关的工作项目(Work Item)进行研究和分析[11]。

本文强调跨电信运营商的统一边缘云，但电信运营商边缘计算平台本身可以采用的是云服务商边缘云，所以实质上已经包含了跨云服务商的统一边缘云。总之，根据边缘基础设施的发展趋势，统一边缘云是边缘生态发展的必然结果，支持互联互通也将成为ETSI和3GPP标准的功能要求。

3.2 两级PaaS架构设计

随着5G网络部署推进，5G行业应用已经从企业外围业务环节向核心生产领域扩展，例如高清视频监控、基于机器视觉质量检测等已经在很多垂直行业复制落地，具备沉浸式体验和低延时可靠的远程控制类应用已经开始探索和测试[17]。边缘云已经成为承载各种创新应用的关键基础设施：不仅需要利用5G大带宽、低时延、高可靠、多连接的网络能力，还要求与云计算、大数据和AI的技术融合以赋能社会各行各业进行产业升级和企业数字化转型。总之，为了满足千行百业的差异化需求，边缘云不仅需要增强网络能力，还需要叠加中心云能力，为各种垂直行业赋能。对于跨电信运营商和云服务商的统一边缘云，如何屏蔽不同电信运营商的网络特性差异和边缘计算平台差异是当前面临的重要挑战之一，包括如何将云端能力(多个公有云和混合云)和多个运营商网络能力(核心网)延伸到网络边缘，以统一的方式开放云端能力和网络能力。

如前所述，MEC Federation是GSMA提出的一种统一边缘云实现方案，目前已经被ETSI MEC和3GPP采纳[8-10]。从2020年4月开始，中国联通在OP项目启动初期参与了OP的技术要求讨论，目的是跟踪和掌握OP项目中涉及的MEC平台互联互通核心关键技术，支持不同电信运营商的边缘计算平台互联互通，打造统一的电信边缘云(Telco Edge Cloud，TEC)。在OP实现架构讨论中提出以构建云原生PaaS平台的方式来实现GSMA OP，通过云原生PaaS平台来解决跨电信运营商网络特性差异的挑战，整体逻辑架构图如图5所示。

图5 GSMA OP实现方案之云原生PaaS平台

通过对GSMA OP实现方案进行抽象总结，提出包括云端PaaS和边缘PaaS的两级PaaS架构设计，如图6所示。云端PaaS负责屏蔽不同电信运营商的网络能力差异，以及承载跨电信运营商的功能(例如边缘计算平台联盟、跨运营商的移动性和应用漫游等)。边缘PaaS则保留了各个电信运营商的功能差异性。统一边缘云的云原生PaaS平台采用两层PaaS架构，可以实现边缘应用的跨电信运营商的灵活部署、统一网络服务的灵活构建、跨云服务商的云资源弹性调度等功能要求。

图6 统一边缘云架构

云端PaaS提供标准网络增值能力服务，屏蔽不同电信运营商的网络差异，边缘PaaS根据客户需求提供具备特色的网络服务。云端PaaS和边缘PaaS之间还需要实现数据协同、服务编排协同和部署协同，例如通过云端PaaS来统一面向开放者进行开放以提供一致性的用户体验，提供跨边缘计算平台的应用部署、监控和运维。类似于IaaS平台的发展结果，PaaS平台也将朝“同质化”的平台发展：接口设计和交互层面不再有区别，PaaS平台只存在平台性能和可靠性上的区别。云端PaaS可以部署在不同的公有云之上，支持多云和混合云，为客户提供统一分布式边缘云基础设施。

为了打造广泛的边缘生态系统，参考云原生发展模式和GSMA OP开源实现模式，基于开源方案，采用开源协作方式开发来进行云原生PaaS平台，因为开源不仅能够解决供应商使用专用技术堆栈带来厂商锁定问题，还有助于打造边缘网络能力开放服务的事实标准。以中国联通为例，目前已经正在LF Akraino PCEI项目的Release 5中开展相关工作，包括联合Futureway和华为在PCEI family中成立了一个新蓝图(Blueprint)“Federated Multi-Access Edge Cloud Platform”，基于开源的云原生平台KubeEdge进行MEC Federation方案的开源实现验证[18]。

4 结束语

本文提出的两级PaaS架构设计(云端PaaS+边缘PaaS)能够屏蔽不同电信运营商网络的特性差异，为垂直行业客户提供统一的网络服务，是针对跨电信运营商和云服务商场景下的5G to B网络架构设计的一次探索，希望能为5G to B架构设计提供实现参考，推动边缘计算平台互联互通，统一边缘云的发展。