基于SDN和NFV的直播集群设计与实现

胡国强， 陈书军，李　力

(西北农林科技大学　a.网络与教育技术中心；b.林学院，陕西 杨凌 712100)



基于SDN和NFV的直播集群设计与实现

胡国强a， 陈书军b，李力a

(西北农林科技大学a.网络与教育技术中心；b.林学院，陕西 杨凌 712100)

针对当前直播系统并发性能低下，结合软件定义网络(Software Defined Networking，SDN)和网络功能虚拟化(Network Function Virtualization，NFV)技术的新型网络技术快速演进，在综合考虑直播集群技术优势的基础上，设计并实现了基于SDN网络和NFV技术架构的Red5直播集群，并在实际环境中跟传统网络架构的Red5集群系统性能进行对比测试。测试结果表明，此直播集群系统比传统网络架构的Red5集群系统并发性高。

SDN；NFV；Red5；直播；集群

流媒体技术(Streaming Media Technology)是在互联网上传输多媒体的技术，旨在解决以Internet为代表的中低带宽网络上视频、音频数据流的传输问题。流媒体技术广泛应用于视频直播、点播，其核心是搭建流媒体服务器。大型现场直播时很多用户通过PC和移动终端观看，单台流媒体直播服务器根本无法满足需求。为了增加直播服务器的并发性能，利用集群技术将很多直播服务器集中起来进行并行计算，从而获得很高的服务性能以满足大规模直播的要求。随着网络应用的不断增加，现有的网络架构和网络能力，仍然存在着对资源调度和配置的灵活性不足、新业务部署慢、对网络运营维护的要求高等一系列问题[1]。在此背景下，以SDN和NFV为代表的新型网络技术已经进入快速变革时期。软件化、集中化、虚拟化的思想、技术和灵活性、扩展性和简单性将成为未来网络的基本特性[2]，质量可保证的虚拟网络将成为未来网络的关键业务。

近年来国内外学者对SDN下的流媒体开展了前瞻研究，文献[3-5]研究了云平台环境下部署流媒体集群；李晨在文献[6]中探讨了SDN和NFV的发展；郑梦青在文献[7]中对SDN的3D视频编码与传输技术进行了研究；文献[8]实现了SDN网络平台面向组播业务关键技术；文献[9]将流媒体集群并发技术应用到点直播系统中；文献[10]设计了GENI电影，依靠SDN传输的可伸缩视频直播服务；文献[11] 研究并设计了基于开放流网络的流媒体传输模型；文献[12]用缓冲HTTP流媒体直播结合SDN的方法改善了5G无线网络通信；文献[13]提出了在SDN用分层自适应的学习方法来传输视频流；文献[14]用SDN实现了服务器的负载均衡。针对流媒体直播服务器并发性低下和Red5集群不能均衡负载，采用集群技术结合SDN和NFV技术，设计并实现了基于SDN和NFV技术架构的Red5直播集群。

1　基于SDN和NFV的直播集群设计方案

1.1关键技术

1.1.1SDN架构

SDN是Emulex网络一种新型网络创新架构，其创新之处在于网络的可软件编程，即用软件动态地实现传统网络设备的功能。其核心技术OpenFlow通过将网络设备控制层与数据层分离开来，实现了网络流量的灵活控制[15]，在视频直播时，可以将控制流和视频流分开来，合理分配带宽，使网络作为管道变得更加智能。其设计思想最初来自美国的未来互联网计划( Future Internet Network Design，FIND)，其最大优势在于网络设备控制流和数据流的解耦合、网络各种应用状态控制的集中化、灵活的软件编程能力，可以有效地解决当前网络架构扩展性差、网络组织灵活度低、应用实施繁琐、高端网络设备成本高等问题，并极大降低了网管员的工作量和工作难度。

国际上对未来互联网体系结构的研究主要包括美国的NewArch，FIND和GENI欧盟的FIRE等项目。IETF组织也参与了对下一代网络体系结构中的关键技术研发。ONF是一家非盈利的组织机构，致力于SDN的发展和标准化，是当前业界最活跃、规模最大的SDN标准组织。ONF针对SDN提出了SDN的架构图，如图1所示。

图1　SDN架构

SDN将传统网络的架构解耦合为应用、控制、转发3层架构，网络不仅提供传输数据的功能，而且跟虚拟化后的计算、存储资源一样成为一种可动态调配的服务资源。这种服务资源经过虚拟化后，将不再成为制约新业务应用的瓶颈。

1.1.2NFV架构

NFV是欧洲电信联盟提出来的，ETSI网络功能虚拟化行业规范工作组由国外52家网络运营商、电信设备供应商、IT设备供应商和技术供应商联合组建，其致力于NFV的研究，通过对NFV的研究使IT虚拟化技术标准化，让更多不同类型的网络设备跟符合行业标准的服务器、交换机和存储设备相互融合[16]。其通过使用x86等价格便宜、性能稳定通用性硬件设备以及标准的虚拟化技术，去实现很多网络设备的功能。这样可以节约购买昂贵网络设备的成本。网络机房里面存放大量的服务器、存储设备，还有大量不同厂商生产的不同的网络设备，维护起来成本高，部署起来复杂，新业务上线很慢，网络功能的虚拟化解决了这个难题。NFV架构上线后把所有功能挪到标准的服务器上实现， NFV架构如图2所示。

图2　NFV架构

在图2中，NFVI就是基础设施，进行管理和虚拟化，目标是为了在上面提供这些称之为VNF的功能。这些功能单元运行在虚拟化出来的虚拟机或容器里。最右边NFV MANO这一块是整个系统的管理部分。

1.1.3Red5集群技术

集群(cluster)是由一组相互独立的、通过高速网络互联的计算机组成的系统，其目的在于提高应用系统性能、降低成本、提高可扩展性、增强可靠性，其任务调度则是集群系统中的核心技术。集群按照用途分为科学集群、高可用性集群、负载均衡集群。负载均衡集群可以利用计算机集群的计算机平摊处理接受的任务。接受的任务处理过程中的负载分为网络流量负载和应用程序处理负载，两种负载方式均适合向使用同一应用程序的大量用户提供多线程并发服务。集群的每个节点都参与一定规模的处理负载，并且可以对集群的每个节点动态分配负载量，以达到负载均衡的目的[17]。使用网络流量负载服务时，应用系统接受了入网的大流量，就会发送给集群内所有节点上运行的网络服务程序来分担处理。同时，还可以根据每个节点上不同的网络环境、不同的可用资源进行优化。Red5集群采用边源服务器的模式，边服务器(Edge Server)用来接受来自于客户端的连接，并将多个相同用户域的连接进行合并多路复用，统一转发给源服务器(Origin Server)进行处理，在源服务器处理完数据后再转发给边服务器，再由边服务器转发给客户端用户[18]。Red5集群由源服务器和边服务器组成，架构图见图3。

图3　Red5集群架构

Edge Server的主要作用是用SimpleMRTMPEdgeManager管理连接，Edge Server上不需要部署服务；其监听客户端端口9035，此端口用于接收客户端请求，并向Origin Server取数据发送给客户端；Edge Server和客户端之间建立长连接，故有连接数限制。Origin Server监听9035端口等待边连接，一旦与边服务器连接后注册连接，将资源转发给Edge Server。

1.2基于SDN和NFV的直播集群整体架构

基于SDN和NFV的直播集群由采集设备、硬件编码器、SDN网络、NFV架构的云平台、Red5直播集群、接收用户6部分组成。整体架构如图4所示。

图4　基于SDN和NFV的Red5直播集群整体架构

如图4所示，摄像机采集节目后发送到硬件编码器进行压缩编码，硬件编码器经过SDN网络将直播数据推流到Red5直播集群，Red5直播集群的所有服务器由基于NFV架构的云平台虚拟实现，基于NFV架构的云平台可以按照直播服务所需划分虚拟机。采集的数据推流到Red5直播集群后发送到接收用户。

2　方案各模块实现

2.1节目数据采集设备和硬件编码器

数据采集设备主要是摄像机，摄像机采集节目数据后通过高清晰度多媒体接口(High Definition Multimedia Interface，HDMI)发送给硬件编码器。硬件编码器输入高清HDMI音视频信号，经ARM926EJ-S Core 600 MHz进行编码处理，经过C64x+TMDSP Cor2G DSP芯片压缩处理，输出标准的TS网络流，直接取代了传统的采集卡或软件编码的方式，采用硬编码方式，系统更加稳定，图像质量更好，由于支持移动推流，可以通过3G/4G网络快速地把高清视频上传至服务器。

2.2SDN网络

SDN控制器采用锐捷网络SDN控制器RG-SE04，RG-SE04支持ONF组织定义的业界通用的协议。利用Openflow协议进行流表下发，进而对网内所有支持SDN的交换设备进行控制。目前支持到最新的Openflow版本V1.3.1，并且向下兼容V1.0。锐捷SDN控制器内支持NFV功能，并且能够利用网络功能虚拟化技术将多个不同的网络设备提供的功能进行抽离，例如虚拟防火墙、虚拟应用网关等一起放入SDN控制器内部进行运行。SDN交换机采用锐捷网络RG-S6010-48GT4XS交换机，其支持Openflow v1.3协议。

2.3基于NFV架构的云平台

NFV技术就是将传统的CT业务部署到云平台上，通过实现网络设备的虚拟化(虚拟化实现软硬件分离)和云化(云化实现应用系统随业务量的伸缩部署和硬件资源的共享)，重新定义网络，实现开放、智能、敏捷。借助NFV，可改变传统网络的封闭特性，缩短业务创新周期、降低运营成本，实现从传统语音、数据流量业务向数字化服务的转型。基于NFV技术的云资源服务平台采用VMware Vcloud suite，计算资源平台采用12台DellPowerEdge G11 R815，网络资源平台采用支持Openflow的RG-S6010-48GT4XS交换机，存储资源平台采用IBM System Storage SAN Volume Contrller IBM Storwize V7000。4个平台整合在一起形成云平台，其负责划分Red5直播服务器。

2.4Red5直播集群的实现

大规模直播时，连接数众多，会增加服务器压力，导致服务器响应缓慢，此时需要许多直播服务器共同分流用户。基于边源模式Red5集群可以分流用户连接，其实现过程如下：

1)将所有的Server分别安装Red5软件，将安装好的Red5服务器划分为origin server与edge server。

2)配置edge server：对conf/ 目录下的red5-edge.xml，red 5-edge-core.xml进行配置，其应用于edge server的Spring bean 配置。通过配置reds-edge-core.xml中的mrtmpClient字段，来制定origin Server的地址和端口，即更新点到源服务。配置具体实现代码：

class="org.red5.server.net.mrtmp.MRTMPClient" init-method="start" >

然后使用red5-edge.xml把red5.xml替换掉[19]。启动服务./red5.sh。

3)配置origin server：打开 origin server 9035 端口，此端口用于边和源的连接。将origin server中conf/目录下的red5.xml替换为red5-origin.xml。

4)部署应用到origin server的webapps/，启动服务器./red5.sh。

3　方案的测试

3.1传统网络架构下并发性测试

测试设备选用普通千兆交换机和VMware Vcloud suite划分虚拟机(2台Red5 edge server、1台Red5 origin server)。测试server配置中，CPU为AMD Opteron Processor 6376，内存8 Gbyte。测试软件为LoadRunner。测试环境为同一个交换机下构建局域网测试，且多个用户同时请求服务。测试目的是测试Red5集群可承受的最大并发。期望结果是对客户端的请求随并发用户数的增加逐渐加快，到达一定峰值后不再上升，并开始下降。测试要素为并发用户数，并发时间是3 min。最大并发数测试结果如图5所示。

图5　传统网络结构下Red5集群并发图

3.2SDN架构下并发性测试

测试设备选用RG-SE04、RG-S6010-48GT4XS、VMware Vcloud suite划分虚拟机(其中2台Red5 edge server、1台Red5 origin server)。测试sever配置中，CPU为AMD Opteron(tm) Processor 6376，内存8 Gbyte。测试软件为LoadRunner。测试环境为SDN网络环境测试，且多个用户同时请求服务。测试目的为测试Red5集群的可负载的最大并发数。期望结果为对客户端的请求随并发用户数的增加逐渐加快，到达一定峰值后不再上升，并开始下降。测试要素是并发用户数，并发时间是3 min。SDN开启负载均衡下最大并发数测试结果如图6所示。

图6　SDN和NFV架构下Red5集群并发图

由前文3.1节与3.2节的最大并发性测试结果可知，在SDN和NFV架构下Red5集群最大并发数高于传统网络架构下Red5集群最大并发数。分析原因，传统网络架构下Red5集群负载均衡方式为网络共享式；基于SDN和NFV架构的Red5集群负载均衡方式可根据用户所需动态调整。

4　结论

为了提高直播系统并发性，将SDN和NFV架构应用到现有的集群系统，实现了基于SDN和NFV架构的直播集群。在实际测试中验证了基于SDN和NFV架构的直播集群的并发性能，说明基于SDN和NFV架构的直播集群是一种可行的提高并发性的方案。

[1]赵慧玲，史凡. SDN/NFV的发展与挑战[J].电信科学，2014(8)：3-18.

[2]李晨，段晓东，陈炜，等. SDN和NFV的思考与实践[J].电信科学，2014(8)：23-27.

[3]莫志超，张未展，王军，等.基于云计算的P2P流媒体服务器集群部署算法[J].计算机应用，2014(2)：365-368.

[4]孙名松，赵修娜，孙西贝，等.基于云计算的校园网视频直播系统设计[J].哈尔滨理工大学学报，2012(1)：58-62.

[5]贾士利.云计算在电视新闻直播技术中的应用探讨[J].广播与电视技术，2010(11)：28-33.

[6]李晨，段晓东，陈炜，等.SDN和NFV的思考与实践[J].

电信科学，2014(8)：23-27.

[7]郑梦青.基于SDN的3D视频编码与传输技术研究[D].北京：北京邮电大学，2015.

[8]沈跃辉.SDN网络平台面向组播业务关键技术的研究与实现[D]. 北京：北京邮电大学，2015.

[9]赵凯，焦建民，景云.流媒体集群并发技术在视频点直播系统中的应用[J].电子技术与软件工程，2015(6)：29.

[10]WANG Q，XU K，IZARD R，et al. GENI cinema: an SDN-assisted scalable live video streaming service[C]//2014 IEEE 22nd International Conference on Network Protocols (ICNP). [S.l.]：IEEE Computer Society，2014：529-532.

[11]陶智勇，高潮. 基于OpenFlow网络的流媒体传输QoS研究与设计[J].电视技术，2015，39(3)：133-135.

[12]LAI C F，HWANG R H，CHAO H C，et al. A buffer-aware HTTP live streaming approach for SDN-enabled 5G wireless networks[J]. IEEE network，2015，29(1)：49-55.

[13]UZAKGIDER T，CETINKAYA C，SAYIT M. Learning-based approach for layered adaptive video streaming over SDN[J]. Computer networks，2015，92(P2)：357-368.

[14]商宗海.基于SDN的流量负载均衡调度研究[D].合肥：安徽理工大学，2015.

[15]王雪伟. SDN北向接口技术发展[J].电信网技术，2015(4)：19-23.

[16]卜娜.SDN这一年[N].中国计算机报，2014-12-29(6).

[17]崔满柱. IP电话QOS的设计与实现[D].天津：天津大学，2003.

[18]可克.Red5边源服务器集群部署在线视频会议系统[EB/OL].[2015-12-22].http://blog.csdn.net/samxx8/article/details/7764252.

[19]Defonds.《Red5 用户参考手册》之十三：Red5 核心技术第六章 集群 [EB/OL]. [2015-12-22].http://blog.csdn.net/defonds/article/details/7795227.

胡国强(1981— )，硕士，工程师，主研计算机网络和机器学习；

陈书军(1977— )，博士，助理研究员，主研生态水文学和森林生态学；

李力(1963— )，硕士，教授，主要研究电子技术与软件工程。

责任编辑：许盈

Design and implementation of live broadcast clusters based on SDN and NFV

HU Guoqianga, CHEN Shujunb, LI Lia

(a.NetworkandEducationTechnologyCenter;b.CollegeofForestry,NorthwestA&FUniversity,ShaanxiYangling712100,China)

To solve the problem of poor concurrency performance of current live system and considering the rapid evolving of new network technologies such as SDN (Software Defined Networking) and NFV (Network Function Virtualization), the Red5 live broadcast cluster based on SDN and NFV technical framework is designed and realized with the technological advantages of live broadcast cluster taken into consideration. In addition, tests are conducted to compare the system performance of the designed cluster in real environment with that of the Red5 cluster constructed by traditional network. Test results show that the live broadcast cluster system designes boasts higher concurrency performance than the Red5 cluster constructed by traditional network.

SDN；NFV；Red5；live broadcast；clusters

TP393.02

A

10.16280/j.videoe.2016.09.007

陕西省自然科学基金项目(2014JM2-3029)

2016-02-23

文献引用格式：胡国强，陈书军，李力.基于SDN和NFV的直播集群设计与实现[J].电视技术，2016，40(9)：36-40.

HU G Q, CHEN S J, LI L. Design and implementation of live broadcast clusters based on SDN and NFV [J].Video engineering，2016，40(9)：36-40.