基于云通信的媒体自适应技术

郭水平，李庆

（中国电子科技集团公司第七研究所，广东 广州 510310）

基于云通信的媒体自适应技术

郭水平，李庆

（中国电子科技集团公司第七研究所，广东 广州 510310）

云通信系统在移动互联网中应用，受到无线网络环境的影响，容易出现网络带宽低、时延、丢包和网络抖动等问题，导致音视频通话经常出现卡顿、马赛克，甚至中断等情况，使云通信系统可用性下降，因此研究媒体自适应性技术，一方面使音视频流媒体自适应网络带宽，另一方面采用智能抗丢包技术最大限度恢复媒体数据包。经过试验验证，该技术在不稳定传输环境下，音视频通信的可用性显著提高，并且在网络丢包为20%或网络抖动为1000 ms时，音视频通话也能清晰流畅。

云通信 媒体自适应 抗丢包 抗抖动

1 引言

近年来，随着移动互联网时代的来临以及云计算技术的兴起，统一通信开始与云计算融合，形成了云通信技术。云通信是一个PaaS（Platform as a Service，平台即服务）通信平台，通过将复杂的通信功能封装成SDK和API接口，为企业及移动互联网用户提供即时通信、音频、视频、会议、呼叫中心、短信、流量等通信能力及服务。

云通信面向的用户群体很大一部分是移动用户，通过3G/4G无线网络与系统互联，无线网络传输容易受到干扰导致传输质量下降，使得音视频通话质量下降。因此，为提高音视频通话在云通信环境的抗干扰性能，需要研究云通信媒体自适应技术。首先，梳理云通信环境中存在的主要问题；其次，针对这些问题，优化音视频媒体编码、解码和传输策略，重点研究自适应网络带宽和智能抗丢包技术；最后，实现原型系统，搭建验证环境，并通过实验结果进行验证。

2 影响通话质量的主要因素

音视频通信是云通信的基本业务，影响音视频通话质量涉及通信网络的主要因素包括：

（1）带宽

相对于有线传输网络，3G/4G无线网络带宽有限，而音视频通话需要传输流媒体数据，带宽的大小直接影响流媒体传输质量，从而影响音视频通话质量。

（2）延时

数据包在网络中传输需要经过众多的网络设备处理，必然产生延时。然而，音视频通话实时性要求很高，当延时超过一定程度，用户会立即感到有滞后，甚至明显感觉到停顿，影响主观体验。

（3）抖动

网络抖动是指网络时延忽大忽小的程度，也就是说流媒体到达用户终端时忽快忽慢。对于无线网络，由于受到基站故障、弱覆盖、无线干扰、重叠覆盖等因素影响，抖动不可避免。当抖动较大时，流媒体无法按时到达用户终端解码器，解码器要么进行长时间缓存，要么丢弃后面的媒体数据。缓存引起延时增大，丢弃则引起主观丢包，都会影响影视频通话质量。

（4）丢包

网络丢包在IP网络中很常见，丢包率是丢失报文和实际发送报文的百分比。网络丢包直接导致音视频流媒体数据丢失，使视频图像卡顿、马赛克，音频断续、失真等，严重时导致音视频通话中断。

以上是影响音视频通话质量的主要网络因素，尤其是在无线网络环境更为明显。

3 媒体自适应技术

云通信本质是VoIP通信，IP网络采用尽力而为的方式，是为传输数据业务而设计的，并没有为传输高实时性的音视频流媒体提供更多的服务质量保障策略。因此，必须要解决视音频数据实时传输过程中的延时、抖动和丢包等问题。VoIP音视频通话是采用RTP（A Transport Protocol for Real-Time Application，实时传输协议）来传输流媒体数据的，流媒体数据包括音频数据流和视频数据流，音视频数据流采用标准的媒体编解码算法获得。因此，媒体自适应性技术针对云通信网络的主要问题，从流媒体数据大小控制和编解码自恢复等方面入手，包括自适应网络带宽技术和智能抗丢包技术。

3.1 自适应网络带宽技术

自适应网络带宽技术是指视频分辨率、帧率和编码速率（简称“码率”，即视频编码采样速率）自适应当前网络带宽。当视频通话占用带宽高于当前网络带宽时，会引起数据堆积，使得网络拥塞，加剧网络丢包和网络抖动，导致视频通话卡顿或马赛克越来越严重。自适应网络带宽技术通过动态控制视频通话的流媒体数据量大小来避免网络拥塞，减缓丢包等情况，使得视频通话保持流畅。当通话带宽高于网络带宽一定的阀值时，适当降低码率、帧率和分辨率，使得通话带宽降低到网络带宽之下；当通话带宽低于网络带宽一定的阀值时，提高分辨率、帧率和码率，使得通话带宽接近网络带宽，直到视频通话回到初始的分辨率、帧率和码率。自适应带宽原理如图1所示：

图 1 自适应带宽原理

自适应网络带宽技术主要包括两个方面，一是网络状态信息获取，二是根据网络状态信息调整发送端的视频编码参数，包括码率、帧率和分辨率。网络状态信息获取主要是丢包率和网络抖动信息获取，丢包率可以从接收到的流媒体数据包中的RTCP（Real-time Control Protocol，实时传输控制协议）数据报文，根据预期间隔收包数和实际间隔收包数计算获得。网络抖动也可以从RTCP报文中计算获得。视频编码参数调整是根据获取的网络状态信息调整发送端的视频编码参数，包括码率、帧率和分辨率，缓解网络拥塞或尽可能大地利用网络资源以适应当前网络的传输带宽。在实现上，根据网络丢包率和抖动设置一定的阀值，当阀值在某个区间变化时动态地依次调整帧率、码率和分辨率，直到丢包和抖动缓解。实现原理的结构框图如图2所示：

图2 自适应码率控制原理图

视频编码参数的频繁动态调整会导致视频图像质量时高时低，带来不好的用户体验。在实际应用中，丢包率和抖动越界阀值和视频编码参数调整的幅度需要根据大量的实验结果进行设置。

3.2 智能抗丢包技术

业绩通常采用ARQ（Automatic Repeat Request，丢包重传）、FEC（Forward Error Correction，前向纠错）、PLC（Packet Loss Concealment，丢包隐藏算法）技术来提高音视频网络传输抗丢包性能。这种抗丢包技术存在以下缺点：

（1）抗丢包性能有限

一般丢包率小于5%时，视频通话效果可以得到很好的恢复；超过5%，效果不理想。

（2）增加冗余数据

前向纠错FEC技术要求在编码时增加冗余编码数据，解码时根据冗余数据恢复丢失的码流，这样必然会增大视频通话带宽，视频通话质量也会在一定程度上下降。

（3）增加额外时延

丢包重传ARQ技术虽然提高了视频码流的发送成功率，但同时也降低了视频码流发送的实时性，增加了时延，加剧时延抖动。而且，当大范围丢包时，丢包重传技术对视频通话效果没有帮助。

基于以上缺点，本文提出智能抗丢包技术，对传统抗丢包技术进行改进，主要包括智能传输校验纠错和智能跨段校验纠错：

（1）智能传输校验纠错

智能传输校验纠错技术是在音视频数据包网络传输时，针对某一时间片段的数据包，通过校验算法生成传输校验数据包，与校验包一并传输到接收端，网络丢包时，根据校验包和校验算法恢复丢失的数据包。这种纠错技术，在时间片段内丢失一两个包时能全部恢复，大于两个丢包时也能恢复到90%左右。而且，根据不同的丢包率可以智能适配不同的校验算法，最大限度地恢复丢包数据。

与前向纠错FEC技术相比，该技术不需要额外生产冗余编码帧，数据量大大减小，不会占用过多的网络带宽。

（2）智能跨段校验纠错

智能跨段校验纠错技术主要是在智能传输校验纠错技术的基础上，实现恢复跨时间片段丢失的多个数据包。以单位时间片段的数据作为基础数据，对连续多个时间片段基础数据生成跨段校验数据包。当某一时间片段数据完全丢失时，可以利用前后片段数据和校验包及相应算法进行部分恢复。

综上所述，智能抗丢包技术利用传输校验来最大限度地恢复丢失的数据，带宽额外开销小，抗丢包范围更大。音视频通话的抗丢包性一般可以从传统的5%提高到20%。

4 试验验证

试验验证的重点是验证视频通话采用媒体自适应技术前后对比情况。搭建试验验证环境时，需要模拟云通信系统的软交换设备1台、手持终端2台、无线网络模拟器1台、Wi-Fi路由器1台，如图3所示。通过无线网络模拟器模拟不同带宽、丢包和抖动情况。

图3 验证环境示意图

首先，验证不同网络带宽情况，设置视频编解码H.264，初始视频分辨率为720P，初始帧率为30帧，初始带宽限制为2 Mbit/s。测试结果如表1所示。

经过验证，在一定的网络恶化条件下，自适应网络带宽可以解决视频卡顿和马赛克的情况，网络恶劣时，视频的清晰度会有一定的下降，但依然流畅。

其次，验证抗网络丢包视频通话情况，设置视频编解码H.264，初始视频分辨率为720P，初始帧率为20帧，带宽限制为2 Mbit/s，在不同丢包率条件下的测试结果如表2所示。

经过验证，采用抗丢包技术，丢包20%时，视频通话依然流畅。

最后，验证抗网络抖动视频通话情况，设置视频编解码H.264，初始视频分辨率为720P，初始帧率为20帧，带宽限制为2 Mbit/s，在不同网络抖动条件下的测试结果如表3所示。

表1 自适应网络带宽测试结果

表2 抗网络丢包测试结果

表3 抗网络抖动测试结果

经过验证，采用抗丢包技术，网络抖动1 000 ms时，视频通话依然流畅。

5 结束语

本文分析了云通信系统网络环境特点及影响音视频通信可用性的主要问题，针对这些问题，提出了媒体自适应性解决方案，包括自适应网络带宽技术和智能抗丢包技术，并进行了试验验证，验证结果显示，采用媒体自适应性技术极大地提高了云通信音视频通话可用性。

随着移动互联网和云通信技术的发展，VoIP音视频通信技术的高可用性问题越来越受到重视，是现阶段及未来云通信技术研究的主要课题。毫无疑问，媒体自适应技术是提高云通信主要途径之一。

[1] Kazuhiro Morita. A Cloud Based Communication System for Elders Using Dialogue Control[J]. Jun-ichi Aoe Journal of Software, 2014,9(8).

[2] 3GPP TS 24.229. IP Multimedia Call Control based on SIP and SDP[S]. 2013.

[3] RFC 3605. Real Time Control Protocol(RTCP)[R]. 2003.

[4] 王晶晶,杜晓娟. 浅析云通信系统现状与发展[J]. 中国新通信, 2014(3): 1.

[5] 冷波. 流媒体自适应传输的研究与实现[D]. 武汉: 武汉理工大学, 2007.

[6] 毛志侠. 一种自适应流媒体数据传输包的设计与实现[D]. 湘潭: 湘潭大学, 2005.

[7] 张淼. 基于RTP的流媒体自适应QoS传输技术的研究与实现[D]. 沈阳: 东北大学, 2008.

[8] 韩礼国,才书训. 流媒体QoS端到端自适应控制策略综述[J]. 计算机技术与发展, 2006,16(11): 246-249.

[9] 周训宙. 自适应流媒体传输技术分析与研究[J]. 互联网天地, 2013(7): 16-20.

[10] 李争明,张佐,叶德建. 自适应流媒体传输方案研究及其应用[J]. 计算机工程, 2006,32(12): 226-228.

[11] 李如玮,鲍长春. VoIP丢包处理技术的研究进展[J]. 通信学报, 2007,28(6): 103-110.

[12] 苏春梅. 中兴通讯视频会议系统QoS解决方案[J]. 中兴通讯技术, 2015(11).

[13] 滕江. 移动流媒体QoS指标测量与分析[D]. 北京: 北京邮电大学, 2007.

[14] 李平. 自适应传输的无线视频监控系统的研究与设计[D]. 武汉: 武汉理工大学, 2014.

[15] Evsqiezi. 常用的音视频QoS保障技术[EB/OL]. (2016-08-19)[2017-05-11]. http://www.cnblogs.com/5iTech/articles/5788497.html. ★

Media Adaptation Technology Based on Cloud Communications

GUO Shuiping, LI Qing
(China Electronics Technology Group Corporation NO.7 Research Institute, Guangzhou 510310, China)

Affected by the wireless network environment, the applications of cloud communication systems in the mobile Internet are prone to the low network bandwidth, delay, packet loss and jitter. The resulting slowness, mosaic and interruption of voice and video calls lead to the degradation of cloud communication systems. Therefore, the media adaptation technology was investigated to make voice and video fl ow media adapt to the network bandwidth and recover media packets using the smart anti packet loss technique to the maximum extent. Experiments veri fi ed that the technique guarantees the high availability of voice and video communications in the environment of the unstable transmission, and the voice and video calls are clear and fl uent in the case of 20% of packet loss ratio or 1000 ms of jitter.

cloud communications media adaptation anti packet loss anti-jitter

10.3969/j.issn.1006-1010.2017.21.008

TP915.6

A

1006-1010(2017)21-0037-05

郭水平,李庆. 基于云通信的媒体自适应技术[J]. 移动通信, 2017,41(21): 37-41.

2017-05-11

黄耿东 huanggengdong@mbcom.cn

郭水平：硕士毕业于华南理工大学，现任职于中国电子科技集团公司第七研究所，主要研究方向为融合通信系统、云通信系统。

李庆：硕士毕业于中山大学，现任职于中国电子科技集团公司第七研究所，主要研究方向为网络通信系统。