基于QoS量化用户体验质量的评价模型①

朱连章,李然然,张红霞,郭加树,张 泉

(中国石油大学(华东)计算机与通信工程学院,青岛 266580)

基于QoS量化用户体验质量的评价模型①

朱连章,李然然,张红霞,郭加树,张 泉

(中国石油大学(华东)计算机与通信工程学院,青岛 266580)

针对网络环境中业务供应商提供的业务不能很好的满足用户需求的问题,引入用户体验质量(QoE)并结合服务质量(QoS)参数,通过仿真网络得到相应数据,使用matlab工具分别建立用户体验质量与比特率、用户体验质量与丢包率的评价模型.运用统计分析方法对评价模型进行数据分析,并与史蒂文斯幂定律、韦伯-费希纳定律等模型进行对比验证.结果表明,构建的评价模型能更精确的体现用户体验质量与服务质量的关系,为供应商提供了重要的参考依据,并指明了服务方向.

体验质量;服务质量;评价模型;史蒂文斯幂定律;韦伯-费希纳定律

随着信息时代的快速发展,互联网中多媒体数量也在快速增加,在这种环境下吸引了越来越多的用户,同时造成多媒体业务提供商之间的竞争日益激烈,为了能在激烈的竞争中占得先机,提供商必须确保自己提供的业务得到用户的认可.由于互联网是一种尽力而为的(Best-effort)传输网络,在流媒体的传输过程中会丢包率、比特率的变化时有发生,这会使用户对业务的感知产生不利的影响[1].因此,提供商迫切的需要一种以用户认可程度为标准的业务的评价方法.

目前,采用最广泛的业务度量标准是服务质量(Quality of Service,QoS),这个标准也是最直接反映业务性能的指标,但人们逐渐发现这个标准仅仅反映了业务技术层面的性能,而且最终衡量业务品质的标准在于用户对业务的体验质量(Quality of Experience, QoE).QoE是用户对一个应用或业务整体可接受性的主观感受,包含整个端到端系统的影响和受用户主观期望值及所处环境影响的业务整体可接受性[2],它综合了业务层面、用户层面、环境层面的影响因素.直接反映了用户对业务的认可程度[3].由于用户是业务的支付者,所以他们对业务的满意度对每一位提供商都是至关重要的.QoE的本质就是关注用户使用业务的感受,目的是实现以用户为中心的管理[4],并且QoE的评价标准可以用五个级别进行划分,即优秀(excellent)、好(good)、一般(average)、差(bad)、极差(terrible).例如当用户看某新闻视频时,感到画面不清晰,则认为视频业务的QoE一般.

为了能够控制并促进用户对业务的满意度,必须找到一种可以用客观参数表示用户感知的关系.Hyun Jong Kim等人提出了一种在IPTV服务上提高QoE的解决方法[5],这种方法使用了网络层上的不同QoS参数.通过不同的QoS对QoE的影响把不同的权重分配给相对应的QoS参数,实验最后表明方法是非常有效的.例如:在视频流业务中丢包率和带宽扮演非常重要的角色,而VoIP确对延迟和抖动非常敏感.

目前针对QoE的研究多体现在QoS层面,较少考虑用户的主观感受.本文以视频流为例,综合考虑影响用户体验的技术因素与非技术因素,建立用户体验质量评价模型,将用户的主观感受与客观的网络因素(丢包率、比特率)进行联接,同时结合全参考的PSNR(Peak Signal to Noise Ratio,峰值信噪比)方法以及统计分析方法对视频质量及实验数据评估、拟合.业务提供者可以根据论文所提模型向用户提供高质量的业务,并且可以防止不必要的投资,增大提供商的效益.

1 相关工作

建立用户体验质量与服务质量模型的目的是为了用户能在业务提供者提供的海量业务中选择满足自身需求的业务.随着视频业务的多样化发展,网络业务种类不断增多,业务模式也日趋多样化,这就会影响用户对业务的QoE体验,同时会影响用户对互联网中业务的使用.影响QoE的因素有多种,大致可以分为主观因素和客观因素两个方面,如图1所示.根据不同的影响因素可以选择不同的评价方法.

图1 影响QoE的因素

近年来,针对QoE的研究颇受工业及学术界的关注同时也提出许多不同的评价方法.Andrew Perkis等人在测试用户对多媒体业务的体验时提出了QoE模型[6],这个模型对基于可测试及不可测试参数的QoE、QoS和业务方面提出了分类.论文将可测量的技术参数以及不可测量的主观用户参数(如用户对业务的满意度和态度)考虑在内,主观参数虽然不能测试但可以根据以往的经验方法进行量化.

Mok,Chan和Chang在HTTP视频流中对网络层QoS,应用层QoS和用户层QoS之间的关系以及这种关系如何影响QoE进行了研究[7].作者使用分析模型和经验评估确定了应用层QoS和网络层QoS的关系,然后执行主观评估,最后对QoS和QoE关联.分析的结果显示影响QoE主要因素是消除再缓冲的频率.

Hyun Jong Kim等人在论文中首先提出了计算QoS并能反映网络条件的公式[8],并根据这个公式建立QoE-QoS模型,计算IPTV中视频的QoE.论文实验部分选择使用全参方法(SSIM)测试视频质量,并与丢包率、抖动的关系表示出来.通过论文提出的模型,网络运营商可以防止不必要的投资以及网络的维护和修理.

互联网中业务质量的评价一方面受用户的主观影响,另一方面受QoS的影响.QoE是指用户对于业务质量的主观感受,并且以用户主观评价给出诸如“优秀、一般、差”等模糊语言值表达出来.QoS包含多种参数如丢包率、比特率等,论文选择这两种参数分别与QoE建立模型,同时用户参与仿真实验测试提高评价结果的可信度.

2 QoE-QoS评价模型

QoE是用户直接参与,对业务进行主观评价的方法,论文使用MOS(Mean Opinion Score)表示用户对业务的认可程度,根据用户对业务的不同感受分为五个层次,如用户观看足球比赛时,画面清晰,声音也没有延迟,则认为该业务良好,具体划分如表1所示.此量化方法较为细致的描述了用户的主观感受,是一种顺序量表法[3].但是只考虑主观的因素的评价方法需要的测试条件比较苛刻,并且测试的结果不具有实时性.QoS是服务的客观评价方法,包含多种参数,如丢包率、比特率、抖动、带宽等,但这种方法不能直观的反映用户对服务的满意程度.为了弥补两种方法的不足,论文将主观因素与客观因素结合,提出新的评价模型,提高用户的满意度以及业务的使用率,降低业务提供者的成本.

论文以视频的丢包率和比特率为例,根据实际生活经验对QoE和这两个QoS参数的关系提出两种评价模型,进一步对QoE量化.在同一实验环境中,用户的主观感受会随着QoS参数的变化而变化,如当视频在传输过程中的丢包率变大时,视频的质量相应就会变差,与此同时,用户观看视频的心情受到影响,给出的主观感受分数(MOS)相应变小.

表1 MOS评分等级

2.1 QoE与比特率

对于视频中比特率的原理与声音中的相同,都是指由模拟信号转换为数字信号后,单位时间内的二进制数据量,是衡量视频质量的一个重要指标.当比特率增大时,传送数据的速度越快,用户对视频感知质量越好,在这种背景下,我们假设当QoE比较小时,比特率增加一点,也会造成QoE(MOS取值)大幅度的增加.当QoE达到一定的值时,即使有很大的变化, QoE受到的影响也很微小.通过假设我们知道比特率与QoE的关系具有一定的正相关性,由此我们预测比特率与QoE的关系模型如公式(1)所示.

2.2 QoE与丢包率

目前应用的视频图像标准(如MPEG等)采用压缩编码的方式,由于编码中去掉了视频信息中的大量冗余信息,数据帧之间的相关性很大,关键帧(如MPEG中的I帧)数据包的丢失不仅导致本帧无法解码,而且会导致其它依赖帧(如MPEG中的P、B帧)也不能解码,即发生错误传递,从而严重影响视频图像的传输质量[9].根据经验当QoE比较高时,很小的丢包率都会对用户的感知造成明显地影响,降低MOS的取值.反之,当QoE比较低时,用户感知对丢包率的改变没有比较明显变化,MOS值基本不变,即两者的关系呈负相关性.由此我们预测丢包率与QoE的关系模型如公式(2)所示.

3 模型实现与验证

实验旨在评估视频流业务中不同QoS参数对用户体验质量的影响,提高用户对业务的满意度.通过实验得到的数据,对两种评价模型进行验证并在实验中选择最普遍、最广泛使用评鉴画质的PSNR对视频的质量客观评估,最后PSNR的结果再转化为MOS[10].

3.1 实验环境

本文实验环境根据ITUP.910[11]标准设置,测试环境包括客户端、视频流业务器和网络仿真器,如图2所示.实验运行在i5 2.4Ghz处理器,4GByte内存的Windows 7环境下,并且统一使用火狐浏览器.测试者依据ITU-R BT.500-11[12]制定的条件进行选择,并且测试者不能对图像或视频质量这方面领域非常了解,因此选择非专业人士作为测试者[13],选择的测试者包含10个女生和15个男生,平均年龄在22-30岁之间并且都是学生.

图2 实验设置

实验的主要目的是验证上节提出的QoS参数(比特率,丢包率)与QoE预测模型.其中参数对用户主观感受的影响用MOS表示.QoS参数的取值分别为:比特 率 (100,300,400,600,700,800(kbps))、 丢 包 率(0,1,3,7,10,15(%)).

3.2 验证评价模型

3.2.1 验证QoE与比特率的模型

首先,对不同的比特率进行测试,25位测试者观看相同比特率的视频,他们根据主观感受和对视频的容忍度给出相应的分数(分数取值为1-5,如表1所示),我们把得到的分数相加再取平均数,得到某一比特率下相应的MOS值,同时计算出相同比特率的PSNR.根据不同比特率取值得到测试者的平均MOS及PSNR,在matlab中把得到的MOS与比特率进行拟合,结果如图3所示.

图3 QoE与比特率拟合曲线

实验中我们对数据在置信区间为95%的前提下分别进行了幂函数和对数拟合,得到回归方程以及方程所对应的拟合优度误差平方和SSE、均方根误差如表2所示.

3.2.2 验证QoE与丢包率的模型

由上节对视频丢包率的介绍可知,丢包率是衡量一个频质量的重要指标.丢包率的测试条件以及计算过程和比特率相同,把得到的数据在matlab中进行拟合,结果如图4所示.

表2 QoE与比特率拟合所得回归方程及各参数

图4 QoE与丢包率拟合曲线

根据数据在matlab中对QoE和丢包率进行拟合,得到回归方程以及方程所对应的拟合优度、误差平方和SSE以及均方根误差RMSE(置信区间为95%)如表3所示,同时对两个参数所得MOS与PSNR对应的值在matlab中连接并拟合,结果如图5所示.说明客观评价方法PSNR与主观感知的关系呈正相关性.由表3数据比较可得,指数回归更适合QoE与丢包率的关系.对数据拟合过程中,一元多项式得到的拟合优度会大于指数的拟合优度,但当大量的数据出现时,丢包率增加到一定的程度,MOS的值只会无限接近于1或者等于1,在这种情况下一元多项式并不适合,所以最终选择指数回归模型作为QoE与丢包率的关系模型并初步验证了公式(2)模型的有效性.

表3 QoE与丢包率拟合所得回归方程及各参数

3.2.3 与现存模型比较

Khalil ur Rehman Laghari等人用视频感知质量(PVQ)表示测试人员对测试视频的主观评价[14].根据实验数据针对QoE与比特率的关系得出对数模型,把该模型与本文的幂函数模型进行比较如表4所示.

表4 幂函数模型与对数模型比较

由表4可知本文针对比特率提出的评价模型的拟合优度大于文献[14]对数的拟合优度,说明幂函数模型更适合描述QoE与比特率的关系.

Sajad Khorsandroo等人[15]根据心理学规律对QoE和QoS(丢包率)的关系进行量化,同时解释了两者的相关性.论文针对视频流的丢包率分别选择了两种模型:史蒂文斯幂定律和韦伯-费希纳定律,如公式(3)和(4)所示.

文献[15]根据实验数据得到QoE与QoS(丢包率)的回归方程,以及拟合优度2R.将两种回归模型与本论文针对丢包率得到的指数模型进行比较如表5所示.

表5 指数模型与对数、幂函数模型比较

由表5可知,论文针对丢包率提出的指数评价模型的拟合优度高于史蒂文斯幂定律和韦伯·费希纳定律的拟合优度,说明本文所提模型更适合描述QoE与丢包率关系.以上两种比较证明了本文所提评价模型的有效性.业务提供商可以根据这种模型向用户提供更优质的服务,同时减少了服务维护的费用.

论文结合了主观QoE和客观QoS建立评价模型,充分考虑用户的主观体验,从用户角度分析不同因素对业务使用频率的影响.客观QoS虽然能直接反映业务性能,但这个标准仅仅反映了业务技术层面的性能忽略了业务的品质要求.通过对QoE与QoS建立模型同时解决了业务技术层面和品质的要求,并且很好的从用户角度分析业务的使用情况,为业务提供商提供了明确方向.

4 结语

随着网络环境中多媒体数量的增加,业务使用者即用户的数量也急剧增加,在这种背景下,用户对多媒体的主观感受被凸显出来.业务提供者以及供应商想要自己提供的业务能大量的使用,就需要了解用户主观感受与网络环境存在的关系.

论文分别对网络层QoS的两个参数(丢包率和比特率)提出两个量化QoE的评价模型:指数回归方程和幂函数回归方程,通过仿真实验平台得到的数据对用户主观感受(MOS)和QoS参数进行拟合回归,在置信区间为95%的前提下分别得到两个模型的拟合优度0.982、0.999,最后分别与现存的模型比较,解释了QoE与丢包率、QoE与比特率的关系并验证了两个预测模型的有效性.论文模型结合了主客观因素,提高了模型的评价结果质量,但相应的增加模型实现的成本及运算速度等,未来的工作是在大量的数据下寻找新的通用的回归方程,在多个QoS参数的情况下更全面的解释QoE与QoS的关系,同时寻找一个更高效的评价模型,提高用户的满意度以及业务的使用率同时能减少模型实现的成本.

1张大陆,祝嘉麒.网络传输中IPTV的QoE评估模型的研究.计算机工程与应用,2013,49(20):71–76.

2金渝,李校林,李雪松.用户体验质量评估模型及KQI权重计算方法.计算机工程,2013,39(2):311–316.

3林闯,胡杰,孔祥震.用户体验质量(QoE)的模型与评价方法综述.计算机学报,2012,35(1):1–15.

4陆芸婷,李振军.基于用户满意度模型的云计算QoE评价方法.计算机与数字工程,2014,(4):551–554,600.

5 Kim HL,Choi SG.A study on a QoS/QoE correlation model for QoE evaluation on IPTV service.2010 The 12th InternationalConference on Advanced CommunicationTechnology(ICACT).IEEE.2010,2.1377–1382.

6 Perkis A,Munkeby S,Hillestad O I.A model for measuring quality of experience.Signal Processing Symposium,2006. NORSIG2006.Proc.ofthe7thNordic.IEEE.2006.198–201.

7 Mok RKP,Chan EWW,Chang RKC.Measuring the quality of experience of HTTP video streaming.2011 IFIP/IEEE International Symposium on Integrated Network Management(IM).IEEE.2011.485–492.

8 Kim HJ,Choi SG.QoE assessment model for multimedia streaming services using QoS parameters.Multimedia Tools andApplications,2014,72(3):2163–2175.

9杨宗凯,彭杰,余江.实时视频通信中的自适应前向纠错方案设计.计算机工程与科学,2007,29(8):43–45.

10 ITU-T.P800.1.Mean Opinion Score(MOS)terminology, Geneva.2006,7.

11 ITU-T P.910.Subjective video quality assessment methods for multimedia applications.1999,9.

12 ITU-R BT.500-11.Methodology forthe subjective assessment of the quality of television pictures.2002,10.

13 Mushtaq MS,Augustin B,Mellouk A.Empirical study based on machine learning approach to assess the QoS/QoE correlation.2012 17th European Conference on Networks and Optical Communications(NOC).IEEE.2012.1–7.

14 Issa O,Speranza F,Falk TH.Quality-of-experience perception forvideo streaming services:Preliminary subjective and objective results.Signal&Information Processing Association Annual Summit and Conference (APSIPAASC),2012Asia-Pacific.IEEE.2012.1–9.

15 Khorsandroo S,Noor RM,Khorsandroo S.The role of psychophysics laws in quality of experience assessment:a video streaming case study.Proc.of the International Conference on Advances in Computing,Communications and Informatics.ACM.2012.446–452.

Evaluation Model of Quantitative QoE Based on QoS

ZHU Lian-Zhang,LI Ran-Ran,ZHANG Hong-Xia,GUO Jia-Shu,ZHANG Quan

(College of Computer&Communication Engineering,China University of Petroleum,Qingdao 266580,China)

In view of the problem that service from provider cannot meet the needs of the users in the network environment,this paper introduces the Quality of Experience(QoE)and Quality of Service(QoS)parameters.Through simulation network,the corresponding data are obtained.And two evaluation models(QoE with bit rate and QoE with packet loss rate)are established by using MATLAB tools.Analyzing the data of evaluation models with statistical analysis method,the model is verified by comparing with Stevens’Power Law model and Weber-Fechner Law model. The result shows that the evaluation models can precisely express the relationship between QoE and QoS,and it can provide the direction of service and an important reference for the service providers.

QoE;QoS;evaluation model;Stevens’power law;Weber-Fechner law

山东省优秀中青年科学家科研奖励基金计划(BS2014DX021)

2016-08-31;收到修改稿时间:2016-10-10

10.15888/j.cnki.csa.005752