智能家居音视频质量评价方案研究与应用

袁小霞，杨 琛，黄 挺，孙 越，刘 超

（中移（杭州）信息技术有限公司，浙江 杭州 311121）

0 引 言

智能家居结合物联网、人工智能等技术，集成了家居生活有关的设备并升级，不仅可以远程控制设备，还可以对设备进行集中管理，保持实时通信和视频回看，创造了便捷、舒适、健康、安全、环保的智能居住环境。过去几年，由于疫情远程办公和居家娱乐的双轮驱动以及智能技术的加持，智能家居产品及服务广泛应用于智能家庭中。在智能家居设备中，音视频通话、视频监控查看和回放是产品的重点功能，但由于产品种类、形式和所处环境多样，以及复杂的网络环境，家居音视频质量无统一的评价标准。

在目前的音视频产品质量评价中，国内外主流评价方法分为主观质量评价和客观质量评价两种方法[1]。主观质量评价观察者根据预先规定的评价尺度或经验对待测图像给出质量判断，应用于各种静态和动态的场景，判断者对音视频质量给出平均意见分（Mean Opinion Score，MOS），但判断结果与判断者的经验有很大关系[2]。客观质量评价方法通过有参考、无参考或半参考的方法，采用专业测试设备，结合算法对图像视频质量进行评价，不受测试环境的限制，测试结果客观公正。但主观和客观质量评价方法都未考虑复杂网络场景对音视频产品质量的影响。文献[3]根据国际电信联盟无线电通信部门（ITU-Radiocommunication Sector，ITU-R）制定的主观视频质量评估标准，开发了基于MFC 的主观视频质量评估软件，同时研究了基于HVS 视觉加权的视频质量客观评估方法，在文献的两种评估方法中，测试指标MOS 没有考虑到帧率、冻帧、音画同步等其他指标对音视频质量的影响。

以用户满意度为标准的视频质量评价方法，主要采用基于服务质量（Quality of Service，QoS）[4]的评价方法和基于用户体验质量（Quality of Experience，QoE）的评价方法。QoS 从客观角度，只考虑音视频在网络层的时延、抖动、丢包等性能指标。QoE 是以用户为中心，反映的是用户对服务或产品的整体感受，包括对设备、网络、系统、业务质量、业务性能以及业务内容的综合评价，既要考虑主观因素，又要考虑客观因素，因此，QoE 是目前应用于音视频质量较全面的评价方法。

针对以上的问题和分析，结合智能家居音视频的质量要求，本文提出一种基于QoE 的针对智能家庭安防设备的音视频能力评价方案，根据不同的业务测试场景，考虑网络因素设计测试方案，同时研发适用于智能家居设备音视频能力评价的自动化测试工具，可以覆盖多场景的音视频质量测试。

1 音视频质量评价体系

智能家居业务场景的音视频质量测试，集合了行业PESQ、POLQA 等音频算法和PEVQ、NIQE等视频算法，音频参考MOS、时延、抖动等关键业务指标，视频通过全参考或无参考评分，参考MOS 值、帧率等关键业务指标，同时结合了专家打分、专家仪表和软件工具，构成一整套完整音视频质量评测体系，如图1 所示。

2 业务场景和网络方案设计

根据智能家居产品真实用户的网络使用场景分析，本文设计了适合智能家居设备的网络场景方案，如表1 所示。

表1 网络场景方案

通过以上分析，结合业务场景和网络方案，测试仪器采用思博伦网络损伤仪器Attero 和音视频质量测试设备Chromatic Umetrix，本文设计了针对智能家居设备音视频质量的业务场景和网络测试方案，架构如图2 所示。

图2 业务场景和网络测试组网

3 音视频质量评价模型

3.1 音视频质量评价指标

参考QoE 音视频质量评价方法，本文设计了音视频的客观测试指标，定义如下。

（1）MOS（GED）。GED（Gross Error Detection）提供基于帧的针对音视频业务质量的MOS 评分。GED 从用户感知角度对流媒体点播、音视频通话等音视频业务的音视频流畅度进行分析，通过计算获得整个音视频的MOS（1=差，5=优）。同时提供其他实用的KPI 指标，对影响音视频质量的因素进行量化，用来评估音视频流畅度性能、音频音视频同步（需要结合音频评估算法）等。

（2）MOS（NR）。MOS（NR）基于机器学习的人工智能（Artificial Intelligence，AI）无参考音视频图像质量分析，无须预设音视频源，模拟人眼对音视频图像质量进行MOS 打分（1 分=差，5 分=好），同时无参考检测音视频TI（Temporal Information）时间复杂度、SI（Spatial Information）空间复杂度、缓冲，卡顿等状况，结合各种指标如（不同压缩比及分辨率下）音视频图像质量MOS 分，给出一个用户感知体验（QoE）分值。

（3）帧率。音视频的帧率（Frame rate）是用于测量显示帧数的量度，一帧代表一副静止的图像，测量单位为每秒显示帧数（Frames per Second，FPS）。

（4）冻帧率。冻帧率即音视频冻屏百分比，通过测试过程中识别出的音视频画面冻结时长/测试音视频总时长得出。

（5）破损率。破损率即音视频破损百分比，通过测试过程中识别出的音视频画面破损帧数量/测试音视频总帧数得出。

三维激光扫描技术，是信息时代的新兴技术之一，最早不是我国研究开发的，而是由国外研究进行开发的。其主要仪器设备是三维激光扫描仪，结合激光测距的基本原理，采用伺服马达设备及扫描进，按照既定目标要求对有关的行业进行扫描和定位，进而根据流程获得纹理信息及三维坐标，最终充分体现出三维场景。

（6）音画同步。音画同步指音频与视频画面的时间戳一致性，测量单位为毫秒（ms）。

各个指标的计分方法和参考依据如表2 所示.

表2 音视频质量评价指标

3.2 音视频质量评分方法

根据上述关键指标，依据音视频流畅度、清晰度指标对实际音视频体验影响权重，得出最贴近用户真实体验的得分评价算法：

单个场景得分（总分10 分）=音视频流畅度得分（总分5 分）+音视频清晰度得分（总分5分）=MOS（GED）×20%+ 帧率×10%+ 冻帧率×10%+ 音画同步×10%+MOS（NR）×30%+ 破损率×20%；

综合得分（总分10 分）=无限制网络场景得分（总分4 分）+带宽限制网络场景得分（总分3 分）+拥塞网络场景得分（总分3 分）=无限制网络场景得分×40%+低带宽限制网络场景得分×15%+常规带宽限制网络场景得分×15%+轻度拥塞限制网络场景得分×10%+中度拥塞限制网络场景得分×10%+重度拥塞限制网络场景得分×10%。

3.3 评价算法分析

单个指标评分范围为[0，10]，8 ～10 分为优秀，6 ～8 分为良好，4 ～6 分为一般，2 ～4 分为差，2 分以下为很差。

单个场景得分中，音视频流畅度指标和音视频清晰度指标得分评分范围为[0，5]，4 ～5 分为优秀，3 ～4 分为良好，2 ～3 分为一般，1 ～2 分为差，1 分以下为很差[5]。

综合得分评分范围为[0，10]，8 ～10 分为优秀，6 ～8 分为良好，4 ～6 分为一般，2 ～4 分为差，2 分以下为很差。

4 系统设计和实现

4.1 系统设计与实现

通过以上研究，结合智能家庭安防设备的音视频能力评价方案，集成硬件测试设备网络损伤仪器Attero 和音视频质量测试设备Chromatic Umetrix 能力，本文设计了针对智能家居设备的音视频能力评价的自动化测试工具。本工具基于springboot+vue+mysql 实现用例管理、测试执行、测试结果自动获取和分析等功能，主要分为硬件层、服务层及网页层三层，如图3 所示。

图3 音视频质量评价自动化测试框架

硬件层由测试仪器及测试设备构成，硬件设备向外提供可扩展的应用程序编程接口（Application Programming Interface，API）和能力。通过对API和测试能力进行二次开发和封装，使得各硬件设备可实现远程自动化运行。

服务层基于springboot 框架开发，由多个负责解析和处理自动化测试参数、用例执行的jar 包组成，以对应的功能模块分为音频处理模块Voice.jar、视频处理模块Video.jar、网损处理模块Attero.jar 及设备处理模块Device.jar。测试管理控制节点（Controller）负责将所有测试指令进行整合分析，并有序地调度和分发给服务层的各处理模块。

网页层基于Vue 框架开发，主要提供自动化测试的图形化界面，给测试人员提供方便快捷的用例集管理、测试模型设置、测试用例配置、测试任务执行以及测试结果查看功能。其中，测试结果的保存和展示均通过数据库来进行存储和读取。网页层同时为音视频通信能力自动化测试提供浏览器访问网址，对音视频测试进行统一规范的测试管控，提供的服务能力为测试用例配置、测试任务管理、测试执行和结果自动分析并打分。通过前端界面（Web）模块的配置，测试任务及用例参数被下发至测试管理控制（Controller）模块，经过控制模块处理调度后将测试参数及指令通过HTTP 请求发送至后端测试能力集成（Server）模块。该模块通过调用经过二次开发和封装的各测试设备API 进行最终测试用例的执行，执行结果同步至数据库。Web 模块通过轮询数据库的方式获取测试进度并展示测试结果。

4.2 音视频质量测试结果与分析

为了验证评价模型，本文选取行业前三的智能家居摄像头产品，在模拟用户正常网络和损伤网络环境下，采用客观和主观的方法对产品音视频质量分别进行打分，表3 是部分测试数据统计。

表3 测试数据统计

在6 种网络场景下，客观测试结果与主观测试结果一致，说明本文提出的网络场景方案、评价指标和算法能够客观地对智能家居产品的音视频质量进行评价。

5 结 语

本文根据行业音视频质量评价标准和测试方法，建立适合智能家居设备的音视频能力评价方案，提出了适合智能家居设备音视频的6 种网络测试方案和6 个视频能力评价模型指标，填补了全面评价智能家居设备音视频质量的空白。同时，结合行业先进音视频质量测试工具，整合网络损伤仪，研发出多场景音视频自动化测试工具，通过简单操作用例管理和执行，即可自动设置网络损伤仪器的网络参数，通过选择测试类型自动化执行音视频质量评价测试，自动搜集测试结果并生成测试报告。通过评测给出真实、可靠的测试指标数据，适用于多场景的智能家居设备的音视频质量测试。