基于日志分析的移动应用可用性综合评估体系的研究

吕树华，吴伟明，谷勇浩

(北京邮电大学 计算机学院，北京 100876)

基于日志分析的移动应用可用性综合评估体系的研究

吕树华，吴伟明，谷勇浩

(北京邮电大学 计算机学院，北京 100876)

移动应用已经成为人们日常生活中不可缺少的部分，可用性成为影响移动应用竞争力的主要因素，也是目前移动应用中一个突出问题。可用性是判断产品好坏的一个核心要素，如果一个产品的可用性评价得分很高，那么极有可能会为企业带来庞大的用户量，采用合适的方式变现就可以实现经济效益，因此如何提高产品的可用性对于企业来说极其重要。移动应用可用性评价的关键是建立一套合理、完善的评价指标体系。本文首先对常用的指标体系进行了比较分析，然后针对移动应用便携性的特点，提取本文所需要的指标与测度参数，建立移动应用的可用性指标体系，最后通过日志分析和数据挖掘等方法完成移动应用可用性的评价研究。

数据分析；可用性；日志分析；便携性

本文著录格式：吕树华，吴伟明. 基于日志分析的移动应用可用性综合评估体系的研究[J]. 软件，2016，37（11）：138-141

0 引言

随着智能手机和3G的广泛普及，全球移动互联网趋势正日益升温，世界上越来越多的人正通过移动终端接入互联网，至2015年中国移动互联网用户数达到7.9亿，预计到2018年中国移动互联网用户规模将达到8.9亿人。移动互联网凭借着其社交化，本地化和移动化的特性，已经渗透到人们生活、工作的每个角落，目前苹果公司宣布Apple Store的应用程序过700000个，而GooglePlay的应用程序也超过675000个移动应用。人们利用这些应用程序可以进行社交，如微博，微信等;可以进行导航，如

百度地图，高德地图等;可以进行影视娱乐，如优酷，豆瓣电台等;可以玩游戏，如愤怒的小鸟，切水果，植物大战僵尸等;可以进行网购，如淘宝，京东，美团等;可以指导健康运动，如咕咚运动，小米运动等，它们已经遍及吃穿住行玩各个方面。但是同时，移动应用之间的同质化越来越明显，移动应用之间的竞争趋于白热化，如何根据用户行为及时对移动应用进行合理的改进，提高移动产品的可用性，成为了各大企业专注的事情。

手机可用性研究源自于网站可用性研究，就像网站可用性研究源自于软件系统应用一样，手机可用性、网站可用性研究、软件系统应用可用性研究的本质都是可用性研究，只是载体和硬件的变化，使得可用性有了个性化的特征本文采用定性与定量相结合的研究方法，本文对前人研究中采用的可用性评价指标进行分析，提取本文所需要的指标与测度参数，定性完成评价模型的建立，然后通过提取日志文件里的数据，通过数据挖掘的方法完成产品可用性的评价研究。本文的可用性评价研究是基于自动评价的理念，所有的数据源来自于移动应用产生的用户日志，通过日志数据与可用性评价指标的关系映射，对产品的可用性进行评价，对于可用性评价方法的探索具有指导意义。

1 现有的可用性评估标准及评估方法

可用性研究源于20世纪70年代的软件工程领域，但是后来被广泛运用到其他领域，这样导致对可用性的研究呈现多样化的特点。直到现在，学术界和业界对可用性的定义也不统一，不同领域的专家和组织给出了不同维度和标准。

1.1 国际标准ISO 9241-11

国际标准ISO9241-11对可用性的定义是：产品在特定使用环境下为特定用户用于特定用途时所具有的有效性（effectiveness）、效率（efficiency）和用户主观满意度（satisfaction）[1]。这是依据1985年计算机的技术水准和设计思想设计的。主要存在以下问题：1.把“效率”和“有效性”作为标准是以“机器为本”的观念。2.把“有效性”作为标准是受当时计算机较低技术水平的影响。3.把“满意度”作为标准缺乏心理学依据，出现对满意度的各种不同的解释，迄今在心理学中缺乏定义和试验研究。4.从心理学的时代背景来看，20世纪70年代行为主义心理学被认知心理学取代，1985年动机心理学建立了行动模型，该标准反映了从“技术为本”向“以人为本”的过渡。5.可用性的各个因素彼此相关。导致设计人员无法判断问题原因，无法改进。对可用性的这 3条标准没有给出明确的评估方法，仅是通过案例，说明具体评估中对可用性是如何考虑的[2]。

国际标准ISO9241-11规定了用户界面的7条设计标准及54条设计指南。德国若干研究机构依据这7条标准建立固定问卷对用户进行测试。这类问卷效度较低，主要存在的问题是这些标准是“以设计人员为本”的体现。

1.2 Schackel和Nielsen可用性标准

1980年以来西方若干国家（爱尔兰、美国、德国等）的大学或研究机构都建立可用性调查结构框架。这些标准依据不同于上述2种国际标准的因素结构。Schackel将可用性分为4个因素：有效性、可学性、灵活性、态度[3]。他认为可用性评估方法是测试用户通过学习而掌握的操作特性，不是界面适合用户的程度。Nielsen认为可用性分为5个因素：可学习性、效率、可记忆性、出错、满意度[4]。依据此因素结构，他提出了专家评估，经验用户测试等可用性评估方法。这些主要是“以人机学专家为本”的可用性标准和评估方法，不适合用户的操作过程和评价过程。造成这种局面的主要原因在于：前期设计中建立用户模型时所采用的理论依据是心理学，不同于可用性评估中所采用的理论依据——人机工效学，这种矛盾可能会给设计与评估造成冲突。

1.3 手持移动设备的可用性评估标准

针对手持移动设备，已经总结了许多可用性设计指南：比如苹果公司的人机界面指南，Shneiderman的设计八原则，黑莓的界面开发者指南 ，诺基亚的40系列、60系列、90系列开发指南[5]，Symbian的用户界面风格指南。这些可用性标准的共同特点是，以“设计人员或人机学专家为本”，并没有从根本上形成“以用户为本”的可用性测试体系。这些界面设计指南为设计人员从事界面开发提供了指导依据，但无法作为可用性评估的依据。

1.3 现有的可用性评估方法

现有的可用性评估方法已超过20种，大致分为测试、询问和检查这3类方法。传统方法多为实验室环境下的评估，包括：绩效测量法、认知走查法、启发式评估、有声思维、清单核查法、实验室观察和问卷测试等。这些方法都有各自特点，每一种方法都不能完全胜任可用性评估的全部要求。

2 适合移动应用的可用性指标体系

与台式机和笔记本相比，移动设备的最大特点就是高便携性，这个特点决定了，使用移动设备上网，可以带来无可比拟的优越性，即沟通与资讯的获取远比台式机和笔记本方便。由于在移动情境下用户的移动性、周围环境的干扰以及多任务手机设置中对资源的竞争等因素都会影响系统的可用性，因此不能把传统的可用性研究框架和方法简单地复制到移动系统可用性研究中。

根据前文介绍的内容，结合移动系统的应用环境和具体特征，本文提出了适合移动应用系统可用性评估维度，如下图所示：

图1 可用性评估维度

需要特别说明的是，将认知负荷[6]作为可用性评估维度的一个方面，简单的说，人对事物和问题的认知是要消耗资源的，而且认知需要消耗的资源是有上限的，如果超过了这个上限，资源就出现不足，进而影响认知结果。前文提到移动设备的最大特点就是高便携性，基于这个原因，考虑用户使用移动应用时进行的这些附加任务的影响是非常重要的。例如，一个用户可能希望在步行时发送一个文本消息，在这种情况下，用户的步行速度将减少，因为他们专注于发送的信息，这会影响他们的步行。

在传统的可用性研究中，常见的假设是用户仅执行单个任务，因此可以完全集中于该任务。在移动上下文中，除了使用移动应用之外，用户还将经常执行其他动作。在这种情况下，移动应用所需的认知负荷对其他任务的影响可以视为该移动应用可用性的一个体现，因此非常重要。可以测量的一种方法是通过NASA任务负载指数[7]。这是一种用于通过使用系统来测量对用户施加的认知工作负载的主观工作负载评估工具。在本文中，我们采用相对简单的认知负荷的观点。 为了更准确的评估，最好采用更强大的多因素方法，但这超出了本文的范围。

结合本文提出的可用性评估维度，进而提出了适合移动系统可用性测量的指标体系，主要指标及所占权重如表1所示：

表1 测量指标

表1中仅仅列出了主要的指标，这里的各项指标均可来源于实际用户的日志数据，所以说这是一种“以用户为本”的评估体系。

3 可用性的评估

根据上一部分所提出的可用性指标体系，可构建完整的评估系统，整体结构如下图所示：

图2 整体结构图

3.1 日志的产生

在应用中进行埋点，即在正常的功能逻辑中添加统计逻辑，在合适时间把统计信息传给后台，以获取各种指标的日志信息。比如在Android应用中，访问量通过设备的DeviceID来获取，崩溃信息通过在UncaughtExceptionHandler中上传崩溃日志信息来获取，用户访问路径可以在用户访问页面时在Activity的生命周期回调函数如onResume()中记录页面ID然后应用退出时统一传给后台服务器。

3.2 日志的分析

根据可用性测量的指标体系，将移动应用的总分设为100分，各项具体指标可以从用户日志中得以体现，分析日志最终根据各项指标的权重给出每项指标的分值，然后汇总得出最终的一个可用性分值。

除了用户路径行为分析，其他的指标可以从日志中进行统计得出，研究用户路径行为是非常重要

的，路径分析可用于监测与优化各模块的转化率，有助于优化与改进产品设计，是一个非常重要的指标，本文采用关联规则算法对用户路径行为日志进行关联规则挖掘，挖掘用户的频繁访问模式，从而可以分析是否符合应用设计的预期，有助于优化和改进，同时给出得分，具体过程如下图：

图3 日志挖掘

通过汇总所有指标的评分就得出了一个总分值，作为量化的结果。通过比较移动应用的各个版本的总分以及各项指标的变动情况，可以对接下来的优化和改进提出有效的指导性意见，这对于移动应用的可用性的提高有重要的作用。

4 结论

移动互联网对传统行业产生了非常大的冲击，企业投入了大量的人力和物力在其应用的用户体验和产品可用性上，产品的可用性直接影响着企业的发展，日志数据作为用户使用产品最直接的数据，必然会得到越来越多的重视。本文提出的基于日志的可用性评价体系不能作为评价移动应用可用性的唯一标准，而是作为辅助性评价或初级评价的方案，将其与现场实验等方法结合使用可达到它的最优化效果。

[1] ISO 9241-11, Ergonomic requirements for office work with visual display terminals(VDTs): guidance on usability[S]. Geneva: ISO, 1994.

[2] 李乐山. 人机界面设计(实践篇)[M]. 北京: 科学出版社, 2009.

[3] SCHACKEL B. Human Factors for Informatics Usability[M]. Cambridge: Cambridge University Press, 1991.

[4] NIELSEN J. 可用性工程[M]. 刘正捷, 译. 北京: 机械工业出版社, 2004.

[5] NOKIA LIMITED. S60 Platform: Scalable UI Guideline[OL]. 2013. http://www.developer.nokia.com/info/sw.nokia.com/id/ 4239db2a-2e0d-4592-a9c0-3936d0550d64/S60_Platform_Sc alable_UI_Guideline_v1_0_en.pdf.html.

[6] CHRISTIAN M N, MICHAEL O, MICHAEL B P. It’s worth the hassle!: The added value of evaluating the usability of mobile systems in the field[A]. NordiCHI'06 Proceedings of the 4th Nordic Conference on Human Computer Interaction[C]. New York: ACM, 2006: 272-280.

[7] HART S G, STAVELAND L E. Development of NASA-TLX: result of empirical and theoretical research. In: Hancock PA, Meshkati N, Eds. Human Mental Workload. Morth Holand: Elsevier Science Publishers, 1988. 139-183.

Research on the Comprehensive Evaluation System of Mobile Application Usability Based on Log Analysis

LV Shu-hua, WU Wei-ming, GU Yong-hao
(School of Computer Science，Beijing University of Post and Telecommunications, Beijing 100876, China)

Mobile applications have become an indispensable part of people's daily life, usability has become the main factor affecting the competitiveness of mobile applications, but also a prominent problem in the current mobile applications. Availability is a key factor to judge the quality of the product, if the usability evaluation of a product with a high score, it is likely to bring a huge amount of users for the enterprise, adopt appropriate ways to cash can achieve economic benefits, so how to improve the usability of the product for the enterprise is extremely important. The key to the usability evaluation of mobile application is to establish a set of reasonable and perfect evaluation index system. This paper makes a comparative analysis on the commonly used indicators, and then according to the characteristics of mobile application portability, indicators and measure parameter extraction for this thesis, using the analytic hierarchy process, the availability of the establishment of index system for mobile applications, and finally through the log analysis completed the transfer of evaluation on the application of dynamic availability.

Data analysis; Usability; Log analysis; Portability

TP399

A

10.3969/j.issn.1003-6970.2016.11.030

吕树华(1991-)，男，硕士研究生，主要研究方向：现代网络管理、移动互联网；吴伟明，女，教授，主要研究方向：现代网络管理、移动互联网；谷勇浩，男，讲师，主要研究方向：网络安全、移动互联网技术。

吴伟明，教授，主要研究方向：现代网络管理、移动互联网。