网络课程可用性质量的衡量与评估*

□ 刘名卓 刘名海

网络课程可用性质量的衡量与评估*

□ 刘名卓 刘名海

评估和改进网络课程的可用性质量，需要有一种客观、统一和定量的衡量标准作为参照系。目前，国际上已有的网络课程评价标准，虽然对可用性的评价有所涉及，但不像“教学设计”、“媒体设计”等指标，对网络课程“可用性质量”的评价指标重视程度还不够，考虑得不够系统、全面和成熟，这和当前“可用性”在网络课程质量评价中的突显地位是不对称的，所以构建一份客观、统一和定量的网络课程可用性衡量标准是现实所需。本文在国际上已有的网络课程评价标准的基础上，构建了一份适于我国国情的网络课程建设质量检查表，以期为我国的网络课程建设及国家网络精品课程的评审提供借鉴。

可用性；网络课程；衡量；评估

一、网络课程可用性概述

可用性又被称之为“有用的（useful）”、“能用的（usable）”。当我们谈论可用性的时候，通常采用国际标准化组织ISO DIS 9241-11的定义：产品在特定使用环境下为特定用户用于特定用途时所具有的有效性（effectiveness）、效率（efficiency）和用户主观满意度（satisfaction）。可用图1简单地总结ISO DIS 9241-11的定义（Jakob Nielsen，1993；http://www.usabilitynet.org/tools/r_international. htm）。

图1 可用性定义示意图

实际上，有几家不同的ISO/IEC（国际电子技术协会）给出了跟可用性有关的定义（Bevan,2001）。如，ISO/IEC FDIS 9126-1（软件工程——产品质量——第一部分：2000质量模型）重点关注用户界面设计。可用性专家Jakob Nielsen认为，可用性并不是用户界面的一个单维属性，可用性具有多种成分，传统上与如下五个可用性属性相联系（Jakob Nielsen，1993）：

（1）可学习性（learnability）：系统应当容易学习，从而学习者可以在短时间内开始用系统来做某些事情。可学习性（Learnability）对很多交互设计来说是很重要的一个方面，并且它是用户满意度的重要因素之一。

（2）高效率（efficiency）：系统的使用应当高效，因此当学习者学会使用系统之后，可能具有高的生产力水平。

（3）可记忆性（memorability）：系统应当容易记忆，从而那些非频繁使用系统的学习者，在中间有一段时间没有使用之后还能够重新使用系统，而不用一切事情从头学起。

（4）低出错率（errors）：系统应当具有低的出错率，从而学习者在使用系统的过程中能够少出错，在出错之后也能够迅速恢复。而且必须能够防止灾难性错误的发生。

（5）高满意度（satisfaction）：系统应当使用起来令人愉快，从而让学习者在使用时主观上感到满意，喜欢使用系统。

以上五个属性是业内公认的一般软件所具有的可用性属性。根据诺曼关于技术制品的观点，可以说网络课程是一种信息密集型的人工制造的教育软件产品，所以在进行网络课程设计时，除了要考虑一般软件所应具备的以上可用性五要素外，还应考虑网络课程所具有的教育可用性方面的设计要素。

荷兰虚拟大学的研究者们在基于Web学习的可用性方面已做了一些探索，他们认为教育维度的可用性（简称“教育的可用性”）包括教学过程支持、学习过程支持（导学、助学和达到学习目标的支持），以及学习技能养成的支持（比如与他人交互、学习自治能力的养成等）。那么，网络课程的可用性要素到底有哪些呢？一般的说，网络课程的可用性要素首先需具备一般软件的可用性五要素：易学、高效、可记忆、低错误率以及高满意度，其次需包括三个教育可用性要素：有效的沟通机制（协作与交互）、良好的学习支持和人性化的服务。网络课程的可用性属性如图2所示。下面将着重解释教育的可用性的三个要素。

1.良好的学习支持（Knowles，1975；Farhad Saba，2002；顾静相，方慕真，2007）

由于现代远程教育是一种新型的教育形式，教师和学生还没有做好充分的准备接受这种教育形式，所以在开展现代远程教育的过程中必须做一些支持工作，如教师培训、学生培训以及必要的技术支持等，以使教师和学生尽快转变角色，使教师适应和主动承担起远程教育环境下的“导学”任务。最常见的做法是在网络课程中内置一些学习支持模块。内置的学习支持模块相当于一组正规的、与内容有关的补充学习材料，如预先提问、计划安排、目录、索引、导读、目标、所学内容的回顾等等。内置的支持设计致力于为学习过程搭建一座向上攀登的脚手架，以引导学习者制定有效的自导式学习策略，有助于促进学习者认知机能的发展和情感态度的良性变化。所以，内置的学习支持设计也是网络课程建设中要着重考虑的方面。

2.人性化的学习服务

现代远程教育不再以教定学，不再直接塑造人、改造人，而是以教助学、按需助学，以人性化的服务帮助人，现代远程教育机构变成了个性化学习的服务中心。网络课程中提供的服务主要表现为学生自主学习服务，具体表现见表1。

表1 学习服务体系功能模块表

调查表明，我国当前的现代远程教育在课程资源和学习支持与服务两个子系统上都存在着一些薄弱环节，而且这两个子系统的发展也存在明显的不平衡。人们将更多的精力放在课程内容的制作和传递上，但却忽视了学习支持与服务的重要性，师生及同学之间的交互明显不足，这样的网络远程教育系统难以保证实现高质量的大学教育。大量研究表明，便捷有力的学习支持与服务是成功的远程学习的一个关键因素。网络中的教育资源和学习资源日益丰富，直接送到学习者手中，学校、教师作为知识垄断者和裁定者的地位逐渐削弱，人们对教育的自主性、选择性要求日益加强，个性化、互动的、终生的学习成为必要和可能。在这种情况下，教育不再服务于人才的批量生产，而提倡学制灵活化、教学个性化、课程多样化、学生自主化、学习终生化，要为学习服务，为学习者服务。

3.有效的沟通机制（刘名卓，2010）

网络课程中的交互设计通常体现在以下几个方面：①人与人之间的交互形成“群体意识”（或者说群体价值）；②人与资源之间的深度互动形成人与环境之间的和谐关系；③群体与群体之间的协同形成群组文化；④系统模块与模块之间、子系统与子系统之间、异构平台之间的交互协同形成和谐的系统环境。总而言之，网络课程中的交互设计较之其它软件对交互的需求更加迫切、要求更高，人的因素应作为设计的核心被体现出来，笔者认为可聚焦在以下几个问题上：

●应提供哪些沟通渠道？如大家通常采用的BBS、在线答疑、E-mail等手段。一直以来，教育技术领域的专家学者、实践者也正在努力尝试将一些良好的社会性软件引入到网络教学领域中来，如Blog、Wiki、Facebook、Second Life等。

●如何保持沟通渠道的畅通？该问题是指应保证沟通工具的易用性、效率和低错误率，并将实时在线教学或答疑功能，提前通告给学习者。

●应为沟通交流提供哪些支持？在人与人、人与机器之间的互动过程中，经常会遇到一些不可预知的问题，所以必须有专门的人员负责给予及时、有效的支持服务。

二、国内外网络课程可用性评价现状

对于网络课程的评价，国际上已经有一些正在应用的大家比较熟知的评价标准，如：美国教学设计与应用专业委员会建立的在线学习认证标准（E-learning Certification Standards）；美国培训开发协会ASTD（American Society for Training& Development）主持开发的网上课件和多媒体课件的认证标准（E-learning Courseware Certification），又称ECC认证；美国密歇根大学的网络课程建设标准；美国普度大学软件可用性测试检查表；以及我国教育信息化技术标准CELTS中关于网络课件的评价标准等。这些标准也包含关于可用性的评价指标，只不过这些指标散列在其它的评价指标中，我们针对这些标准中的可用性评价指标进行了梳理与分析，相关情况如表2所示。

在对这些标准进行分析的过程中，我们发现，虽然在现有的网络课程评价标准中，对可用性评价有所涉及，但不像“教学设计”、“媒体设计”等指标那样普遍，将“可用性”作为一级评价指标的标准不多，“可用性”评价指标一般散落体现在其它的评价指标中。这种现象说明：

表2 各评价标准可用性评价指标对应表

其一，对网络课程“可用性”的评价关注不够。可用性已成为衡量网络课程质量高低的一个重要质量指标，评价标准对网络课程的建设起着举足轻重的导向作用，但该评价指标散落在其它的评价指标中，很显然这不利于网络课程可用性水平的提高。

其二，评价指标以质的评价为主，缺乏量的评价，可操作性不强。如上所述，评价指标以概括性描述为主，而对评价的标准、评定等级、权重、解决方法等并没有进行界定。

其三，评审采用专家评审法，缺乏最终用户学习者的参与。由此评审出的网络课程，虽然确实在某些方面具有一定的优势，但可能学习者的使用满意度并没有专家们认为的那么高。

三、网络课程可用性测试检查表设计

网络课程的高可用性并不是一蹴而就的，可用性的衡量与评估应该贯穿在网络课程建设流程（分析、设计、开发、测试和应用维护）的各个关键阶段，并且必须是要反复进行的工作。在网络课程的设计与开发流程中嵌入对可用性的测试与评估，根据测试与评估的反馈，对阶段性成果不断进行改进。如果等课程开发完毕，再进行测试与评价，可能一切为时已晚，或者要付出更多的人力、物力和财力进行修改。如上所述，目前还没有一种客观、统一和定量的衡量标准，以评估和改进网络课程的可用性质量，并且现有的标准基本上都是从课程认证的角度制定的，而不是一种过程性评价。

在笔者的研究过程中还发现，尽管一些量化的可用性测试对发现存在的可用性问题很重要（如任务分析法、出声思维和视线追踪法等），但这些方法在人力、物力、财力等方面要求高，如必须在可用性实验室中进行，并且需要软硬件条件的支持。在华东师范大学网络教育学院多年来大批量网络课程的设计与开发实践中，笔者发现除此之外，最经济有效的方法是一些非正式的质性的评价方法，如焦点小组、认知走查、访谈等，而这些方法的执行人一般对可用性的评价指标不是很清楚，所以最好有一份可用性测试检查表，由评审人员根据检查表中列举的问题对不同开发阶段网络课程的可用性情况进行检查，这种方法通常可以作为实验室测试的很好补充。那么，如何构建一种客观、统一和定量的适于网络课程过程性评价的可用性衡量标准呢？

基于已有的网络课程评价标准，根据网络课程可用性的八要素（如图2所示），并结合工作实践，我们制定了如表3所示的可用性测试检查表，用以指导网络课程设计与开发需要。此表从7个方面来诊断网络课程的可用性，包括：界面设计、学习导航、媒体表现、交流沟通、学习支持、内容要求和技术要求。从人类信息处理模型来看，这些指标又涵盖兼容性、一致性、灵活性、可学习性、最少的行动、最小的记忆负担、知觉的有限性、用户指导等方面。

本检查表共设计了70道题（70个问题），调查表可以使用下面的公式给出一个可用性的评分：

其中：i=第i个问题；

Si=该课程在第i个问题上所得的分数，若该问题不存在，则Si=0；

Pi=1，若第i个问题适用，但不存在；

Pi=0，若第i个问题不适用或者第i个问题存在且适用；

Ii=1，若第i个问题适用；

Ii=0，若第i个问题不适用；

Wi=第i个问题重要性的得分。

对于每一个问题，评审人员需要评估该问题是否适用于被评审系统。如果不适用，Ii项为0；如果适用，Ii项为1，评审人员则要评估该问题在系统中是否存在，如果不存在，将有相对应的惩罚项。这意味着因为缺少该项，系统可能存在着潜在的可用性问题。如果该项适用且存在，评审人员则根据该项为系统从1到7打分，1为最糟，7为最好。评审人员还要为适用项的重要性打分（从1到3），分越高则越重要。系统可用性的得分将是总分和可能的完美分数之间比值的百分数。表3为网络课程可用性测试检查表，表4为检查表的答案纸。

表3 网络课程可用性测试检查表

?

表4 可用性测试检查表答案纸

以上介绍的检查表主要在已有国内外网络课程评价标准、相关理论的启发和笔者网络课程建设实践经验基础上构建的，研究者希望通过此项研究，抛砖引玉，共享在这方面的一些思考和经验，该表已在华东师范大学网络教育学院的网络课程建设中得到了广泛应用。

[1]Nielsen J(1993).Usability Engineering[M].Boston:Academic Press.

[2]http://www.usabilitynet.org/tools/r_international.htm.

[3]Knowles,M.(1975).Self-Directed Learning:a Guide for Learners and Teachers.Englewood Cliffs:Prentice Hall/Cambridge,135.

[4]顾静相，方慕真.远程教育学习支持服务体系构建探索[J].中国电化教育，2007，（6）.

[5]Farhad Saba(2002).Evolution of Research in Distance Education: Challenges of the Online Distance Learning Environment.The 2nd Conference on Research in Distance Adult Learning in Asia.

[6]刘名卓.网络课程的可用性研究[D].博士论文，华东师范大学，2010.

[7]罗晓春.网络教育课程质量认证标准的研究与设计[D].硕士学位论文，南京师范大学，2002：20.

[8]董建明，傅利民，饶培伦等.人机交互:以用户为中心的设计与评估[M].北京：清华大学出版社，2007：191-192.

[9]http://www.celtsc.edu.cn

[10]Nigel Bevan(2001).International Standards for HCI and Usability. International Journal of Human Computer Studies,55(4):533-552.

责任编辑 池塘

G420

B

1009—458x（2011）04—0027—05

*该论文受教育部青年专项课题资助，项目号：ECA080287。

2010－12－15

刘名卓，博士，副研究员，华东师范大学网络教育学院资源建设部主任（200062）。

刘名海，硕士，中学一级教师，山东省诸诚市第一中学（262200）。