开放大学的数字化题库建设

刘玉侠

(国家开放大学，北京 100039)

题库建设是计算机网络高速发展在教育测量中应用的一次变革，是现代高科技直接应用的结果，更是对心理和教育测量技术的一种革新。远程开放教育学习测评是教育测量中旨在指导、督促、检测学生学习成绩的一种学业能力水平测试，其考生需求量大、频率高，很显然，传统的人工命题方式已经越来越不适应远程教育学习测评的发展需要，探索一种适合于远程开放教育学习测评的题库建设模式是当下亟需解决的重要课题。

一、现状分析与数字化题库解析

(一)现状分析

纵观中外各种各类题库建设，无外乎两大类，一种是社会中介服务机构承担的题库建设，如英国的剑桥测评(Cambridge Assessment)、美国的ACT考试服务机构；一种是教育机构(包括部委、高校)自建的题库，如中国教育部考试中心负责高考及自考的题库建设、各高校也涌现出开发课程题库建设。根据考试的性质，也无非就是两大系统的题库建设，一种是社会性考试题库，如适用于职业能力测试的驾驶员执照考试、计算机职业能力水平考试等；一种是学校教育类考试题库，如四六级英语考试、各门课程考试。为了深入了解国内外研究现状，我们通过文件检索在CNKI知识网络平台上检索“题库”两个关键字， 选择2000至2012年度，得到849篇文章；输入关键字为“题库建设”，检索出99篇文章，有效文章为95篇，其中关于“题库建设意义和作用”的文章有50篇，关于“题库设计”的文章有18篇，关于“题库技术”的文章有16篇，关于题库建设实证分析的文章有6篇。为了深入了解目前的题库组卷技术，我们输入关键字“组卷策略”，得到77篇文章。由此可见，题库建设于近十年内已经进入高需求状态。

在题库建设理论方面，目前主要存在两大理论，即经典测量理论和项目反应理论。大部分试题库建设主要依据是经典测量理论，而项目反应理论由于其数学模型的复杂导致其在题库建设应用中存在诸多困难。在题库设计方面，设计双向细目表、题库命题方案、命题表等基本建设程序上已达成共识，唯一不同的是设计标准，需要综合考虑的因素目前主要有考核知识点、教学要求、考核目标、题型、题量、分数、答题时间、难度、区分度等。在组卷策略方面，目前主要存在有随机组卷、遗传法组卷等，有基于Moodle平台的、IRT模型、OLE技术、NET技术的组卷模式。在题库类型方面，有题库和卷库之分，大部分题库仍然是题库，而不是真正意义上的题库，他是由计算机在测评之前组卷，在测评过程中抽取的是预先组好的试卷。由此可见，目前题库建设行业唯一缺乏的就是统一的建设标准，当我们在CNKI平台上输入关键字“题库标准”“题库建设标准”时，没有检索到一篇文章。

(二)数字化题库解析

开放大学提出数字化题库概念，不同于一般意义上的题库概念。江西师范大学漆书青教授提出“题库是大量性能业已查明的合格试题的有序存储”[1]，在这里，我们提出数字化题库，不仅在于题库内部试题的有序存储，还包括数字化的题库管理和使用。一般意义上的题库多数是为某一特定性质的考试而建设，而我们的数字化题库是为具有多种特定性质的考试而建设，不仅为主要检测学习成果的终结性测评服务，同时还要服务于旨在督促、指导、激励学生学习的自测和形成性测评服务。具体而言，主要表现为以下几个方面。

1.开放性

国家开放大学试题库建设的一个主要目的就是为了实现随学随考，我们建立的自测题库是面向所有学生可以随时随地进行自我检测的试题库，他要求具有足够量大的客观性试题，同时要求计算机能够自动组卷和评阅，具有全面的开放性。

2.有效性

随学随考的试题库使用频率极高，这就要求试题库内容必须保证足够的新颖性，才能预防和控制学生抽取试卷的重合率。这种及时更新和填充试题的功能是国家开放大学试题库的重要性能，也是严防测评舞弊的重要举措，更是适应学科知识发展的必然措施，特别是一些发展速度快、内容更新快的法律类等时事性课程，更是要求试题库具有极强的内容新颖性。

3.关联性

未来国家开放大学学习测评的一个最主要的目的是推动教学任务的完成，保障教学质量。国家开放大学试题库的所有试题之间具有很强的智能连锁反应，如果某一学员在某一章节知识点上出现了答题错误的现象，试题库将根据答题错误性质智能地寻找该生发生答题错误的原因，并自动搜寻相关知识点，以指导学生进一步学习的方向，指出学生需要补充学习的内容和知识点，做到有针对性地通过远程网络指导和引导学生学习。

4.高密性

国家开放大学试题库建设从命题、审题、录入、组卷、测试、评阅等整个过程都具有高度的保密性，他不仅仅体现在保密意识和保密素质上，更多体现在网络环境下的高端保密技术上面。对于中央考务中心而言，其职责是命题和组建试题库，必须通过远端地方考务中心实施测试和评阅，这种网络环境下的保密技术对是否能够正常测试起着关键的作用，一旦试题泄密，就不能正常启动试题库。

二、试题库建设构想

(一)教、学、评、测的一体化设计

开放大学的题库建设坚持一体化设计的总体宗旨，根据不同测评方式的性质和特点选择和配置不同的题型、题量、答题方式和评阅方式。首先，任何一门课程的所有题库设计内容必须依据教学大纲规定的教学要求和教学目标，再根据不同的课程性质和特点，选择合适的题型和题量，在保证课程教学目标检测的基础上，保证随学随考使用的最低题量。第二，根据不同的教学内容和目标创建不同类型的试题库，一般而言，对于学生自己检测对某一章节知识点的掌握情况，我们提供自测题库，其覆盖该章节所有知识点，题型全部为客观性试题，主要是帮助学生记忆基本知识点；对于学生在完成某几部分章节教学任务后，教师需要了解学生整体知识的掌握情况，我们提供有形成性题库，在随机抽取自测题型的基础上，增加一些旨在考核学生实践能力的主观性题型；对于学生学习完所有教学任务后，为教学管理部门和社会提供具有一定公信力的课程成绩，我们提供有学期结束时的终结性测评题库，学生可以有组织地参加，也可以个体预约参加。第三，试题类型与评阅方式的一体化组合，在整个大型题库建设中，主张计算机自动评阅的题型与非自动评阅题型进行归类，自动评阅的题型直接将标准答案和错误解析录入题库系统中，在学生答题过程中由计算机自动评阅，正确的给予奖励，错误的给予详细解析和学习指导；对于非自动评阅题型原则上需要教师进行网上评阅，由教师给予评阅。

(二)以测导学

测评不仅具有检测功能，还具有督导和激励功能，我们在设计时始终坚持以测促学的理念，将自测客观题与网上学习资源的知识点进行链接，主观题配有解析和指导。无论是客观性试题，还是主观性试题，测试内容与教学相关内容建立链接，引导学生学习，以最有效地引导学生学习，促进教学。

(三)题型设计

自测题型表现形式主要为客观性试题，用于检测学生对基本知识点的掌握程度，同时也是促进和激发学生进一步学习和复习巩固的重要手段。阶段性自测要求用小型题库的形式进行建设，其自测总体内容对教学内容的覆盖率应达到100%。形考作为阶段性测试，分几次进行，形成性测评主要是学生完成几部分章节教学任务后的综合检查，考核的内容可以是一个章节的知识点，也可以是几个章节的知识点的综合，可以是记忆方面的考查，也可以是能力方面的考查。所以，其表现形式可以为全部客观性试题、全部主观性试题、客观性和主观性相结合等多种形式，其测评形式的选择更多地依附于教学知识点的呈现形式，其主观性试题的抽取范围为题库中三分之二的主观性。终考考核的目标和形考相近，选用的题型可以同形考。如果考虑减轻考试压力，方便学生随学随考，可以考虑和自测一样，纯粹为客观题，也可以包括客观题和主观题。

(四)题量设计

题库的命题量主要有三种确定方法：第一，每学分命题200道左右的试题，按照课程总学分来计算总的命题量；第二，每课时10道左右的试题，按照课程总学时来计算总的命题量；第三，在确定一套标准试卷题量的基础上，客观性试题按照标准试卷的20-25倍，主观性试题按照标准试卷的15-20倍，合计即为题库总的命题量。

(五)休眠设计

试题休眠有三种含义：第一，就整个题库而言，每个年度启用一定比例的试题，其他试题处于休眠状态，更在休眠一定期限后才予以启动。第二，对于随机的试卷而言，要求试卷之间具有一定比例的非重复率，一般而言，要求试卷之间试题的重复率在20%左右。第三，对于每道试题而言，规定有一定的曝光率，一般而言，每道试题的曝光率控制在5-10次左右。

三、关键技术与功能设计

(一)整合设计

开放大学试题库实行中央库集中管理、子系统小库单独运行的模式进行建设。对于新开设的课程，要求在课程启动前一学期必须完成相关题库的建设和命题，由中央考务管理部门提出建库需求，并按照有关命题标准由各学部组织命题，同时也可面向全国分院教师进行征集试题。所有试题需经过各学部审核认定后才可统一交到中央考务管理部门，并由有关技术人员进行登录入库。对于中央教师而言，教师也可以采用单机版命题进行边命题边录入方式进行，由专家进行网上集中审核。所有试题按照技术标准录入系统组织一个中央库，在整个教学过程中根据不同的需求进行提取和运行。

图1 统筹规划功能设计图

(二)智能关联

开放大学试题库建设的一种重要功能就是知识库之间是一个知识链，当学生作知识点A时，如果回答正确，就允许学生顺利进入知识点B的作答，如果回答错误，将根据学生回答错误的原因，寻找需要补充学习的知识点1、2、3等。

图2 统筹规划功能设计图

每个知识点都与其他知识点相关联，学生可以根据自己的实际不足寻找到需要补充学习的内容，进而促进学生学习，在测评的过程中也是学习，实现了教、学、测、评的一体化设计，以测评促进学生学习，帮助学生发现自己的不足。

(三)休眠技术

任何一门课程都只有一个主观性试题库，在形成性测评过程中，只能限制使用题库中三分之二的试题，剩余约三分之一的试题是专门用于终结性测评的。而这三分之一的试题并非每学期都面向全体学生开放，而是根据每学期只随机抽取5%左右的试题规则进行抽取，剩余约25%的试题全部进行休眠，并且只有在紧急情况下才予以启动。试题根据曝光次数进行累加，超过一定数量则给予删除，同时并要求增添新型试题，以保证三分之一总题量的控制。

图3 休眠技术功能设计图

(四)动态更新

开放大学试题库的动态更新功能包含两个方面的内涵：一方面是指内容上的更新，另一方面是指试题属性上更新。由中央库抽取的任何一种测评方式完成测评活动后都配有测评行为过程及测评结果的行为记录，这一行为记录通过一定的数理统计可以得到对某一道小题的试题函数值、错误试题及其相应的使用频数或频率，通过结果分析设定使用频数超过一定值的试题必须进行淘汰，对于在答题过程中发现命题错误的试题则需要进行修改才能重新入库，对于某一课程提示试题量小于某一设定值的情况下，则需要补充试题，这一过程便形成了内容更新机制。任何一道试题在入库之初都有一定假定的预估参数，如难度、区分度、分数、答题时限等，在正式测评活动结束后，题库系统将根据学生实际答题情况计算出实际的难度系统、区分度、平均得分、平均答题时限，在理想状态下，通过计算机自动、人工参与等形式，反过来调整和修正试题入库时的试题参数，有利于下一次抽取试题更加科学合理、真实可靠，有利于提高整体测评的质量和效果。

图4 休眠技术功能设计图

四、支撑与保障

开放大学数字化试题库建设不是一个独立的个体，他需要诸多方面的配合和支撑，其中团队建设是试题库建设的人脉，制度体系的完善是试题库建设的保障，技术支撑是数字化试题库实现的关键，经费保障是试题库建设的基础。

(一)团队建设

开放大学数字化试题库建设不是某个部门或者某几个人就可以完成的，他需要由各方面人员和专家组成一个工作团队或者每门课程都需要一个课程团队才能顺利完成。从整个建设过程来看，首先，试题命制的过程需要由中央课程教师、分院课程教师、学习测评专家、远程教育专家、技术专家组成一个团队，在试题设计的基础上还必须保障技术能够实现。第二，在建库组织实施过程中，需要根据所有课程的题库建设计划进行总体布局，做到有计划、有组织、有目的地建设题库。

(二)制度保障

远程开放教育建立在已有开放教育研究的基础上，须引进更为先进的网络技术和教育网络，在管理制度、职责分工、工作流程诸方面区别于已有的开放教育，为此，在对原有广播电视大学各项管理制度进行调整和修改的同时，重点要建立基于信息化技术的国家开放大学学习测评相关规章制度及工作流程，以保障远程开放教育信息化学习测评的实现。开放大学试题库建设的基本制度应该包括题库建设规划、题库建设原则、建设标准、管理办法、试题标准规范、酬金标准等诸方面的管理制度的出台。

(三)技术支撑

所有课程的题库设计蓝图能否实现的关键点就是技术支撑，任何一个好的方案，都必须借助于网络技术实现才能真正实现，因为开放大学的主要教学媒介就是网络。其技术支撑主要包括试题录入技术、组卷技术、在线施测技术、评阅技术、保密技术等等。

(四)经费保障

对于这个偌大的系统工程，不仅需要有过硬的软件环境建设，更重要的是硬件环境建设。工欲善其事，必先利其器，硬件环境建设需要大批经费的支撑和保障，否则一切都是无米之炊。其中硬件设施和设备主要包括计算机、服务器、扫描仪、打印机、复印机、作弊克等，软件环境主要是题库建设过程中工作量劳务酬金，特别是题库建设的题量远远大于原来的试题量，其工作量剧增，这种工作的难度也有很大提高，如何调动教师的工作积极性也是我们必须面临的一大工作难题。

开放大学建设数字化试题库以个性化服务为宗旨，以优化组合的等值性试卷组成为中心，须坚持系统论、控制论、信息论等老三论，还要坚持耗散结构论、协同论、突变论等新三论，仅仅围绕服务教学进程而展开，激励、引导、督促学生顺利完成学习任务，保证教学活动的顺利开展，为远程教育教学质量的稳步提高打下坚实的结果。通过试题库的一体化设计，构建数字化环境下的试题库，实现形成性测评、自测、终结性测评的多种功用性，利用高端计算机科学技术实现互斥型题型、包容性题型、顺序性题型等诸多具有复杂关系试题库链的设计和组合，引进模拟技术实现网络情景模拟测评，利用视频技术实现远程视频测评功能，利用高密技术和管理实现高端技术环境下的安全保密，力争构建一个智能多样、试卷等值、操作简便、技术高端、动态管理的试题系统。