数字化赋能新一轮本科教育教学审核评估:意义、现状与展望

王 超,刘 蓬,王广琨

(1.山东大学,山东 济南 250100;2.华东理工大学,上海 200237;3.大连理工大学,辽宁 大连 116024)

一、前言

近年来,云计算、大数据、人工智能等数字化技术加速创新,与高等教育评估领域的融合日益深入。党的二十大首次将“推进教育数字化”写入党代会报告,为教育领域数字化转型提出了明确要求。2020年中央出台《深化新时代教育评价改革总体方案》《关于深化新时代教育督导体制机制改革的意见》,明确要求“充分利用信息技术,提高教育评价的科学性、专业性、客观性”[1]“大力强化信息技术手段应用,充分利用互联网、大数据、云计算等开展督导评估监测工作;逐步形成由现代信息技术和大数据支撑的智能化督导体系,提高教育督导的信息化、科学化水平”[2]。两份中央文件都明确了数字化手段在教育评价和教育督导领域的重要作用,为教育评价和教育督导的信息化、数据化和智能化转型提供了根本遵循。

2021年1月,教育部发布《普通高等学校本科教育教学审核评估实施方案(2021-2025年)》(以下简称《方案》),正式启动新一轮审核评估。审核评估是我国高等教育质量保障的重要举措,也是我国“五位一体”评估制度(高校自我评估、院校评估、专业认证及评估、国际评估和教学基本状态数据常态监测)的重要组成部分[3]。新一轮审核评估在充分继承上轮审核评估“用自己的尺子量自己”“五个度”等高教战线普遍认可的经验做法基础上,对标中央教育评价改革和教育督导改革要求,在指导思想、理念标准、方法技术等方面进行了系统设计和改革创新。其中,在方法创新方面,《方案》提出“综合运用互联网、大数据、人工智能等现代信息技术手段,深度挖掘常态监测数据,采取线上与入校结合、定性与定量结合、明察与暗访结合等方式,切实减轻高校负担,提高工作实效”[4]。如果说信息技术在上轮审核评估中仅发挥了信息录入、存储和查询等辅助性作用[5],那么在新一轮审核评估中,线上评估环节的首次引入和数据手段的进一步强化,则意味着审核评估工作真正进入了数字化转型的新阶段。

二、数字化赋能新一轮审核评估的重要意义

《教育信息化2.0行动计划》指出,将教育信息化作为教育系统性变革的内生变量,支撑引领教育现代化发展,推动教育理念更新、模式变革、体系重构[6]。在教育教学评估工作中,以信息技术为代表的数字化手段的合理运用,一是能够引领和促进审核评估工作进一步强化过程评价和增值评价,建立健全综合评价体系,提高评估结果的全面性、客观性和准确性;二是能够充分调动评估各方积极性,促进高校进一步夯实质量保障主体责任,推动高等教育质量保障共同体建设;三是能够促进评估管理服务水平不断提升,支撑元评价有效开展。

(一)健全综合评价体系,提高评估结果的全面性、客观性和准确性

《深化新时代教育评价改革总体方案》指出,要坚持科学有效,改进结果评价,强化过程评价,探索增值评价,健全综合评价[1]。落实中央文件要求,就是要转变以往重结果轻过程的评价思路,在发展过程方面给予更多关注。其中,过程评价是在一个时间单元的中间部分发生的,属于伴随式评价,而基于信息技术的本科教学状态数据采集和常态监测则让这种伴随性成为可能[7]。增值评价是对学生学习、教师教学、学校办学、政府工作的进步幅度和努力程度的评价[8],体现了过程性评价、发展性评价的理念[9]。增值评价涉及复杂的数据收集与统计,包括分层、分块及历史数据的对比分析,是建立在大数据基础上的[10]。借助信息技术的数据管理与统计分析功能,能够降低开展增值评价的时间和人力成本,提高增值评价的可操作性[11]。

在新一轮审核评估工作中,一方面,通过对国家数据平台历年数据的充分利用和深度挖掘,实现了对高校本科教育教学指标变化情况的客观、全面展现,能够引导教育行政部门和评估专家更多关注本科教育教学的全过程要素和发展趋势,进一步加强对高校持续改进成效的考核,从而推动审核评估工作由结果评价向过程评价和增值评价转变;另一方面,基于数据处理与分析技术打造的多维度的数据报告体系,从学校自身、常态监测数据、教师、在校生、毕业生、用人单位等多元视角构建对高校本科教育教学和人才培养情况的精准“画像”,有利于推动健全综合评价机制,使评价结果更加全面、更加客观、更加准确。

(二)充分调动评估主体积极性,推动建设高等教育质量保障共同体

在以往的教育教学评估工作中,各参与主体相对孤立,高校在第三方评估中被边缘化,只是信息的接受者,对于评估指标如何选取、评估过程如何进行、评估数据如何测出都无所知晓,难以满足多元主体协同参与评估的需求[12]。而在新一轮审核评估中,数据挖掘技术的充分运用和多维度数据报告体系的构建,不仅为评估专家开展评审工作提供了便利,也为高校进一步健全内部质量保障体系提供了重要参照。历年指标数据的纵向比较能够促进学校准确把控自身发展态势;不同类型常模的横向比较能够帮助学校明确自身优势和短板;类型丰富的调查报告为学校开展自我评估提供了多元视角和依据。大数据时代催生的数据化评估工具,能够充分发挥过程性评估和动态监测的实时反馈和改进作用[13],促进高校夯实质量保障主体责任,有效做好自我评估,主动落实整改提升工作。

此外,依托评估管理系统开展的线上评估工作,在新一轮审核评估中发挥了重要作用。以试点评估为例,7所试点高校的评估专家在全面审读学校自评报告及相关数据报告的基础上,通过线上平台调阅电子教学材料1594份、在线听课看课207门次、在线座谈访谈267人次。初步估算,线上评审工作量在专家总工作量中的占比超过七成。可以说,新一轮审核评估中的评估管理系统已不仅是评估材料上传、存储、下载的工具性平台,更是教育行政部门、评估机构、专家、学校等评估主体深入开展审核评估工作的重要载体和共享空间。互联网手段的应用,一是减轻了评估各方的负担,调动了各方参与评估工作的积极性,推动了审核评估工作的常态化开展;二是加强了专家与师生的沟通[14],促进了评与被评方的双向互动;三是提高了评估的透明度,方便了评估组织实施工作的开展和教育行政部门的统一管理。教育行政部门、评估机构、评估专家和高校等评估主体协同联动,有力推动了高等教育质量保障共同体建设,有助于高校教育教学水平和人才培养质量的持续提升。

(三)促进评估管理服务水平不断提升,支撑元评价的有效开展

新一轮审核评估借助评估管理系统和专家管理系统,实现了对评估全过程的数字化管理,形成参评学校“一校一档案”、评估专家“一人一档案”的数据整合机制。通过对评估过程数据的深度挖掘和多维分析,从宏观、中观和微观层面呈现客观直观的数据信息,为管理决策提供了更加科学、理性的判断依据[15],也为开展元评价提供了数据参考。所谓元评价,就是对“评价”的评价,是“升维”的评价活动[16]。开展元评价,需要系统收集已有评价信息,对评价的设计、实施、效果进行系统、透明的分析和鉴定,对评价的深度假设、价值预设、评价工具、评价执行、价值裁定进行再评价[17]。审核评估过程数据包含学校自评、专家选派及评价情况、专家评审过程及评审结论、学校整改情况等各个方面,对这些数据的挖掘分析结果,能够为客观审视审核评估各个环节、准确评价审核评估所发挥的效能提供数据参考,在提升审核评估管理服务科学化、精细化水平的同时,推动审核评估工作自身持续改进。

三、数字化手段在新一轮审核评估中的应用

《方案》出台后,教育部教育质量评估中心(以下简称“教育部评估中心”)对新一轮审核评估的落地实施工作进行了系统设计和统筹谋划,并在清华大学、上海交通大学、中国农业大学、安徽大学、辽宁石油化工大学、常熟理工学院、衢州学院7所高校分别开展了评估试点。从试点的总体情况来看,新一轮审核评估中的数字化手段应用主要体现在建设线上工作平台、充分利用数据资源和优化专家队伍管理等三个方面。

(一)建设线上工作平台,推动部省协同,实现一站服务

教育部评估中心针对新一轮审核评估工作建设了全国统一、分级使用、开放共享的全国普通高等学校本科教育教学院校评估管理系统(以下简称“评估管理系统”),主要功能架构如图1所示。评估管理系统是部省校三级协同开展评估工作的重要平台,对新一轮审核评估各流程、各环节起到了重要的支撑作用。

图1 评估管理系统功能架构

1.服务评估参与主体,保障部省协同评估质量

评估管理系统设计了部长账号、教育部评估专家委员会、教育部教育督导局、教育部评估中心、地方教育行政部门、地方评估机构、评估专家、高校、专家组秘书、项目管理员等十大用户角色,并对各用户角色权限进行了合理划分。

根据《方案》要求,教育部和地方教育行政部门依托全国统一、开放共享的专家库,协同开展新一轮审核评估工作。受教育部委托,教育部评估中心具体组织实施中央部门所属高校第一类、第二类审核评估和地方高校第一类审核评估工作;省级教育行政部门组织所属高校第二类审核评估及推荐高校参加第一类审核评估工作。教育部对各地各校审核评估工作进行统筹协调和指导监督。教育部评估中心按照《方案》要求搭建了部省校三级协同开展审核评估工作的大平台,各组织管理部门在其职责权限内开展相关工作(如图2所示)。教育部依托该平台,能够全面掌握全国高校审核评估开展情况。在横向的宏观维度,实现全国范围内高校审核评估“全景式”动态管理;在纵向的微观层面,实现各高校审核评估全流程实时跟踪,从而保障部省评估质量实质等效。

图2 评估管理系统部省校三级协同模式

2.支撑全部评估流程,助力线上入校评估考察

评估管理系统实现了对评估申请、学校自评、线上评估、入校评估、反馈结论、限期整改、督导复查等评估全流程的信息化支撑,为高校、评估专家、评估组织管理部门提供分角色登录、导向操作、集成管理的一站式服务。

在评估申请和学校自评环节,评估管理系统除了为参评学校提供申请材料和自评材料上传提交等常规功能外,还有效支撑了《方案》“自主套餐+自主配餐”这一亮点特色的落地实施。“自主套餐”是高校可在两类四种方案①中选取一种方案进行评估,“类”跟“种”都可选择。一旦选择“套餐”,还可“自主配餐”,即每种评估方案的评估指标还可再选[18]。评估管理系统以模块化、菜单式设计,引导高校依据自身办学定位,制定“一校一案”个性化指标体系和评估方案。

在线上评估与入校评估环节,数字化赋能实现了对传统评估模式的革新,打造了网络化、智能化的评估新模式。评估试点期间,专家通过评估管理系统不仅能够线上审阅自评材料,还可以开展线上听课看课、线上访谈座谈、线上调阅材料等多种考察活动,充分发挥了线上评估考察不受时间、空间限制的灵活优势,更加全面、深入地对参评学校本科教育教学工作进行审核[19]。根据评审情况,评估专家在线填写《个人线上评估意见》,系统自动进行汇总。专家组组长根据汇总材料整理形成《线上评估问题清单汇总表》,并按需选配入校评估专家,在线分配入校核查任务,制定入校评估方案。入校评估专家依据线上评估产生的“问题清单”靶向考察、深入印证,在线完成《入校考察问题核查表》。评估管理系统自动汇总线上评估与入校评估专家递进式考察意见,有效服务专家评估、学校整改和后续督导工作,筑牢“评价-反馈-持续改进”闭环链条。

3.挖掘评估过程数据,实现评估管理清晰可溯

评估管理系统充分利用审核评估过程中产生的数据资源,从宏观、中观和微观层面,对审核评估工作进行数据化统计分析和图表化直观展示。在宏观层面,着重统计全国和地方审核评估进度,可视化展示已评、在评、未评高校数量及比例;在中观层面,着重统计每所参评学校审核评估过程数据,如专家组工作量、专家组报告中问题清单数量、学校整改进度等;在微观层面,可分类统计参评学校自评材料准备情况、专家组成员评审工作开展情况等。

(二)利用数据资源,丰富评估工具,促进多元评价

在云计算、大数据时代,传统“拍脑袋”决策模式或者定性指标已很难有效地把控质量内涵[20],需要用数据化的手段,推动评估走向科学化、客观化,打造数据密集型评估[21]。因此,新一轮审核评估增设定量指标,并借助数字化手段,加强对各类数据资源的深度挖掘和合理利用。

1.增设定量指标和各类常模,提升评价精度

新一轮审核评估指标体系,在定性指标的基础上,新增了定量指标。第一类审核评估包含35个定量指标,其中必选指标22个,可选指标13个。第二类审核评估包含46个定量指标,其中必选指标30个,可选指标16个。除定量指标外,参评学校还需自主选择常模类型,包括世界一流大学常模、“双一流”建设高校常模、拥有一级学科博士点高校常模、全国常模、31个省(区、市)常模、12种类型高校常模(理工类、综合类、语言类、医药类、财经类、体育类、艺术类、师范类、民族类、农业类、军事类和政法类)以及自定义常模(可任选不超过3组高校,每组高校数量不少于5所)等。国家数据平台利用学校年度填报数据和指标计算公式,自动计算参评学校所选定量指标值和常模值,为学校开展自评自建工作和评估专家开展评审工作提供数据参考。

2.构建“1+3+3”数据报告,拓展评价维度

在上轮审核评估中,国家数据平台建成并投入使用,基于评估目的所采集的所有本科高校的教学状态数据在审核评估中发挥了积极作用[5]。新一轮审核评估加大了对国家数据平台教学状态数据进行深度挖掘的力度,进一步拓展时间维度,描绘高校相关数据历年变化趋势,对《本科教学状态数据分析报告》作了进一步优化和完善。同时,新搭建了全国高校师生调研分析系统,并依托该系统开展师生调研,形成《教师教学体验调查报告》《学生学习体验调查报告》,与《本科教学状态数据分析报告》一起形成3份教学状况报告。基于教育部学生服务与素质发展中心的相关系统和数据库,形成《本科生就业数据分析报告》《用人单位跟踪调查报告》《本科毕业生跟踪调查报告》3份就业状况报告。教学层面和就业层面双向联动,构建了以自评报告为中心,以3份教学端过程性报告和3份就业端结果性报告为两翼的“1+3+3”多元评价体系,进一步丰富了专家评估工具。

“1+3+3”报告体系的有效落地,需要互联网和大数据技术的有力支撑。一是借助相关信息系统和平台,收集被评高校的相关数据信息。例如,国家数据平台每年定期向高校开放,对高校本科教学状态数据进行全面收集;全国高校师生调研分析系统在学校自评阶段向参评学校师生发放调查问卷,对教师教学体验和学生学习体验数据进行全面收集等。二是借助大数据等数据处理技术,对收集的数据进行深度挖掘、多维处理和关联分析,形成有价值、效度高的信息和结论。三是由系统根据既定模板自动、批量生成相关报告,降低人力成本,提高工作效率。

(三)优化专家管理,构建“全息画像”,实现智能选派

评估专家是审核评估工作中的关键角色,是为高校本科教育教学情况“把脉开方”的“体检医生”。高水平、广来源的专家组构成能够有效提升审核评估的权威性、客观性和规范性[22]。教育部评估中心已启动院校评估专家库建设,着力建成全国统一、开放共享的专家库,形成数量充足、结构合理、政治过硬、业务精湛的专家队伍,为高质量开展新一轮审核评估工作奠定坚实基础。

1.顶层设计专家库系统,实现全流程数字化管理

为做好专家库建设工作,教育部评估中心在做好顶层设计的基础上,研发了专家管理系统,其中包含高等院校、教育行政部门、科研院所、行业组织等多类专家推荐角色以及教育部评估中心、教育部评估专家委员会等专家信息审核角色,在严把专家政治关、业务关的前提下,进一步拓宽专家推荐渠道,把更多懂评估、爱评估、敬评估的专家吸纳到新一轮审核评估工作中。

专家管理系统搭建了专家在线培训模块,教育部评估中心负责维护培训资源、制定培训规则。新推荐的专家首先进入专家预备库,通过参加线上线下培训,完成规定学分后,在线授予评估专家证书并正式进入评估专家库。

此外,依托专家管理系统实现了专家多元评价和动态退出机制。专家每参加一次审核评估工作后,由教育部评估中心、参评学校、专家组专家、专家组秘书、项目管理员等在线给予评价,系统按照不同权重综合计算,作为评价专家评估工作质量的参考依据。

2.构建专家“全息画像”,实现智能化精准选派

为了充分发挥线上评估不受时间和空间限制的灵活优势,调动更多专家资源对高校本科教学状况进行更加全面评审,新一轮审核评估专家组在人数方面较上轮审核评估有较大提升,由15-21人组成,这也为选派一支结构合理的专家队伍留足了空间。

专家管理系统建立了一套全面、细致的专家字段信息,覆盖专家单位类型、学科背景、职务职称、专业特长、工作经历、评估经历等与院校评估工作相关的各个方面。依据专家个人填写的相关信息,初步构建专家“全息画像”,形成覆盖德智体美劳不同领域、政产学研不同职业及国际国内不同地域,专长鲜明、类型丰富的专家队伍,在方便专家日常管理的同时,也为开展智能化专家选派奠定了基础。

在进行专家选派时,系统根据参评学校办学定位、类型特色、学科专业布局等,结合专家队伍年龄、职务职级、学科背景、专业特长、地域分布等多种因素,实现专家队伍的智能选派、精准选派,形成一支对接学校类型和办学特色、覆盖主干学科、涵盖德智体美劳“五育”范畴的结构合理的专家队伍(如图3),配齐配准“体检医生”,有效进行“联合会诊”和“把脉开方”。

图3 审核评估专家选派模式

3.多维分析专家字段信息,实现专家管理数据化

字段信息丰富、成员数量充足的专家库为开展专家信息数据挖掘和多维分析创造了条件。专家管理系统借助数据挖掘技术,从专家年龄结构、地域分布、学科分布、选派次数、专业特长等不同角度对专家库整体结构进行多维分析和报表呈现,实现了专家日常管理的数据化和可视化。

四、审核评估工作数字化转型的展望

数字化手段为新一轮审核评估的开展提供了重要支撑,新一轮审核评估的方案设计和落地实施也对评估工作的数字化转型起到了重要的推动作用。以新一轮审核评估为契机,进一步筑牢信息平台基础,强化数据应用赋能,持续加强数据文化和信息技术应用能力建设,深入探索新技术赋能评估工作的途径,数字化将在高校审核评估工作中发挥更大效能。

(一)提升平台智能化水平,打造智慧评估空间

一是进一步提升平台的可扩展性和智能化水平。根据《方案》要求,省级教育行政部门可结合实际,制定本地区审核评估的具体实施方案。也就是说,在国家层面审核评估的统一框架下,各地区在审核评估指标、程序等具体细节方面可能各具特色。在上轮审核评估工作中,有一些省份建设了专门针对本省审核评估工作的管理信息系统[23],方便了本省审核评估工作的开展,但不利于全国范围内的统筹管理。为此,评估管理系统还需要在可扩展性和灵活性上下功夫,实现不同评估指标体系、不同评估程序的个性化定制。

二是着力打造评估参与主体共建共享的智慧空间。一方面建立健全培训模块,将与审核评估相关的慕课、微课等优质在线培训宣介资源纳入平台中,完善在线辅导答疑,拓展培训时空,扩大培训覆盖面,提升培训受益面和效果[24];另一方面建立案例共享平台,将各高校审核评估中的计划方案、工作措施、典型案例等不涉密的数据汇聚起来,供高校互学互鉴,共同提升[12]。

(二)破解数据孤岛难题,健全数据管理机制

新一轮审核评估强化了数据手段的运用,从试点过程来看,“1+3+3”报告体系在为参评学校和评估专家提供多元评估视角的同时,也出现了某些数据项不一致的现象,给学校自评自建和评估专家开展评审工作造成了一定的困惑。数据不一致问题的产生,一方面源于数据孤岛的存在,另一方面也归咎于统计口径、计算方式等数据管理因素。“1+3+3”报告数据来源于不同的信息系统,如本科教学状态国家数据平台、全国高校师生调研分析系统、全国高校毕业生就业管理系统等,这些系统之间尚未实现数据的互联互通,无法自动进行数据一致性校验。

近年来,区块链技术的快速发展为破解审核评估领域的数据孤岛难题、健全数据管理机制提供了一种可能的途径。区块链是一种由多方共同维护,使用密码学保证传输和访问安全,能够实现数据一致存储、难以篡改、防止抵赖的记账技术,也称为分布式账本技术[25]。将区块链技术应用于审核评估,能够提升评估数据的客观性、完整性,强化数据共享与应用[26]。展望未来,可以探索利用区块链共识机制来构建相互信任的教学状态数据和就业数据开放与共享网络,以确保不同来源的数据保持一致,促进数据分层分级的开放与共享[27-28]。同时,也要加强制度供给,健全数据采集、存储、整合、呈现与使用、分析与应用、归档和销毁的全生命周期管理机制,保障数据的真实性、准确性和一致性。

(三)加强数据文化建设,提升技术应用能力

靠数据支撑、用数据说话,教育教学评估工作的开展,数据是重要的驱动力。落实教育评价改革要求,要创新数据先行的评估认证方法,加强评估领域的数据文化建设,帮助参评学校、评估专家、评估机构和社会公众树立数据意识、建立数据思维、提高数据素养,多方协力提高数据质量。同时,还需要通过培训等手段,提升参评学校、评估专家、评估机构相关人员的信息技术应用能力,利用评估指标和评估工具引导高校进一步提升自身的数字化建设水平和数据分析能力。做好这些基础工作,审核评估的数字化赋能效果才会真正落地见效,数字化转型进程也会加快推进。

五、结语

当前,教育部正在大力实施教育数字化战略行动,旨在以高水平的教育信息化引领教育现代化。在数字化的赋能下,新一轮本科教育教学审核评估迈向了“云+数”的新阶段,实现了“云端考察”“数中评估”,这是贯彻党的二十大精神、落实教育部教育数字化战略行动、顺应互联网和大数据时代高等教育发展趋势,实现审核评估信息化、数据化、智能化转型的必然要求。进入新时代,以5G、人工智能、虚拟现实等为代表的各类新技术层出不穷,如何进一步用好、用巧数字化手段,充分发挥技术对审核评估工作的支撑、赋能乃至变革引领作用,是值得深入思考和持续研究的问题。然而,无论技术如何发展、如何应用,都要始终秉持对国家负责、为学校服务的根本宗旨,遵循学生中心、产出导向、持续改进的基本理念,从审核评估工作实际需求出发,让技术服务于人、服务于业务,服务于中国特色、世界水平的本科教育教学质量保障体系建设。

注释：①“两类”即第一类审核评估、第二类审核评估;“四种”即第一类审核评估以及第二类审核评估中的第一种(适用于已参加过上轮审核评估,重点以学术型人才培养为主要方向的普通本科高校)、第二种(适用于已参加过上轮审核评估,重点以应用型人才培养为主要方向的普通本科高校)和第三种(适用于已通过合格评估5年以上,首次参加审核评估、本科办学历史较短的地方应用型普通本科高校)。