基于DINA模型的学习测评设计与应用研究

蒋林靖,牛彦敏,2

(1.重庆师范大学计算机与信息科学学院，重庆 401331； 2.教育大数据智能感知与应用重庆市工程研究中心，重庆 401331)

随着教育测量与评价方式的深化变革，学生的个性化学习成为越来越重要的研究课题，教育也更注重学习者的个体发展和学习诉求。我国《教育信息化2.0行动计划》强调，教育应依托大数据和人工智能技术，创新完善教育数据系统，促进个性化学习和教育治理[1]。教育信息化，不仅改变了学习环境、学习内容、信息交互方式，也变革了教育评价方式[2]。以学生的个性化发展为导向，教学评价不再局限于总结性评价，由注重结果演变为关注过程。认知诊断是现代测量理论和认知心理学发展结合的产物，日常教学中利用认知诊断进行形成性评价，将学生不可见的认知水平、知识结构和知识状态可视化表达，可以分析评价学生的知识掌握情况和认知水平，并以此为依据精准定位学生需求，促进学生个性化学习。为此，本研究依据认知诊断理论，以“操作系统”课程为例对学生的日常学习进行测评，开展形成性评价研究。本研究拟解决两个问题：一是如何应用认知诊断理论开发具有诊断效度的评估工具；二是根据诊断结果，教师之后的教育教学应作何改变。

1 概念界定及现状

以测辅学一直是精准教学的核心机制[3]，教育测量理论经过百年发展，先后衍生出经典测量理论、概化理论、项目反应理论和认知诊断理论，对解决教育问题起到关键作用。测量是评价的基础和前提，评价赋予测量实际意义，二者构成教育活动中不可分割的重要组成部分。学习测评数据是教育大数据的子集，是整个学习过程中所产生的有关测评数据的集合[4]。学习测评数据具备易采集、结构化程度高的特点。通过文献梳理，本研究的测评数据主要包括学科知识点及其关系数据、测试题目与学生作答情况数据3个方面。学科知识点与其层级关系作为学科知识地图，对测试编制具有指导作用。通过认知诊断理论分析得到测试题目与学生作答情况数据，探查学生对知识的认知结构。分析学习测评数据，能为后续教学策略的选择与教学进度的调整提供精准反馈。

认知诊断是新一代教育测量与心理学结合的测量理论，其作用在于对被试个体知识结构、加工技能或认知过程进行诊断评估[5]。对采集到的测评数据如何进行分析的问题，目前有许多颇具影响力的数学模型，为研究的科学性提供保障，如规则空间模型(RSM)、属性层级模型(AHM)、决定性输入噪音与门模型(DINA)等受到广泛的认可和应用。通过文献回顾法，得知目前DINA模型应用最为广泛，该模型计算相对简单，且适用于各种题型，已被证明具有较高的判准率。

通过梳理文献可知，国内对认知诊断的研究聚焦于教学领域中测量学生的某一学科专业能力，如石小恋[6]运用DINA模型对小学生数字化阅读能力进行认知诊断评价；武小鹏等[7]采用RSM模型解析数感测评体系。此外，国内相关学者也积极拓展研究领域，改进已有认知诊断模型，使之适用场景更广泛，如涂冬波等[8]63在DINA模型的基础上开发适合多级评分的P-DINA模型；康春花等[9]提出利用K-means聚类方法诊断被试的知识水平。随着认知诊断的广泛应用与研究，其对学生个体的知识能力的探查能精准定位学生的学习需求，李令青等[10]探讨了大数据背景下技术支持式认知诊断评价在个性化学习中的功能与价值。个性化学习的主要特征是满足每个学生独特的学习需求[11]。`综上可知，运用认知诊断对学生的日常学习进行形成性评价研究，能快速准确地找出学生在学习中认知属性的掌握情况，有利于推动个性化教育和因材施教。

2 研究理论与方法

认知诊断是反映个体认知过程、加工技能或知识结构的诊断评估，离不开Q矩阵理论的支持。Q矩阵理论可将不可观察的认知属性转化为可观察的项目反应模式，并与被试的知识状态相连接[12]。Q矩阵理论主要涉及属性及其层级关系(A&H)、邻接矩阵(Adjacency Matrix,A矩阵)、可达矩阵(Reachability Matrix,R矩阵)、典型项目考核模式IRP、测验矩阵Qt等。矩阵关系及主要含义如图1所示。

图1 矩阵关系及主要含义

Leighton等人于2004年将认知属性层级关系划分为4种基本类型，分别为线性、分支、收敛和无结构型，这些基本类型可以组合成更加复杂的网络层级关系。将认知属性层级关系用K×K的0-1矩阵表示得到A矩阵(K为属性个数)，通过对A矩阵求幂或者用Wallshall算法得到R矩阵；由R矩阵通过扩张算法可以得出典型项目考核模式用于反映学生个体对认知属性的理想掌握结构；继而选择典型项目考核模式中的若干列即可得到测验矩阵Qt。测验矩阵Qt是认知诊断测试编制的蓝图，不论认知属性层级关系网络多么复杂，该理论与方法均适用且已得到验证。

认知诊断也离不开认知诊断模型的选择与应用。获取学生答题数据后，首先要根据知识结构假设和项目结构假设选择或开发认知诊断模型[13]，然后运用认知诊断模型，根据被试者在测验矩阵Qt上的作答反应计算其知识状态,最后得出被试者在各认知属性上的属性掌握概率以及作答反应模式。将学生个体的作答反应模式与认知属性及其层级结构进行对照，即可得出学生个体内部的认知结构，分析出学生的优势和劣势。

3 认知诊断评估工具的开发

“操作系统”是高校计算机类专业的核心课程，《处理机调度》作为重点章节，对学生能力的培养起着至关重要的作用。该课程着重概念和原理，重视基本原理的学习，旨在引导学生在基本原理的指导下开展实践，培养学生的科学精神、创新能力和可持续发展能力[14]。如何测评学生对“操作系统”基本理论、基本知识、基本技能和基本方法等的掌握程度，并判断学生的内在思维和认知能力是否达到培养要求，是实现学生个性化学习和教师因材施教的关键。本研究选取“操作系统”中《处理机调度》单元为测试内容，参照文献[8]总结归纳的认知诊断测试编制基本过程，依据认知诊断方法与技术编制《处理机调度》单元测试卷作为认知诊断评估工具。

3.1 确定并验证认知属性及其层级关系

进行认知诊断评估首先需明确评估指标，依据2018年教育部颁布的《普通高等学校本科专业类教学质量国家标准》[15]的要求。本研究邀请领域内专家和3位一线学科教师，依据教学大纲内容及课程标准，根据德尔菲法[16]梳理出《处理机调度》单元的认知属性框架如表1所列。同时每个认知属性耦合布鲁姆教育目标分类体系进行分类[17]，作为试题编制题目难度参考标准。

表1 《处理机调度》单元对应的认知属性框架

图2 《处理机调度》单元的认知属性层级关系

3.2 认知诊断测验的正式编制

在获取认知属性及层级关系后，按照认知属性及层级关系，可知认知属性个数K=7，构造出反映属性之间直接和间接关系的A矩阵如表2所列，接着通过求幂的方式得到R矩阵如表 3所列，再通过扩张算法得到典型项目考核模式IRP，通过选择IRP中的若干列得到测验矩阵Qt。测验矩阵Qt是认知诊断测试设计的蓝图，直接影响诊断结果的准确率[19]。编制认知诊断测验需要遵循两个基本原则：一是实现对每个属性的测量诊断；二是实现对每个属性的多次测量诊断[8]22。为保证题目效度，本研究参照章节习题与历年考研真题，编制出《处理机调度》单元的测试卷，共14题。测试中的各试题按照认知属性及层级关系的指导严格划分，表征题目和属性关系的测验矩阵Qt如表4，本研究的测验中包含R矩阵的试题，符合国内学者丁树良等提出的测验考核模式中应包含可达矩阵(R矩阵)中所有列的原则。

表2 《处理机调度》单元的A矩阵

表3 《处理机调度》单元的R矩阵

表4 测验矩阵Qt

4 实验结果与分析

本研究以西南地区某高校计算机专业共125名学生为测试对象，利用云班课平台发布测试。为保证测试结果能准确反映学生的真实情况，测试设置固定答题时长、题目乱序和选项乱序，且在课堂中由学科教师进行监督，共回收有效试题卷125份。实测数据采用R软件中的CDM包进行数据分析。利用Qt矩阵和学生作答数据分别与认知诊断模型DINA、DINO、GDINA进行拟合，得到的模型拟合情况如表 5所列。其中相对拟合指标AIC与BIC的值越小，表明模型拟合越好，故本研究采用DINA模型进行分析。模型的判准率已得到验证，DINA模型适用于二值计分制0-1计分方式，即0为答错，1为答对，该模型的数学表达式为：P(Yij=1|ai)=(1-Si)ηijgi1-ηij。

表5 模型的数据拟合指标

通过Excel汇总分析，所有学生在各个属性上的掌握情况如表6所列。可观察到全体学生对各属性的掌握概率平均值高低次序为：A1、A2、A3、A4、A5、A7、A6。教师可以根据学生属性掌握比率确定相应的教学策略，判断是否讲授新课。通过统计分析全体学生属性掌握概率，发现大部分学生处于中上等水平，需要进一步促进中间水平学生转化为优等生，同时个性化辅导后进生，提高对《处理机调度》单元基础内容的理解。值得注意的是全体学生对认知属性A6、A7的掌握概率均远低于其他认知属性，结合认知模型可知，认知属性A6为多级反馈队列调度算法的应用，A7为实时调度算法的应用，二者均是在基本原理的基础上进行综合应用与分析，难度较大。且认知属性A6是对A1到A5属性的全面综合应用，囿于“操作系统”这门课中理论和概念性知识较多，猜测其原因可能是教师授课过程中将侧重点放在概念性知识讲解上，忽视了对程序性知识的系统性讲解及其综合应用，教师可采取相应教学补救措施。

表6 学生对属性的掌握情况

采用最大后验概率估计(MAP)对学生的认知掌握模式进行归类，通过对比典型项目考核模式进行归类计算，得归入率为92%。基于DINA模型的诊断分类结果如表7所列，其中属性掌握模式(1111110)最多，(1110001)次之，其余属性掌握模式比率均较少。对于全1模式(1111111)的掌握情况只有7.2%，说明学生掌握认知属性结构单一。属性掌握模式亦揭示了学生的知识结构，大多数学生对基础性知识掌握较好，但其综合应用能力有待加强，应巩固所学、强化综合应用能力。

表7 基于DINA模型的诊断分类结果

在传统测试分析中，通常认为分数一致的学生其学习掌握水平相当。但在认知诊断测试中，同分数学生的内部知识结构可能不同，不同分数学生的内部知识结构却可能相同。学生的起点能力、认知水平、知识结构影响着后续教学策略的制订与执行。基于认知诊断的形成性评价能帮助教师及时调整教学策略，教师结合学生个体的认知属性掌握情况，为其推荐学习路径，提高学习效率。同时，在课堂中应体现学生主体地位，将学生的知识状态和知识结构以雷达图、二维柱形图等可视化反馈给学生个体，能让学生快速了解自己的薄弱点与优势，通过自主学习或合作探究的方式，将薄弱点逐个提升，发挥学生主观能动性。

5 结语

科学的测评对人才的科学培养起着至关重要的作用，认知诊断作为新一代测量理论的研究范式，可挖掘学习者的知识状态、能力水平和认知加工过程，帮助教师及时调整教学进度和策略方法，以达到促进教学的目的。同时，挖掘日常测评数据中承载的多元信息，提高分数的可解释性，以测辅学是当前教育研究的重要内容[20]。本研究以《处理机调度》单元为测试内容，编制认知诊断单元测试并实施，应用认知诊断DINA模型深入探究学生对各属性的掌握情况，以期提供有效的教学反馈。认知诊断不仅能促进个性化教学，通过“数据—信息”的转换，将测评结果数据通过定量分析，实现精准定位、精准分析、精准反馈的机制，对向学生推荐个性化学习资源有一定的优势。同时，将认知诊断应用至自适应学习系统中，能及时发现学生在学习过程中遇到的问题，实施学习预警机制，及时发现问题、解决问题，为学生个性化学习提供帮助。