脚本一致性测试的应用现状及对国内护理教育的启示

2023-07-13 10:36冯梦轩乔远静李丹丹夏玉雪梁文娜秦光雅刘小菲
护理研究 2023年13期
关键词:脚本一致性专家

冯梦轩,乔远静*,李丹丹,王 旭,夏玉雪,梁文娜,秦光雅,刘小菲

1.山东中医药大学护理学院,山东 250300;2.山东省精神卫生中心

临床推理(clinical reasoning,CR)是指将已收集的信息与专业人员的知识和既往经验相结合并用于做出高效决策的智力活动,是卫生健康专业人员的核心能力[1]。随着医疗保健需求的不断提升和诊疗护理技术的迅速变革,在复杂和不确定的条件下做出决策已成为当前临床护理实践的规范,而健全的临床推理能力则成为护理专业学生(简称护生)必须发展的一项关键技能[2-3]。研究结果显示,我国新入职的护理人员普遍欠缺临床推理能力,这可能会导致护理不良事件的风险增加,从而影响护理工作质量和病人安全[4-5]。因此,在校期间如何尽早对学生的临床推理能力进行清晰、有效的培训和评估成为护理教育实践中亟待解决的问题。国内外护理教育者通过开发启发式教学、案例教学、床边教学、以问题为导向的教学(PBL)、小组学习、角色扮演、撰写反思报告等教育策略来促进护理学生临床推理的发展。这些教育策略虽然在一定程度上促进了护生临床推理的发展,但未能很好地关注临床实践所具有的不确定性,忽略了护理人员需要根据临床状况的实时变化及时调整干预措施而做出最佳选择[6],因而存在教学效果的局限性。同时,如何清晰、客观地评价护生临床推理能力的发展水平也是护理教育者所面临的难题。

脚本一致性测试(the script concordance test,SCT)是基于脚本理论开发的一种测评工具,旨在评估在不确定条件下的临床推理和决策质量,该测试允许学习者在案例所模拟的不确定情境中通过评估、判断以促进其临床推理能力的发展。国外大量研究证明,脚本一致性测试具有培养和评估临床推理的双重功能,目前已广泛应用于医学、护理学教育等领域。我国尚未检索到关于脚本一致性测试研究与应用的相关报道。现对脚本一致性测试的起源、发展及应用现状进行综述,探讨脚本一致性测试对我国护理教育的启示,以期丰富国内护理教育中促进临床推理能力提升的教学策略和评价工具,进一步提升护理专业人才培养质量。

1 脚本一致性测试概述

1.1 起源

脚本一致性测试是20 世纪90 年代由Charlin 根据脚本理论开发的一种测评工具,旨在评估学习者脚本的发展,起初主要是基于案例考核形式来评估医学生的临床推理能力[7]。脚本是基于现实世界中反复出现的典型情境和活动而形成的知识结构[8],可以帮助人们在面临相同场景时动员记忆储备从而快速做出最佳决策。随着脚本理论的发展,脚本这一术语应用于医学领域,并将医生所具有的以治愈病人疾病为导向的知识结构称为疾病脚本[9]。根据脚本理论,特定临床情境下,临床医师会自动在脑海中激活一系列疾病脚本,这些疾病脚本帮助医生初步确定病人可能存在的临床表现或干预方案的假设,然后医生通过进一步收集、分析病人的新信息,从而判断新信息对初始假设的影响进而做出临床决策[10]。此外,该理论认为疾病脚本的丰富程度与医师的临床经验相关,并随着经验增加而不断完善。脚本一致性测试是将有经验的医生的疾病脚本与学生的疾病脚本进行比较,通过观察学生答案与该领域专家答案的相似度来测量评价学生临床推理能力的水平[11]。

1.2 基本结构和特征

脚本一致性测试是对临床推理的定量测量[12],旨在探究参与者的知识在面对临床问题时能否有效地组织起来[13]。与其他以高阶思维评估为目标的评估方法相比,脚本一致性测试具有有效、简便、可行的优势,成本低,可操作性强。脚本一致性测试由一系列的临床情境及其下设的评估项目组成。脚本一致性测试借助不完整、模糊的临床情境文本为被测试者呈现复杂多变和不确定的临床问题;每个情境下设3 个或4 个评估项目,这些项目根据人文关怀的人的方面、治疗关系和护理行为3 个维度组合在一起。每个项目又分为3 个部分:临床干预的假设或选择、新信息(描述临床情境的演变过程)以及5 分的李克特式量表。具体结构见表1。在测评时要求被测试者必须对每个项目进行分析,判断新信息的出现对已设定的假设起到了加强或是削弱作用,做出临床决策[14]。但需注意每个场景中的项目都是相互依存的,被测试者必须反思每个项目才能做出决定[15]。此外,脚本一致性测试的评分方法具有独创性,在制定评分原则时脚本一致性测试考虑到专家之间推理过程的可变性,其评分系统采用组合评分法,即测试中没有标准的正确答案,每个答案的赋分由选择该答案的专家数量决定,选择该答案的专家越多,其赋分越高[16]。

表1 脚本一致性测试案例示例

2 脚本一致性测试的开发

2.1 选择需要应用的临床推理情境

选择临床推理情境是开发脚本一致性测试的首要环节。选择情境时需充分考虑本次测试的评估目的(如形成性评估、认证维护等)、目标群体(如学生、护士、住院医生等)和涉及的知识领域(如老年医学、急危重症护理学等)等[17]。且开发者开发前应构建测试的总体知识点结构图,确保测试问题能够全面涵盖预期的知识领域,提高测试结果的内容有效性。

2.2 编写案例情境和测试项目

案例编写过程是保障测试有效性的关键环节,通常选取常见且具有代表性的案例情境作为素材,且为了优化测试的创造性,脚本一致性测试案例情境以及测试项目应由两名专业人员共同编写[17]。在案例情境设计中,编写者须系统地描述出有利于专家做出正确临床决策所必要的情境信息,编写项目时应遵循关键特征方法,即对问题进行描述时要集中于解决临床问题最有用的要素。通常标准化脚本一致性测试应包含20个案例及其下设的60个项目,测试时间为60~90 min,此时,测试的Cronbach 's α 系数大于0.75,具有良好的内部一致性[18]。

2.3 脚本一致性测试案例专家验证

在进行测试之前,应将构建的初稿发送给2 名或3 名独立评审专家进行测试项目的反馈,以此来提高脚本一致性测试案例的内容效度[19]。Fournier 等[20]设计了脚本一致性测试项目的质量网络,从方案、问题和专家小组3 个方面进行把控,专家可以参考质量网络条目来评估脚本一致性测试项目质量,删除重复或低质量的问题或案例,进一步提升案例质量。

2.4 制定评分网络

2.4.1 专家小组测评脚本一致性测试案例经评审专家验证后需招募专家小组单独进行测试,通常由10~20 名专家组成的小组可以保证学生在测试中能够获得客观、可靠的评价分数[18]。对于专家的遴选标准目前尚无明确规定,但脚本一致性测试开发指南中建议根据评估目的选择在本领域内有多年实践经验以及具有较好临床敏锐性的专家进行测评,以保证测评分数的有效性[17]。

2.4.2 构建评分键

专家小组测试的答案会被用于构建评分键。脚本一致性测试的独创性在于使用组合评分法,其测试中没有正确答案,每个答案的赋分由选择该答案的专家数量决定,选择该答案的专家越多,其赋分越高。如10 名专家参加测试,某个项目选择+1 分的专家为8人,选择+2 分的为1 人,选择0 分的为1 人,-1 分、-2分选项无专家选择。那么,+1 分选项的赋分为0.8(8/10)分,+2 分、0 分选项的赋分分别为0.1(1/10)分,-1 分、-2 分选项的赋分为0 分。测试的总分是每个项目获得的分数之和,最终对得分进行标准化,转化为百分制。考生的得分越高,代表其疾病脚本与专家的疾病脚本越接近,临床推理能力就越强[21]。

2.5 检验信效度,优化脚本一致性测试案例

优化测试的第一步是要分析专家小组的答案,主要是通过离均值法分析完成脚本一致性测试小组成员的分数分布和方差,确定最终用来构建评分键的专家小组成员[22]。此外,还需要根据考生的回答进行项目分析来优化脚本一致性测试,主要是对所设立临床情境的数目、每个情境下设问题的数目以及问题所涵盖的维度进行深入研究来确定最终的脚本一致性测试情境和项目[17]。根据学生测试的结果进行统计学分析,用Pearson 相关系数计算每个项目的得分与总得分的相关性,然后逐步校正相关性低或呈负相关的项目。采用Cronbach's α 系数检验脚本一致性测试的内部一致性,逐步剔除信效度偏低的项目,使测试的Cronbach's α 系数大于0.75,形成最终版的脚本一致性测试案例。

3 脚本一致性测试在国外的应用现状

3.1 脚本一致性测试在医学领域的应用现状

脚本一致性测试最初应用于医学生临床推理能力的评估,在临床医学、药学、麻醉学、精神病学、口腔等领域得到有效验证[14,23-25]。目前,脚本一致性测试在医学领域的应用范围进一步拓展,涵盖了医学生的培训评估、住院医师培训和继续医学教育,在临床推理教学和评估方面发挥了重要作用[26-28]。Steinberg 等[19]将急诊医学中的脚本一致性测试(SCT-EM)用于评估急诊住院医师,发现其可以有效区分住院医师和专家小组的临床推理水平,且大多数考生认为该测试易于理解,测试实践充足,题目符合真实临床实践场景,有利于评判其临床思维能力的发展。2017 年,Cooke 等[29]开发了一种新型的脚本一致性测试病例设计,即演化版的脚本一致性测试(E-SCT),通过逐步嵌入正在演变的临床问题对住院医师进行测评,结果表明其可有效区分不同级别的住院医师,是记录住院医师培训期间推理过程的有效工具。

此外,近年来有专家认为脚本一致性测试是对临床推理的定量测量,若增加有声思维的定性成分可使学生临床推理的评价体系更为丰富[30]。Ottolini 等[14]让儿科住院医师通过脚本一致性测试进行自我评估,并要求回答问题时口述自己的思维过程(称之为“有声思维”或“大声思考”),结果显示医师回答脚本一致性测试问题时“大声思考”可显著提高认知水平,这有利于锻炼医师深度思考的临床决策能力。

国外学者亦将脚本一致性测试应用于医学相关专业课程中来培养学生的临床推理能力,如Funk 等[31]在药学专业的糖尿病和代谢综合征药物治疗课程中将10 个案例作为形成性活动呈现给学生,在学生小组讨论并做出答案总结后,教师通过深度分析学生与专家之间思维产生差异的原因,帮助学生纠正错误的思维方式,从而优化学生的思维构建。

综上所述,脚本一致性测试应用于医学领域较早且广泛,主要用于医学生的期末考试评测或用于区分住院医师的经验程度。经验证,脚本一致性测试能够简便、直接、客观、充分地测量评价学习者的临床思维能力,是一个标准化程度较高的测量工具。同时,对发展学习者的临床推理能力具有积极推动作用。

3.2 脚本一致性测试在护理领域的应用现状

脚本一致性测试在护理领域的应用较晚,目前仍处于起步阶段。2010 年以来,美国、加拿大、英国、澳大利亚、菲律宾、泰国等国家的护理教育者开始尝试使用脚本一致性测试培养、测试护生的临床推理能力,已在人文关怀、护理管理、儿科护理、临床病情恶化以及老年人群药物治疗等方面对其有效性进行了研究[22,32-35]。2014 年,Dawson 等[22]开 发 了 涵 盖 护 理 专 业所特有的人文关怀维度的脚本一致性测试案例,并对护生进行评估,研究结果证实了脚本一致性测试在测量护生临床推理方面的可靠性和有效性,认为脚本一致性测试可清晰评估、区分学习小组和学生个人的临床推理能力,并且证实了经验是发展护理临床推理的关键因素,这为脚本一致性测试在护理教育中的应用提供了有效证据。此外,Power 等[30]将“有声思维”与脚本一致性测试相结合,让护生为每个测试项目选项的答案写下理由,帮助教师确定所选答案的理由是否正确,并且让学生对选定案例进行汇报,帮助学生澄清了错误的临床推理过程,锻炼了学生临床推理能力,收到了学生良好的反馈。美国1 名学者在儿科护理学中基于脚本一致性测试的原则开发了脚本协调活动结合“有声思维”方法,并指出此方法可通过创造积极的课堂学习环境,鼓励提问、讨论及分享临床场景的不同观点,帮助学生适应临床过程的复杂性,进一步提高了学生的学习信心,为培养和评估学生临床推理提供了一种认知激励教学策略[12]。

脚本一致性测试在护理领域的有效性验证进一步拓展了该工具的使用范围,并在研究中将脚本一致性测试的定量考察与“有声思维”的定性考察相结合来培养和评估护生的临床推理能力,丰富了脚本一致性测试的应用与发展。

4 脚本一致性测试对国内护理教育的启示

4.1 脚本一致性测试可作为评估国内护生临床推理能力的可靠工具

当前临床实践环境日趋复杂化,使护理人员在工作中面临巨大的挑战,护生作为未来临床实践的主要人员,应尽早培养和有效评估其临床推理能力,从而帮助其快速分析临床情况并准确做出决定,确保为病人提供高质量的护理[36]。而考核评价体系是检验护生培养质量的标尺,对“教”和“学”均具有重要的导向作用。临床推理作为一种复杂的高阶思维,如何准确、有效评估其发展水平在护理教育中是持续存在的难题[37]。目前,教学中测评护生临床推理能力的方法包括直接观察法、口试、客观结构化考试(OSCE)、床边综合能力测试和多项选择题(MCQ)等,但实践中都存在一定的局限性[38]。如多项选择题作为一种常用的评估方法,可以在短时间内有效评估学生的知识储备量,但学生选择的均为预先确定的正确答案,与复杂的、不确定的护理临床实践相违背,不足以准确、充分、系统地评价临床思维能力。客观结构化考试可通过直接观察模拟临床情况下护生的行为和技能来有效评估临床推理过程,但其考核程序比较复杂,考核时间较长,给考生带来了一定压力,且费用较高,需要大量的人力、财力和物力,具有一定的实施难度。

脚本一致性测试旨在提供一种简便、可靠、标准化的方法来评估临床判断能力,是一种更高水平的评估工具。与传统的评测方法相比,脚本一致性完成测试和评分所需的时间更少,需要的设备或人力资源较少,易于管理和评分。并且案例文本是在真实临床实践背景下构建,基于情境的反思决策过程实现了在高度不确定的临床情况下评估护生推理能力的目的。因此,脚本一致性的测评形式更符合实际临床实践,是以解决临床问题为导向的测试方法,可以简便、有效地考察护生在面对复杂的临床问题时知识的组织能力和解决护理实践问题能力。虽在开发高质量的脚本一致性测试临床场景以及招募合适的专家小组成员方面存在一定难度,但仍不可否认脚本一致性测试为客观量化考生的临床推理能力提供了新思路。因此,脚本一致性测试在我国护理教育评价体系中的引入与应用应得到重视。

4.2 脚本一致性测试联合“有声思维”可作为一种培养护生临床推理能力的教学策略

“有声思维”是指学生通过写作和口头陈述理由,以确定所选答案的理由是否基于合理的临床推理,并让学生参与讨论,以澄清错误的临床推理或对数据的误解[39]。脚本一致性测试联合“有声思维”是指让学生书写或口述每个情景中的新信息如何影响了他们的思维过程,以及解释选择答案的原因。与单一使用脚本一致性测试比较,结合“有声思维”可以进一步优化脚本一致性测试,弥补脚本一致性测试评价的单一性,尤其对于临床推理实例分析有误的考生,“有声思维”提供了可以针对性纠正考生错误思维过程的机会;其次,将学生提交的书面思考与专家小组的思维过程进行比较,学生可以获得专家反馈,促进了学生和专家之间的对话,帮助学生增强临床情境意识和提升临床推理能力,具有教学价值。但此方式仍处于起步阶段,需要进一步研究和验证。

5 小结

培养护生临床推理能力的重要性目前已达成共识,而如何更好地开展教学研究需要考核评价体系的支撑与指导。脚本一致性测试作为一个标准化程度较高的测量工具,不仅能够简便、直接、客观、充分地评价学生的临床推理能力,且在测评时能够优化护生临床推理的思维构建,促进其临床实践能力的发展。脚本一致性测试既是可靠的临床推理评价工具,也是有效的临床推理训练方法,对丰富我国评价和培养护生临床推理能力具有重要意义和实用价值。因此,我国应积极引入脚本一致性测试并进行开发和应用,为进一步客观、科学地评价护生临床推理能力提供可靠的评估工具,进一步提升护理专业人才培养质量。

猜你喜欢
脚本一致性专家
酒驾
关注减污降碳协同的一致性和整体性
致谢审稿专家
注重教、学、评一致性 提高一轮复习效率
IOl-master 700和Pentacam测量Kappa角一致性分析
安奇奇与小cool 龙(第二回)
数据库系统shell脚本应用
快乐假期
请叫我专家
基于事件触发的多智能体输入饱和一致性控制