EBL视角的阅读推广效果评估研究
——以美国实践为例

2018-08-27 11:34
山东图书馆学刊 2018年4期
关键词:循证证据评估

蒙 媛

(湖北医药学院,湖北十堰 442000)

随着全民阅读建设的深入开展,阅读推广研究也逐渐向着精细化、深入化发展。循证图书馆学(Evidence-based Librarianship,简称EBL)作为图书情报领域的新兴概念,和阅读推广领域有着天然的相关性。不仅在开展阅读推广的证据性和实践价值上有指导意义,更在如何进行阅读推广评估方面有着参考价值。利用循证图书馆学的理论指导,借鉴美国相关循证阅读推广实践,来了解阅读推广人在活动中的干预的有效性,给予阅读推广活动客观、可靠的效果评估,进而运用所获得的最佳证据制定决策,这是使阅读推广等图书馆工作向实证科学道路健康发展的必经之路。

1 循证图书馆学

循证图书馆学(Evidence-based Librarianship,简称EBL)是图书情报领域的新兴概念。EBL起源于上世纪80年代兴起的循证医学,循证医学的核心思想是在临床上有机结合最佳证据、临床经验和病人价值,强调病患治疗应建立在有充分的科学证据的基础之上。医学图书馆员作为帮助医生进行文献检索,查找可靠证据的主体,相关信息服务为循证图书馆学的产生提供了契机。

1997年,美国Eldredge教授首次正式提出EBL这一术语[1]。Eldredge阐释,EBL大致分为五个实施步骤。第一,提出和界定问题;第二,检索已发表和未发表的文献以及与问题有关的资源作为备用证据;第三,严格评价所获取证据的有效性(真实程度) 和相关性;第四,应用高质量的证据;第五,评估实践的效果。[2]英国谢菲尔德大学学者Booth提出“EBL是能促进证据收集、解释和整合的一种信息科学的方法,真实而重要的证据由使用者报道、馆员观察和从研究中获取,馆员将可获得的最佳证据与用户的需要和取向(爱好)有机结合以用于提高专业判断的可靠性”。[3]

王先林在《循证医学与循证图书馆事业》中首次将EBL引入我国图书馆学界[4],而部分学者也逐渐开始研究循证图书馆学在图书馆学中的应用及其开展的意义,特别是在阅读推广工作中的意义。刘璇提到,EBL可以应用到图书馆“市场/营销领域:将图书馆及其提供的服务营销提供给其现有用户和潜在用户。”[5]于良芝等也认为,EBL和图书馆阅读推广之间有着天然的契合点[6]。

首先,EBL的基础是真实而可靠的证据,许多阅读推广研究正是基于实践层面来展开,且国内外各项阅读推广活动开展时间年深日久,积累了许多研究经验作为实践证据;其次,在阅读推广活动中,用户需求和取向是活动成功开展的基础,馆员经验是活动顺利开展的保障,在拥有最佳证据的前提下,同样需要有机结合三者,来获取推广的最佳效果;第三,馆员进行阅读推广活动的过程,可以看做是对用户阅读行为进行“干预” 的过程,基于EBL理念,在对活动开展评价时,应更偏向活动在馆员干预后的终点,如用户信息素养的变化、用户满意度、图书馆资源利用率变化,以及投入成本效益比的情况。

由此可见,基于EBL理念对图书馆阅读推广活动进行研究,是一个有潜力,更需要尝试的领域。而国内现阶段相关研究并不多,尤其使用EBL评价理念,对阅读推广活动进行深层次的效果评估研究,尚属空白。

2 美国循证阅读推广实践

2.1 The CIERA School Change Framework实验[7]

当今美国学校改革成为教育政策的核心,而其中最多的讨论就在于如何改变小学阅读计划以提高学生们的成绩。关于阅读改革,美国学者做了大量理论研究,用于指导怎样有效提高阅读能力,然而,这些理论研究并没有实际转化成实践用于指导学生们提升阅读水平。

在这种大环境下,明尼苏达大学的Taylor等学者,摒弃了过去大多是研究学校水平和班级水平对于阅读成长影响的研究思路,而选择用循证的方法评价CIERA校园改革方法的效果。实验将标准更加细化,如学校层面评价标准细化至活动领导力、协作、学校家庭联系度、总体改革忠诚度等,班级层面则细化至课堂教学和教学法等。研究旨在一方面通过考察学校实施改革是否成功,对学生的阅读和写作能力是否有积极影响,评测学校改革结构和发展学生阅读水平的效果。另一方面,通过评测学生阅读和写作能力,提高教师的教学水平。

实验选取了美国康涅狄格州、北加州、艾奥瓦州、明尼苏达州和加利福利亚州的13所学校作为实验样本,其中8个学校学生样本为二年级,5个学校学生样本为一年级。这些学校中,81%为较贫困的学校,7所的地理位置在大城市中,3所在人口10万以下的小城镇,3所在偏远地区。学生中20%使用英语母语人种,71%为有色人种。共有92名教师和733名学生参与到这项实验中作为分析样本。

实验前期通过走访调研,了解每个学校的校级领导团队、教师构成、制度、硬件设施等。根据相应的指标,将样本分为大型组和小型组。要求大型组每月做三次时长为1小时的研究学习讨论,主要关注学校发展、与领导层面的交流、校园范围阅读活动地开展、与家长的配合关系等。小型组则被要求更关注阅读教育,教师们被要求阅读理论研究文章、观看教学视频、分享自身经验、访问CIERA校园改革的网站等等。

在用CIERA校园改革方法进行干预的过程中,实验从学生层面和教师层面进行效果评估。将每个班级的学生,根据阅读能力的不同分成高、中、低三个组,随机选取每组3个,共9个学生作为评测对象。通过5月、9月两次同样的测试,评测学生们在文化素养上如语言流利度、阅读理解力、写作能力等方面的变化。用三个标准来评估学生写作阅读能力,分别是标准的阅读理解测试、朗读一篇普通文献的语言流利度(每分钟朗读词语的正确率[WCPM])以及指定的写作测试。教师层面,一年进行2-3次面向教师的采访,根据CIERA校园改革的内容,通过使用阅读指导的深度、与家长联系的频繁度、阅读指导的反馈和依赖度等等的教师反馈,来建立学生阅读能力是否提高的关联。同时从教师课堂活动中,通过定期观察课堂中的问题难易程度、词汇认知策略、课堂反馈等因素,来进行改革效果的评估。

实验结果不仅从理论上丰富了如何选择改革努力的方向,也从数据分析上为课堂时间、提高学生阅读能力、组织校内阅读活动等提供了有效参考。

2.2 Juniper Gardens Children’s Project[8]

美国堪萨斯大学的Greenwood等,在Juniper Gardens Children’s Project中运用循证的方法,研究了运用证据和干预对于阅读能力提升的影响。研究持续多年,运用专业的提升和发展模型对于一所小学进行文化素养提升实践,并保证能够在所实验的班级里进行常规的实践。进而对实验样本进行评估。

研究选取了一所小型的、城市小学。该校从幼儿园到5年级,共有学生335-350人。90%为白种人,3%为有色人种。全部学生都作为研究对象参与到该项活动中,并根据年级划为三组,分别是幼儿园组、1-3年级组、4-5年级组,每年级组2个班级。同时根据研究目的,选取了36个学生作为观察样本。教师在班级中按照阅读能力危机的等次将学生划为低危、中危、高危3组,并在每组中随机选取两名学生,3个年级共36名。实验对于这36名学生定期进行观察和评估。

实验使用原有的证据、经验、发展方案对教师的实践过程进行干预,为教师提供双重指导:(a)提供原有经验及方案,如班级朋辈指导(Class-Wide Peer Tutoring)、作者研讨会 (Writer’s Workshop),同时配合班级内指导;(b)对于教师的个案问题解决,如帮助幼儿园老师进行发音意识的指导训练。实验组也会定期更新指导模块,同时允许教师们自身去发现新和尝试新的模块。在实践过程中,任何一个新的模块的实践前后,都会对教师的水平和对项目负责任度等情况进行观察和评估。

通过实验,对参与指标的效果评估包括:

(1)教师。对于教师实践能力的改变,从教师提出的新策略的数量、教学生态的观察、教师和学生在阅读指导中行为的观察、以及课程基础上的阅读流畅度评测。

(2)阅读教育过程观察。项目使用MS-CISSAR来进行课堂观察。MS-CISSAR是一种多项目的课堂观察方法。个体项目评测下分为生态、教师、学生三个类型,每个类型下又有下位类。学生评测项目下位类为:学业、作业、不当行为;课堂生态下位类为:课堂设置、学科活动、作业、座位安排、教学结构等;教师项目的下位类为:讲解、行为、认可和关注。

(3)观察者。首先要对实施评测的观察者进行培训,培训内容包括学习培训手册、实践课堂观察等。观察者的一致度在实验中也至关重要,每个观察组安排2个观察者,观察目标和观察过程都保持一致,对观察者之间的距离也有严格的要求,保证他们既能保持同步,又不互相影响。两个观察者的观察结果将被输入到电脑中,通过Hollenbeck提出的Kappa衡量指标算法,计算出最科学的、有一致性的结果。

(4)阅读能力评估。主要评估阅读的流畅度,即每分钟阅读正确的和错误的词汇量。实验选取指定的、符合学生阅读能力的阅读材料,将每位学生安排至安静的区域进行阅读评估。实验让他们进行1分钟的阅读,在阅读过程中,如果出现不认识单词、念错单词或对单词的犹疑超过3秒,则记错误1次。这项阅读能力评估持续了3年,共做了396次。

根据各项评估,3年的实验,证明基于大学研究者指导、教师、学校多方合作的运用证据进行阅读干预的方式,对于学生的阅读能力、阅读行为有显著提升效果。

3 EBL视角的阅读推广效果评估启示

3.1 采用严格的证据

根据EBL的思想,“合乎科学”不仅意味着阅读推广活动需要有理论的指导,即建立在推广活动组织者对图书馆使命、阅读的价值、阅读推广活动、阅读材料、读者及其行为等方面的认知与理解之上,而且意味着阅读推广活动的策划必须有直接的证据支持[9]。这就意味着,基于EBL开展的阅读推广,在开展活动之初,所设计的推广方式就不能只建立在单纯的理论推断、直观感觉和流行做法上,而需要建立在严谨可靠的实践证据上,同时,这些证据是经过实践者评价、判断、选择、整合,证明是有效的实践证据。Juniper Gardens Children’s Project作为循证阅读推广的典型案例,将推广过程中的每个介入和干预活动都做到了“有据可依”。具体如下表:

介入手段(活动)分 组123证 据分享阅读经验KTeale & Sulzby (1987)音韵觉识K1O’Connor,Henkins,& Slocum (1995)重复阅读K1Samuels (1979)初步混合阅读11Peretti (1987)早期介入阅读11Taylor,Short,Frye,7 Shearer (1992)共读1,21,2,32,3Mathes,Fuchs,Fuchs,Henley,& Sanders (1994)词族11Juel & Roper-Schneider (1985)高频词11Leibert (1991)作者研讨会1,21,2,32,3,4Scardamalia & Breiter (1986)阅读朋辈指导2,32,3,4Greenwood,Delquadri,& Hall (1989)拼写朋辈指导2,32,3,4Greenwood et al.,(1994)共读解疑33,4Mathes,Fuchs,et al.,(1994)交互教学33,4Rosenshine & Meister (1994)

注:K=幼儿园,1=一年级,2=二年级,3=三年级,4=四年级

3.2 构建多维度评估体系

全面、良好的阅读推广评估体系是客观、科学评价阅读推广效果的前提。国内部分学者对高校图书馆阅读推广评估进行了研究。如王波认为可以从活动本身以及读者两个方面进行评估[10]。胥迅则提出从内部和外部入手[11]。卢苗苗则从活动保障程度、活动实施质量、参与者满意度、参与者收益度、活动绩效5个方面构建评估体系[12]。但总体来说,还不够细化和全面。从循证图书馆的角度来看,进行阅读推广评估需要构建更加完整、涵盖多种参与因素、多维度的评估体系。如 CIERA School Change Framework实验中,对于学生阅读能力是否提高的评估,不仅仅评估了最终效果,更综合评估了各项参与指标,如校级领导团队、教师教学质量、学校制度、硬件设施等等。Juniper Gardens Children’s Project也同样是多维度地综合评估了各项参与因素,除了对阅读能力的评估外,还评估了教师的实践能力、教育过程效果、观察者能力和一致度等等。在阅读推广活动中,任何参与指标都会对最终的活动效果有影响,基于上述两个循证实验的构建,在进行阅读推广活动效果评估时,应不仅仅考虑参与者满意度和收益度,也应当对包括影响活动的各类因素包括图书馆软硬件设施、资金保障、阅读推广人素质、推广过程效果观察、评估者能力等等各方面进行多维度考量。

3.3 使用专业评价标准

为得到科学的评估结果,仅仅考量参与指标是远远不够的,更需要对参与指标进行专业评估。从美国的两项循证实践可以看出,实验在评估每个参与指标时,都有专业的评估标准。如评估学生写作阅读能力时,分别使用的是WCPM(每分钟朗读词语的正确率测量法)和CBM(核心课程测量法);观察课堂反应时分别使用的是基于Greenwood等学者研究的观察体系和MS-CISSAR课堂观察方法。对课堂观察的结果也使用了Hollenbeck的Kappa衡量指标计算出有一致性的结果。这说明,只有在评估各项参与指标时依据了科学的评估标准,才能得出最客观的效果评价结果。

3.4 建立长效评估机制

阅读推广是一项需要长期、大量投入的项目,对于阅读推广活动效果的评估,也同样需要用长远的眼光审视,建立长效的评估体系。文中的两项实践,不仅用了大量时间做前期调研,更花了2-3年的时间来进行整个活动的效果评价。同时,评估并不是仅限于活动首尾,而是定期跟进,随时了解反馈,跟踪整个活动进程。这不仅能够了解不同阶段的活动效果,把握活动全局,作出更科学的评估,更能随时获取活动反馈,在活动过程中形成良性循环,促进阅读推广的长效发展。

4 结语

基于EBL视角的阅读推广实践正在赋予阅读研究新的价值。它所强调的基于证据研究的干预和介入,以及效果评估,都推动了传统阅读推广活动逐渐告别直观和盲目,向更加科学、客观方向发展。文中两项美国循证阅读推广实践,在如何设计评价体系、选择评估指标、使用评价方法等方面给了我国循证阅读推广和阅读推广效果评估以一定启示。然而,鉴于EBL和阅读推广的天然契合性以及它与阅读推广研究之间密不可分的联系,EBL在阅读推广领域的应用远不止于此,活动策划、实施、阅读推广人培育等等,都应涉及到对现有研究发现的比较、评估、整合上。因此,借鉴国外先进经验,将EBL和阅读推广有机结合起来,是阅读推广研究领域今后进一步探索和实践的重要内容。

猜你喜欢
循证证据评估
第四代评估理论对我国学科评估的启示
《循证护理》稿约
位置大数据侦查循证研究
对于家庭暴力应当如何搜集证据
手上的证据
手上的证据
评估依据
循证医学的人文精神
“证据”:就在深深的水底下——《今生今世的证据》“读不懂”反思
立法后评估:且行且尽善