“双高”建设背景下教师教学效果的学生评价问卷设计研究

2021-10-09 01:00张秋君阙勇平
科学咨询 2021年38期
关键词:双高效度信度

张秋君 阙勇平

(广西工商职业技术学院 广西南宁 530008)

一、研究背景

国务院于2019年2月出台了《国家职业教育改革实施方案》;教育部、财政部于2019年3月出台了《实施中国特色高水平高职学校和专业建设计划的意见》;广西于2019年8月出台了《广西职业教育改革实施方案》和《实施广西高水平高职学校和高水平专业建设计划的通知》[1]。这一系列文件要求高职院校优化学校、专业布局,深化办学体制改革和育人机制改革,完善教育教学相关标准,推进高等职业教育高质量发展。要完成“双高”建设目标,高职院校的教学评级体系必须不断改革和完善,才能不断推进高职院校教学质量。构建和完善教学评级体系的重要组成部分之一则是教学效果的评价,而学生是教学中最直接的教育对象和服务对象,对教学的是否有效的评价比教师之间和专家评价更真实,更具有说服力发言权。但是,学生评教工作逐渐暴露出很多问题,对学生评教结果的有效性和评教的信度产生了很严重的影响,也在一定程度上影响了师生之间的感情,挫伤了教师的教学积极性。因此,本研究基于调研的基础上,针对高职院校学生在教学效果评价中存在的问题,采用定量的科学研究方法,提出了影响学生对教师教学效果评价的影响因素,从而优化了学生的评价问卷,这对完善教学评级体系,推动教学质量有着重要意义。

二、高职院校教学效果方面关于学生评价问卷中存在的问题

(一)问卷设计缺乏科学性

在研究中发现,部分高职院校编制的教学效果方面关于学生评价问卷存在的问题包含:一是问卷的内容忽视了教学信息化手段带来的变化,也没有结合当下新冠肺炎疫情带来的影响,特别是学生网课后,教师的教学的有效性会受这些变化的影响,因此教学效果的学生评价问卷需要结合网络在线学习的因素进行设计。二是教学效果的学生评价问卷较少从学生的角度和视角去设计。许多高职院校的教学效果学生评价问卷都是从教学管理的角度提出的,更多的是以教师为本位的立场出发,无法体现出学生的主体地位,缺乏对学生诉求的了解。三是教学效果学生评价问卷的指标所占权重大部分是教师之间或者专家们按照个人经验来打分,缺乏对评价指标的定量分析,导致对问卷的科学性和合理性设计产生影响[2]。

(二)评价问卷的信度和效度缺乏合理性

评价问卷设计完成后,问卷的结构维度合理与否,信度和效度可靠与否,大部分由专家的经验进行主观决定,实证的定量分析不足。

(三)对教学效果的评价数据处理不科学

调查研究发现,许多的高职院校对于教学效果的学生评价数据的处理一般只是进行简单的相加平均,接着加权后直接把其当作最后的教学效果评价结果,但因学生的认知差异,打分的区间会有很大的差别。仅仅是把数据进行简单的相加平均,无法体现出学生评分的实际意义,导致评价结果的误差很大[3]。

三、HVC-VSEEQ问卷

国内外许多学者对教学效果的学生评价问卷设计做了大量研究。最经典的学生评价教学效果的问卷是SEEQ,即《大学教师教学效果评价问卷(学生用)》,SEEQ问卷由Marsh教授于1986年首次撰写,在新西兰、印度、澳大利亚、美国、西班牙等众多国家应用时效果都很好。1994年,国内学者将SEEQ问卷翻译成中文,并对问卷的表达方式和题目的内容进行了适当的调整和修改因其问卷的科学性、全面性,结构的稳定性和有效性,中国台湾、香港和内地的许多高校都广泛运用这一工具对教学效果进行测量[4]。

SEEQ问卷由9大维度构成,其中包含41个指标,根据题目内容和表达方式,主要适用于本科院校。研究发现,高职院校在实际中对教学效果的进行学生评价问卷设计时,都是直接采用本科院校的SEEQ问卷标准,或者直接自行编制,缺乏设计的科学和合理性,大部分的高职院校也没有对问卷的效度与信度进行检验。所以,本研究的主要目的为:首先结合SEEQ的问卷内容,编制高职院校教学效果学生评价问卷,其次利用探索性因素分析验证HVC-VSEEQ 的维度结构,最后通过对HVC-VSEEQ的信度和效度检验,测试其稳定性和准确性。

四、研究过程

(一)问卷设计

SEEQ问卷的稳定性仅在本科院校得到有效证明,并且有些表达超出了高职学生的认知范围。因此,本研究根据SEEQ问卷编制HVC-VSEEQ,编制的原则为:一是结合“双高”建设的背景,对高职院校的人才培养方向和学生职业综合素质的要求;二是根据新冠肺炎疫情防控的教学安排情况和教学信息化的趋势;三是结合与高职院校学生就教师的课堂教学效果评价的访谈结果。在对教学效果问卷进行初步设计后,

邀请副教授(含副教授)以上职称的专家们对指标进行评价和修改,使问卷在评价内容、结构、表述等方面更能够符合高职院校的特点,在此基础上设计了HVC-SEEQ问卷。HVCSEEQ问卷总包含16个指标:“学习/价值、教学组织/清晰、个人亲和力、在线学习、考试/成绩”5大维度。项目评价形式采用5点量表,当被要求填写问卷时,要明确项目的指标重要的程度。

(二)取样

本次研究选取了广西工商职业技术学院一、二年级学生为试验对象,共发放了问卷445份,收回了有效问卷420份。被试的样本总量是420人。样本的描述性统计见图1至图4。

图1 样本的性别统计

图2 样本所在的年级统计

图3 样本所在的系部统计

图4 样本所学的专业统计

(三)数据的分析

本次研究通过SPSS 23.0,运用了探索性因素分析,进行数据统计分析,讨论了HVC-SEEQ问卷的评价指标,检验了HVC-SEEQ问卷的信度和结构效度。

五、结果分析

(一)使用探索性因子分析来验证HVC-SEEQ的维度结构

采用SPSS统计软件计算各因子的负荷,表1中KMO的统计量0.956>0.6,Bartlett球形检验的P值0<0.05,说明适合探索性因子分析。

表1 因素分析KMO系数与Bartlett球形检验表

提取公因子。图2列出了特征值大于1的因子,所以在HVC-SEEQ中总共提取了5个公因子。从表2可以看出,5个公因子的累积解释变异为73.243(%),并且其中的第1个公因子的贡献为73.243(%),与其他因子有较大差异。

表2 HVC-SEEQ总方差解释

3 .649 4.055 82.645 4 .564 3.525 86.170 5 .325 2.034 88.203 6 .277 1.729 89.932 7 .252 1.574 91.506 8 .222 1.385 92.891 9 .190 1.185 94.076 10 .184 1.153 95.229 11 .168 1.052 96.281 12 .153 .953 97.234 13 .144 .903 98.136 14 .120 .752 98.888 15 .109 .679 99.567 16 .069 .433 100.000

提取目的:主成分分析法。

本次研究采用了探索性因子分析将16个项目中提取5个公因子。从表3可以看出,每个因子都有一组负载较高的变量,这些变量的公共信息构成了该因子的隐藏特征。根据因子分析结果,把HVC-SEEQ的5个因子(维度)命名为:学习/价值、教学组织/清晰、个人亲和力、在线学习、考试/成绩。

表3 HVC-SEEQ因子负荷表

(二)HVC-SEEQ问卷的信度

本文运用SPSS 23.0统计分析软件计算得到16项指标的总体α系数为0.975(表4),大于0.7,说明该问卷的信度很好,具有使用价值。

表4 HVC-SEEQ问卷信度检验

(三)HVC-SEEQ问卷的效度(表5)

表5 HVC-SEEQ问卷效度检验

检验效度的方法有许多种,效度也可以分为结构效度、外部效度、内部效度、测评效度和统计结论效度。本研究主要采用效度检验中的结构效度去检验HVC-SEEQ问卷的效度。结构效度表示的是测评的结果所表现出来的某种结构和测量值间的对应程度。对结构效度的检查常常使用因子分析方法,在上述的因子分析中,已经检验了各个指标的相关性的KMO和Bartlett球形检验,当KMO趋向于1,则说明效度越高。因子分析得出,HVC-SEEQ问卷的KMO值为0.956,在0.6以上,说明整体的效度还是很高的。

六、结束语

1.本研究以经典教学评价问卷《高校教师教学效果评价问卷(学生用)》的结果为基础,创新提出高职院校教学效果学生问卷(HVC-SEEQ)。

2.本研究利用探索性因素分析的方法,科学合理的设计出高职院校教学效果的学生评价问卷(HVC-SEEQ)的5个维度:学习/价值、教学组织/清晰、个人亲和力、在线学习、考试/成绩。

3.本研究编制的HVC-SEEQ问卷,基本符合高职院校特色,问卷共有5个维度,16个指标,通过对教学效果的评价问卷进行结构效度和信度检验,实证了HVC-SEEQ问卷的稳定性和准确性。

从统计分析得出,HVC-SEEQ问卷的信度和效度科学合理,可以作为“双高”建设背景下的高职院校教学效果的学生评价工具。

猜你喜欢
双高效度信度
“双高”建设背景下职业院校推进“三教”改革研究
“双高”建设背景下程序设计类课程教学改革研究
数说高教
来华留学生对全英文授课教学服务满意度量表的信度和效度分析——以昆明医科大学为例
我校隆重召开“双高计划”建设启动大会
问卷是否可信
——基于体育核心期刊论文(2010—2018年)的系统分析
Beep test评估11~15岁少年游泳运动员有氧能力的效度研究
谈高效课堂下效度的提升策略
巧用模型法提高科学课堂教学的效度
语言测试效度研究的另一视角:考试的因子结构研究