基于最小方差C-OWA的评价模型及其应用

郑婷婷,毛禧雯,杨昔阳*,颜星华

(1.泉州师范学院 美术与设计学院，福建 泉州 362000；2.泉州师范学院 智能计算与信息处理福建省高等学校重点实验室，福建 泉州 362000)

课程评价是大学专业培养目标的重要支撑.合理的课程评价可以反映学生的学习情况，发现课程建设中的优点和不足[1].多元评价方式可以促进大学课程朝着全面提升学生综合素质的方向发展.融合多指标的课程评价指的是以发展的眼光，从多维度衡量学生课程学习期间在多个指标点上取得的成绩.常见考核指标有期末考试、过程性小测、作业、在线学习和竞赛考核.随着中国教育质量的不断提升，多数课程采用多维指标衡量来评价课程[2]，摆脱了以一次终结性考试为标准的传统考核方法.但是，如何对学生在各个维度上取得的成绩进行量化综合评价，是新形势下教育管理领域一个重要的课题.

多属性(指标)综合评价是一种常见的多属性综合评价方法,它是管理学领域的一个重要的研究课题.一种常见的多属性综合评价方法是Yager于1988年提出的有序加权平均(ordered weighted averaging,OWA)算子[3].自OWA算子提出以来,得到了研究人员的极大关注,这种方法被广泛应用于风险评估[4]、商业诊断[5]、乳腺肿瘤分类[6]、书籍推荐技术[7]、煤矿安全评估[8]等诸多领域.

如何确定OWA算子的权重是多属性综合评价的一个重要问题.为了确定OWA算法的权重,不同的学者在不同的标准下提出了不同的模型.生成OWA权重的一种直接方法是利用概率密度分布[8].这种方法首先根据管理者的经验，基于概率分布给出不同属性权重初值，再根据这些初值对权重进行修改.文[7-9]将这种方法推广到更一般的分布形式，基于实际调查数据给出了一种生成合理概率分布的方法.为了获得OWA权重，O’Hagan提出了一个特殊的优化模型，该模型在给定评估者的乐观水平(称为orness)后，通过最大熵原则确定OWA的权重[10].类似这种基于熵的权重确定方法还可见于文[11-13].文[14]提出了一种基于最大贝叶斯熵的非线性OWA模型.利用拉格朗日乘数法，可以得到该模型的解析解[15].另外一种基于规划模型的权重确定方法是通过最小化相邻权重的距离来优化OWA的权重.例如，最小化离差平方和模型[16]、最小化相邻权重差距模型(the minimax disparity model)[17-18]，和等差权重OWA算子[19].这种优化模型为获得尽可能相等的OWA权重提供了一种新的途径.然而，这种赋权方法均未能充分利用评价者的乐观性水平.

为了克服这个确定，本文提出了一种新的OWA赋权方法.基于这种赋权模型，给出了一种衡量课程目标达成度的评价方法.

1 OWA综合评价算子

1.1 OWA算子

美国学者Yager于1988年首次提出的OWA算子是一种多属性综合评价方法.它通过对各属性值进行排序，采用加权方式对排序后的属性值进行加权平均，完成综合评价.

定义1OWA算子指的是一种从n维空间到一维空间的映射OWAW:Rn→R

(1)

权重的设置可以衡量评价者对多属性评价的乐观水平[20].例如，乐观的教师会选择权重向量Wmax=(1,0,…,0)对学生的各种表现进行综合评价.此时，OWAWmax(a1,a2,…,an)=b1.即评价者只关注评价对象表现最好的项目.相反，悲观的评价者会选择权重向量Wmin=(0,…,0,1).此时，OWAWmin的评价结果OWAWmin(a1,a2,…,an)=bn,它等于该评价对象表现最差的属性的得分.大多数情况，评价对象的综合评价结果应该介于表现最好和表现最差的属性的得分之间.

1.2 乐观水平

评价者的乐观水平(orness level)[21]反应了评价者对评价对象表现较好的指标，或者表现较差的指标的偏好.

定义2权重向量W=(w1,w2,…,wn)的乐观性水平

(2)

显然，乐观水平α(W)∈[0,1]的取值越大，代表评价者越看重评价对象表现好的指标.特别地，如果α(W)=1, 那么

(3)

2 基于最小方差的C-OWA课程评价方法

2.1 一种基于最小方差C-OWA权重

一些学者从经验出发，提出了OWA权重应该具有的一些性质.在许多情况下，评价者对权重的分布已经具有一定先验的认识.仿照概率论中密度函数的思想，Xu[6]提出了一种基于概率密度函数的OWA赋权方法.这种方法认为，对于一个具有n个指标的待评价对象，合理的权重向量应该正比例与该概率密度函数在0,1,2,…,n-1上的取值.如果所选择的概率密度函数为二项分布B(n-1,1/2)，那么第i个权重ωi正比例于二项分布概率为

(4)

(5)

由于这种赋权方法涉及到了组合数，因而它往往被称为组合OWA(C-OWA).显然，基于组合数B(n-1,1/2)的OWA权重是对称的.即有ω1=ωn,ω2=ωn-1,….

在许多情况下，评价者会认为各个指标权重不应存在太大差别.基于这种思想，Liu[21]中提及了一种最小方差模型，即认为合理的组合权向量W=(w1,w2,…,wn)应该使得W的方差

(6)

达到最小.

综合C-OWA和最小方差两种思想，合理的OWA权重可以通过求解如下数学规划问题得到.即

(7)

其中：ωi≥0,i=1,2,…,n是评价者给定的组合型OWA权重.目标函数的第一项要求OWA的权重向量尽可能接近组合型权重，第二项要求OWA的权重向量尽可能一致.γ1和γ2起到了调节这两项目标重要性的作用.

本文提出的OWA权重确定方法可以看作是文[9]的概率型OWA赋权模型和文[18-19]的最小方差赋权模型的综合.当γ1=1，γ2=0时，本文的模型与概率赋权模型类似；而当γ1=0，γ2=1时，本文的模型与最小方差等价.

2.2 基于最小方差和C-OWA的评价方法

以课程评价为例给出基于最小方差和C-OWA的评价方法.设班级具有n个同学，m个课程考核指标.基于OWA的课程目标评价方法可以由如下几个步骤完成.

(1)确定课程评价指标和权重.根据课程教学大纲，明确课程的考核环节和总成绩占比.假设某门课程一共设置m个考核指标，这些指标可能包括期末考试，小测，作业，平时表现，课外活动等.课程组教师商定这些指标占总成绩的比重分别为β1,β2,…,βm.

(2)计算班级学生在各项指标的得分.统计n个同学在m个指标上的得分，构造决策矩阵为

其中：aij表示第i个学生在第j个指标上的得分.

(3)采用OWA方法计算课程在第j个指标的得分为

bj=OWAW(a1j,a2j,…,anj).

其中：权重向量W可由数学规划模型式(7)确定.

(4)采用加权平均法计算课程的目标达成度为

其中：权重向量βj可由决策者人为给定，或者数学规划模型式(7)确定.

3 案例分析

以泉州师范学院美术与设计学院开设的“装饰色彩”课程的目标达成度的计算为例，说明基于OWA评价方法的课程评价方法.

(1)泉州师范学院美术与设计学院根据《关于加强建设高水平本科教育全面提高人才培养能力的意见》提出的“加强考试管理，严格过程考核，加大过程考核成绩在课程成绩中的比重，健全能力与知识考核并重的多元化学业考核评价体系”等评价改革要求的措施方法与实施机制.经过学院教学委员会讨论，课程期末考试成绩占课程总成绩的比例为β1=0.5.过程性评价一般包括小测、作业和平时表现，三者占课程总成绩的比例分别为β2=0.2,β3=0.2,β4=0.1.

(2)收集2019级美术学专业45名学生在“装饰色彩”课程4项指标的成绩如表1所示.

表1 “装饰色彩”课程4个指标的成绩

(3)设定评价者的乐观水平α=0.6.采用的OWA算子计算45名学生在这4项指标上的平均成绩.基于式(7)所示的数学规划模型，可得OWA算子的权重如图1所示.

图1 OWA算子的权重向量W

可以发现，图1中的权重向量呈现出向左偏的二项分布.w20的取值最大，w1和w45的取值较小，但w1>w45.之所以生成这种权重向量，一方面是因为在本文提出的权重规划模型式(7)中，目标函数的第一项客观上要求权重向量与二项分布尽可能接近；另一方面是因为式(7)中的乐观水平α=0.6>0.5.

采用式(1)描述的OWA算子计算所有学生在这四个指标的加权平均成绩，可得在“装饰色彩”课程中，学生期末的平均成绩为b1=87.31, 平均小测成绩为b2=87.36，平均作业成绩为b3=88.96，平均平时成绩为b4=85.30.

(4)结合这4个指标的权重β1=0.5,β2=0.2,β3=0.2,β4=0.1，可以得到此课程的平均达成度为:

按照上述4个步骤，计算学院其他3门核心课程，分别是：2019级美术学专业工艺美术方向32名学生“美术学科课程教学法”、2018级美术学专业综合艺术方向33名学生“中国画(3)”和2020级美术学专业工艺美术方向28名学生“外国美术史”.采用OWA算子对这4门课程进行目标达成度评价，计算结果如表2所示.从表中可以发现，技能类课程的课程目标达成度高于理论类课程的达成度.课程评估结果与实际情况较为吻合.造成这种结果的主要原因是，理论类课程内容的改革力度较小，教学方法单一.理论类课程大多采用教师讲解的形式授课，辅以课堂测验和课程论文.这些方式难以形成以学生为中心的学习氛围.学习动力不足导致这类课程对毕业要求的支撑度较低.因此,专业理论课程的改革应注重“三化”改革，即课程精品化,管理实践化,改进持续化.技能类课程可以增强学生的艺术感知力，又可以提高学生的艺术实践能力，在一定强度的训练中使学生获得积累经验，学生学习积极性较高，技能类课程对毕业要求的支撑度比较高.

表2 4个指标的成绩

4 小结

本文基于OWA算子，提出了一种计算课程目标达成度的方法，并基于数学规划模型提出了一种确定OWA权重的新方法.该方法首先根据具有对称分布特征的二项分布生成初始权重，使得课程指标达成度(相对而言)更加依赖于成绩处于中间位置的学生；而后基于方差最小原则和评价者的乐观水平调整这些初始权重，使得这些权重尽可能反映评价者的偏好.

以泉州师范学院为例，利用该方法对下设的二级学院——美术与设计学院的4门课程的达成度评价.首先，根据专业培养方案，建立一套包含4个指标的课程达成度评价指标.其次，在确定评价者乐观水平的基础上，采用本文提出的数学规划模型确定OWA算子的权重，减少专家主观判断的影响.再次，收集课程班在各个指标上的得分，采用OWA算子计算班级学生在各个课程指标上的得分.最后，将指标权重和各门课程的指标值对应集结，得到每门课程的达成度评价值.并根据评价结果，分析各门课程有待改进的方向和建议.

在这样的OWA评价方法下，设计包含更多层次的指标体系，是值得进一步研究的问题.