众包模式下基于参与者胜任度和接受度的任务推送模型

2019-04-24 05:29张雪峰操雅琴
管理科学 2019年1期
关键词:胜任参与者维度

张雪峰,操雅琴,丁 一

安徽工程大学 管理工程学院,安徽 芜湖 241000

引言

众包作为“互联网+大众智慧和创造力”的协同创新工作模式[1],借助网络平台,利用和融合大众群体的知识、能力和创造力完成不同类型的任务,从简单的信息收集到复杂的产品设计等[2]。当前,众包模式已得到广泛地研究和应用,并有多种类型的网络众包平台,如Amazon Mechanical Turk[3]、一品威客网和任务中国等[4]。

在众包平台上,大都采用自选择方式执行任务,即参与者根据自身特点和偏好,自主选择并参与任务[5]。然而,自选择方式给参与者和发包方带来一些不利影响。参与者从规模较大和类型多样的任务列表中搜索和选择合适的任务,不仅要付出较大的努力和成本,而且可能选择到匹配度较低的任务,无法充分发挥其特长和兴趣,降低其积极性;发包方可能错过较多的优秀参与者,而不得不选择一些次优的参与者和方案,造成任务完成质量的降低。

针对自选择方式的不足,任务推送是一种有效的补充解决方式[6],即根据任务要求和参与者特点等,将任务推送给多个合适的参与者。然而,对于一项尚无参与者参与且无任何评价信息的新任务,如何确定合适的参与者;如何测量参与者的胜任度,从而将任务推送给胜任度高的参与者,保证任务完成质量;如何测量参与者接受推送任务的可能性,从而将任务推送给可能愿意接受该任务的参与者,减少反复推送的次数以及产生的成本等。以上所述是保证任务推送效果的关键问题,也是本研究拟解决的问题。

1相关研究评述

众包模式下的任务推送方式比自选择方式具有多种优势,使其成为众包领域中的研究热点之一,同时一些平台已开始应用,如一品威客众包平台针对高级威客的任务推送。目前,关于众包模式下的任务推送且与本研究直接相关的研究主要分为两个方面,分别是任务推送中参与者特性分析和任务指派模型与方法研究。

(1)任务推送中参与者特性分析

参与者的特性,如知识、能力和经验等,对这些特性的收集和分析是任务推送的重要内容[7-8]。任务推送中考虑的参与者特性主要包括专业知识、信誉和偏好3类[9]。专业知识反映的是参与者完成任务的能力,可通过专业认证和经验两个方面体现[10]。其中,专业认证是发包方或众包平台根据参与者注册填写的信息和参与任务的表现等对其知识、能力等方面的评价;经验是参与者通过参与任务以及平台对其进行训练和支持所积累的技巧和方法等。参与者信誉在一定程度上反映了参与者提供高质量结果的可能性和发包方对参与者的信任程度,是任务推送的关键影响因素[11]。参与者偏好是参与者选择任务重点关注的方面,ZHENG et al.[12]认为经济报酬、能够获得的成就感和认同感等是影响参与者选择任务的重要方面。

为收集和分析上述参与者的特性信息,学者们提出了多种方法,最主要的方法是通过分析参与者在众包平台上的行为而得到,包括:①分析参与者在所参加任务中的表现以及与其他参与者交互等方面[13];②分析参与者在注册平台时对相关问题的回答或将已知结果的任务进行随机分配,考察和评估参与者的特点和能力等级[14];③分析参与者的观点,如通过文本挖掘的方法分析参与者的能力和知识构成[15]。另一种方法则是通过融入参与者在其他领域中的行为综合分析,以更全面和准确地反映参与者的特性,保证任务推送的准确性,但该方法的应用难度较大[16],已有研究和应用还相对较少。

分析参与者的特性与任务要求之间的匹配度并进行推送或匹配是任务推送的一种方式,然而,由于参与者特性的多样性、不完全性和隐蔽性等特点,导致直接、全面和准确地收集、综合和测量的难度较大,也难以保证推送或匹配的效果。

(2)任务指派模型与方法研究

在参与者特性分析的基础上,为将任务指派给合适的参与者,学者们重点研究基于参与者与任务匹配的任务指派和面向不同约束的任务指派两类问题。

基于参与者与任务匹配的任务指派研究中,GONG[9]针对知识密集型众包任务,通过文献总结和调研访谈的方式,提出包括能力匹配度、技能水平、完成的任务数、获得奖金数和发包方满意度等7个一级指标,然后采用AHP和灰色TOPSIS方法从多个众包平台中选择合适参与者;沈洪洲{17]针对应急信息收集类众包任务,通过问卷分析和处理技术,提出反映参与者胜任力的个人特征,主要包括道德品质、知识技能、动机与定位、个人素质等4个方面共20种,并期望根据这20种选择合适参与者。但该研究对具体的选择过程和方法未深入探讨。吕英杰等[18]针对创新型众包任务,分析该类任务对参与者的要求,提出选择参与者的评价指标体系,然后采用TOPSIS多指标决策算法评价和选择参与者。该方法更多的是线下操作,确定任务可能的参与者以及在线上获取和评价参与者这些指标信息难度较大。YUEN et al.[13]针对任务推送中的冷启动问题,根据参与者与任务、任务与任务组以及参与者与任务组3个方面的关系,采用概率矩阵分解方法计算参与者对新任务的评价值,然后据此给任务指派合适的参与者。该方法采用二元数值表示三者之间的关系,难以反映出参与者对任务的偏好以及任务之间的相似度的大小。朱小宁[19]开发了一个支持任务推送的系统,该系统虽然给出了考虑用户活跃度的任务推送算法,但该项研究重点在于系统开发技术和开发过程,对如何将其推送给胜任且愿意接受推送的参与者尚未深入涉及。黄丽媚[20]提出基于众包平台的用户信用度的消息推送算法,但应用于推送众包平台上较为复杂的任务还有一定的改善空间。

除了考虑任务与参与者的匹配度,任务的成本和时间约束也对任务指派产生影响。当前,对众包模式下面向不同约束的任务指派的研究中,KARGER et al.[21]针对简单任务集合,根据每个参与者完成任务的可能性,以最小化任务指派次数为目标,建立任务指派模型,并提出基于置信传播算法和低阶相似矩阵算法进行求解;ROY et al.[10]以知识密集型众包任务为对象,考虑参与者知识和能力、报酬要求和空闲程度等,以最大化任务要求满足度建立任务指派模型,并提出多种算法进行求解;BABA et al.[22]以竞赛型众包模式为研究对象,基于参与者特征及其参与竞赛的历史信息和获胜信息,建立参与者参与矩阵和获胜矩阵,利用基于特征的矩阵分解和学习迁移方法确定参与者在一项竞赛中相对其他参与者的获胜概率,然后将任务推送给获胜概率大的参与者。还有研究则是基于拍卖模式,根据不同潜在参与者提供的报价及其与任务预算之间的对比选择合适的参与者[23-24]。上述研究通过拍卖模型、概念矩阵分解等方法给出任务指派模型,侧重于多目标规划模型的构建以及算法的提出和改进,对于如何将任务推送给愿意接受且能够完成任务的参与者的研究相对较少。

上述研究成果为解决任务推送问题提供了理论、技术和方法支持,但仍有需进一步补充和完善之处,主要表现在:①众包平台上,对于一项尚无参与者参与的新任务,如何确定潜在的参与者,这是进行任务推送的前提,而当前研究都假设已提前给出潜在参与者;②任务推送不仅要考虑参与者完成任务的可能性,还要考虑参与者接受推送的可能性,否则可能导致反复推送及其带来的成本和时间的增加,而当前研究主要关注前者,对综合考虑两者的任务推送研究还相对较少;③直接量化计算参与者与任务的匹配度需要大量的准确数据,且计算难度和工作量较大,如何有效量化参与者完成和接受任务可能性是任务推送中需进一步研究的问题。

2任务推送模型

在上述分析基础上,本研究建立基于参与者胜任度和接受度的任务推送模型,见图1。

该模型的基本思想和主要构成为:众包平台上的任务按照不同的维度可以划分为不同层次和类别,同一类别中的任务具有一定的相似性,如图1中的任务1及其相似任务2、任务3和任务4;参与与新任务相似任务的参与者也可能符合新任务的要求和能够完成新任务[25],本研究将参与者符合任务要求的程度称为参与者胜任度。参与与新任务相似度越高的任务且表现越好的参与者符合新任务要求的程度越高,胜任度越大,提交高质量成果的可能性越大[26]。通过分析参与者以往参与的任务,可以得到参与者对任务各方面的基本要求,如赏金、难度、时间等。当新任务的要求与参与者的要求越接近,参与者接受新任务推送的可能性越高,本研究称之为参与者接受度。综合参与者的胜任度和接受度可以确定参与者的优先序,作为任务推送的依据。

由于直接收集和分析参与者特性难度很大,尤其是参与者的知识和能力[27-28],在此基础上计算参与者与任务的匹配度的工作量较大且结果的准确性难以保证,而该模型通过计算任务间的相似度和参与者在任务中表现量化值确定参与者的胜任度,操作相对简单和计算工作量较小。此外,该模型将参与者接受度融入到参与者筛选过程中,有助于保证任务推送成功的可能性,提高推送的效率。

2.1任务划分

众包平台上的任务数量较多,将这些任务分为不同的类别,有助于有效管理任务和参与者筛选任务。一般地,众包平台大多按照赏金、时间和任务类型等维度分类任务。然而,通过这些维度划分得到的任务类别较少,同一类中的任务数量较多,且有些任务之间的差异较大,不利于参与者对比和选择,同时增加了参与者搜索合适任务的时间和成本。本研究参考JIANG et al.[29]提出的树形分解结构,提出众包模式下的任务划分思路,将数量较多的任务按照多个维度划分为具有多层次的任务树,见图2。

图1基于参与者胜任度和接受度的任务推送模型Figure 1Task Recommendation Model Based on Participants′ Competency and Acceptance Degree

图2任务划分Figure 2Task Partition

令{p1,…,pq,…,pQ}为划分任务的维度集合,pq为第q个维度。任务划分维度不仅包括常用的任务赏金、类型和时间等,还包括任务难易程度和任务能力要求等[30]。L为划分得到的任务层次,令L={l1,l2,…,lm},lm为最低的第m层。具体划分过程为:按照维度p1将所有任务分成多个任务类,记为{(1),(2),…,(i1),…,(D0)},(i1)为第l1层的第i个任务类,D0为第l1层的任务类数量;同理,按照维度p2可将第l1层中的任务类进一步划分,得到第l2层的任务类,任务类(i1)划分的结果可表示为{(i1,1),(i1,2),…,(i1,i2),…,(i1,Di1)},(i1,i2)为任务类(i1)划分后得到的第i2个任务类;Di1为(i1)包含的任务类数量;以此类推,当划分到最低的lm层时,任务划分完成,且最低一层的节点表示各项任务,如{(i1,i2,…,im-1,1),(i1,i2,…,im-1,2),…,(i1,i2,…,im-1,im),…,(i1,i2,…,im-1,Dim-1)}即为任务类(i1,i2,…,im-1)划分后得到的任务,(i1,i2,…,im-1,im)为第im项任务,Dim-1为任务类(i1,i2,…,im-1)包含的任务数量。

上述任务划分过程将所有任务分为不同的类,对于属于同一任务类中的任务,当所处的层次越低,任务之间的相似度越高。为便于后续分析和表达的简便性,令T为任务类(i1,i2,…,im-1)划分后得到的任务集合,T={t1,t2,…,ti,…,ts},ti=(i1,i2,…,im-1,im),s=Dim-1。该集合中的任务在维度{p1,p2,…,pQ}上具有较高的相似性,可以认为参与该任务集合中某项任务的参与者也具有参与其他任务的能力和意愿程度[25]。由于划分维度{p1,p2,…,pQ}的具体内容和任务划分方法非本研究的重点,在此不展开深入研究,相关内容可参考ZHENG et al.[12]、JIANG[31]、XU et al.[32]和王文宪等[33]的研究成果。

2.2测量任务相似度

为确定任务集合中各任务之间的相似度,本研究利用启发式相似度算法进行测量,与常用的皮尔逊相关系数法、夹角余弦相似度算法和均方差方法等相比,该方法能够处理数据较少的情况且更为合理和准确地反映对象之间的相似度[34]。该方法从接近度、影响度和显著度3个方面综合测量两个对象的相似度大小,计算公式为

(1)

其中,zu和zv分别为评估对象,Sim(zu,zv)为zu与zv之间的相似度;ru,k为评估对象zu在第k个维度上的评价值,rv,k为评估对象zv在第k个维度上的评价值;Cu,v为用于比较zu与zv相似度的维度集合;Pro(ru,k,rv,k)为ru,k与rv,k之间的接近度,不仅能反映两个评价值的不同,更能体现它们之间的一致性;Imp(ru,k,rv,k)为ru,k和rv,k的影响度,体现了不同评价值反映的决策者偏好;Pop(ru,k,rv,k)为ru,k和rv,k的显著度,反映不同评价值对相似度测量的影响程度。

令T为可根据图2划分得到的一个任务集合,根据前文分析可知集合中的各项任务在维度P具有一定的相似性,P={p1,…,pq,…,pQ}。在测量任务间相似度的过程中,考虑到各项任务在各维度上的情况大都采用自然语言进行描述且具有一定的差异性,很难直接采用量化的数值表示,而通过本体相似度[35]或文本语义相似度[36]算法进行求解,不仅可行性较小,而且难度较大。为此,本研究拟采用模糊语言变量和模糊数量化各项任务在各维度上的表现情况,然后根据量化值计算各任务之间的相似度。

利用上述评估等级及其相应的量化值,可以评价得到各个任务在各维度上的评价值,并据此计算任务之间的相似度为[34]

(2)

(3)

令A(ri,q,rj,q)表示两个评价值ri,q与rj,q的一致性,可表示为

(4)

其中,A(ri,q,rj,q)=1表示ri,q与rj,q具有一致性,A(ri,q,rj,q)=0表示ri,q与rj,q不具有一致性。

由此给出任务ti和tj在维度pq上评价值的距离D(ri,q,rj,q)为[34]

(5)

(5)式表示两个评价值具有一致性时,距离越近则两项任务在该维度上的评价值越接近。反之,则接近度越低,并通过增加惩罚系数(如式中的2)的形式来反映两个评价值的不一致性。

根据D(ri,q,rj,q),可以计算得到任务ti和tj在维度pq上评价值的接近度PR(ri,q,rj,q)为[34]

(6)

IM(ri,q,rj,q)表示任务ti和tj在维度pq上的评价值ri,q和rj,q对任务间相似度的影响程度,与ri,q和rj,q均取较小值相比,二者均取较大值时,ti和tj在维度pq上具有更高的相似性。计算公式为[34]

(7)

PO(ri,q,rj,q)表示任务ti和tj在维度pq上的评价值ri,q和rj,q与其他任务在该维度上的评价值的差异性,差异性越大,则任务ti和tj在维度pq上的评价越显著。计算公式为[34]

(8)

其中,μq为所有任务在维度pq上的评价值的平均值。

在此基础上,计算任务ti和tj在其他维度上的评价值的接近度、影响度和显著度,并根据(2)式综合得到两项任务之间的相似度Sim(ti,tj)。当Sim(ti,tj)越大,说明两项任务相似度越高;反之,说明任务之间的相似度越低。

2.3测量参与者胜任度

假设任务tj为一项新任务,根据其在各个维度上的情况,将其划分到任务集合T中,即有tj∈T={t1,t2,…,ti,…,ts}。根据前文的分析,参与任务{t1,t2,…,ti,…,ts}的参与者也有可能满足任务tj的要求并完成该任务,在本研究中视为任务tj的潜在参与者,记为Wtj,Wtj={w1,w2,…,wo,…,wO},Wtj为任务tj的潜在参与者集合,O为潜在参与者数量,wo为第o个潜在参与者。

参与者胜任度反映了参与者满足任务要求的程度,影响参与者完成任务的可能性。然而,按照一般的计算参与者的特性(如知识、能力和经验等)与任务要求的匹配度确定参与者胜任度,不仅计算工作量大,而且充分收集、合理量化和准确计算参与者与任务相关信息的难度很大且可行性较低。由于不同的参与者在参与的任务中具有不同的表现,如仅浏览了任务或提交了方案等,这些行为在一定程度上反映了参与者对任务的偏好程度以及知识和能力等满足任务要求的程度[13]。因此,可通过分析参与者在参与的任务中的表现来反映参与者对任务要求的满足程度[38]。在此基础上,结合参与者参与的任务与新任务之间的相似度,可测量出参与者对新任务的胜任度。如果参与者参与的任务与新任务相似度越高,且表现越好,参与者对新任务的胜任度越高。为了量化参与者在任务中的表现,赋予参与者不同表现相应的量化值,具体见表1。实际中,参与者表现描述的语言和划分及其相应的量化值可根据不同的情况进行调整。

表1参与者表现及其量化值Table 1Participant′s Performance and Its Values

对于新任务tj的潜在参与者{w1,w2,…,wo,…,wO},根据表1可以确定每个参与者表现的量化值,记为{Vw1,Vw2,…,Vwo},且有Vw1,Vw2,…,Vwo∈{1,2,3,4,5}。对于新任务tj∈{t1,t2,…,ti,…,ts},利用(2)式可以计算得到任务tj与每项任务之间的相似度,结合参与者在参与任务中表现的量化值,可以得到每个参与者对任务tj的胜任度,即

(9)

2.4测量参与者接受度

众包模式下,参与者选择任务时会对任务的各方面要求与自身期望要求之间进行对比,两者越符合,参与者选择该任务的可能性越高[39]。因此,本研究期望通过分析参与者参与的所有任务的各方面要求,综合得到参与者对任务各方面要求的接受范围。当一项新任务各方面要求与参与者可接受的范围越接近,参与者接受该新任务的可能性越大,则认为参与者对新任务的接受度越高。

表2任务-维度决策表Table 2Decision Table for Task-dimension

(10)

其中,U为论域,TH为U中的对象,ri,q的上、下近似限分别表示在某个维度上的评价值高于和低于ri,q的任务集合。

根据ri,q的上、下近似限,给出该类的边界区间Bnd(ri,q)为

(11)

(12)

其中,FU为ri,q上近似限包含的类的数量,FL为ri,q下近似限包含的类的数量,即某个维度上的评价值大于和小于ri,q的任务数量。

由此得到ri,q的粗数RN(ri,q)和粗边界RBnd(ri,q)为

(13)

(14)

通过上述方法将各任务在维度pq上的评价值转化为模糊区间值,粗数和粗边界表示各任务在该维度上评价值的一致性情况,如果RBnd(ri,q)=0,说明各任务在某维度上的评价是一致的。相对于给出各任务在某维度上的直接评价值,该方法更为合理,不仅能够直接反映单个任务在某维度上的表现,而且能综合体现所有任务在该维度上的表现。

同理,对于不同任务在维度pq上的其他评价值,即其他的类,根据(13)式和(14)式也可以得到这些类的粗数和粗边界。然后将这些类的粗数和粗边界进行综合,得到所有任务在维度pq上评价值的粗数和粗边界。

(15)

由此得到所有任务在维度pq上评价值的粗数RN(pq)和粗边界RBnd(pq)为

(16)

(17)

为进一步测量参与者对新任务的接受程度,本研究通过rj,q与M(pq)之间的距离D[rj,q,M(pq)]表示,M(pq)为所有任务在维度pq上评价值的平均粗数,且有

(18)

根据AHN[34]提出的相似度算法,有

(19)

(20)

(21)

2.5任务推送

(22)

其中,ωQD为胜任度对参与者综合评价值的影响程度,ωAD为接受度对参与者综合评价值的影响程度,且0≤ωQD≤1,0≤ωAD≤1,ωQD+ωAD=1。当ωQD=1,ωAD=0,说明在确定参与者在任务推送中的优先序的过程中只考虑参与者对任务的胜任度的影响,这也是大部分研究重点考虑的方面;当ωQD=0,ωAD=1,说明将参与者对任务的接受度作为确定参与者优先序的唯一因素;当0<ωQD<1,0<ωAD<1,且ωQD+ωAD=1,表示在任务推送中综合考虑参与者胜任度和接受度。

3应用实例

以中国应用广泛的网络众包平台一品威客网(www.epwk.com)上的任务为例,说明本研究提出的任务推送模型的应用过程及其有效性。在众包平台已有的任务划分维度任务大类、任务小类和任务赏金的基础上,针对划分得到的任务类包含的任务数量仍然较大、不便于参与者筛选的情况,本研究再按照紧急程度、工作量和难易程度3个维度进一步划分任务,得到7个层次的任务树,最低一层为任务层,见图3。需要说明的是,本部分增加的3个任务划分维度是作者根据平台上的任务特点给出的,实践中需要进一步调研影响参与者选择任务的因素以及这些因素的影响程度,然后再深入细分。

(1)任务相似度计算

令t1表示任务“有机蔬菜产品VI全套设计”,t2表示任务“农村电子商务VI设计”,t3表示任务“海参礼箱包装及VI设计”。同时,令“食品企业宣传画册和VI设计”为平台上发布的与上述3项任务属于同一类别的新任务,记为t4。为测量任务之间的相似度,首先测量各任务在各划分维度上的评价值。由图3可知,各任务在前两个维度上差异性很小,暂不考虑,只考虑赏金、紧急程度、工作量和难易程度4个维度,记为p1、p2、p3和p4。为简化分析,统一采用5点评分法表示各个划分维度上的评价等级及其量化值,具体见表3。

根据各个任务在划分维度上的实际情况,得到任务在各维度上的评价值,见表4。

根据表4的数据,利用(3)式~(8)式计算得到任务t4与t1、t2、t3在各维度上评价值的接近度、影响度和显著度,然后由(2)式计算得到任务间的相似度,见表5。

图3一品威客网上的任务划分示例Figure 3Example of Task Partition on epwk.com

评价维度评价等级及其量化值54321赏金/元2 600~3 0002 200~2 6001 800~2 2001 400~1 8001 000~1 400紧急程度非常紧急紧急一般不紧急非常不紧急工作量很大大一般小很小难易程度很大大一般容易很容易

表4各个任务在各维度上的评价值Table 4Evaluation Value of Each Task on Each Dimension

(2)参与者胜任度计算

从任务t1、t2和t3的参与者中选取15名作为任务t4的潜在参与者,记为Wt4={w1,w2,…,w15}。对于每位潜在参与者,收集和分析他们在各项任务中的表现。按照一品威客众包平台上描述参与者在任务中表现的语言,如中标、入围和备选等,结合表1给出的参与者在任务中表现的量化值对每个潜在参与者的表现进行评分。由于实际中部分参与者仅参与了一项任务,如参与者w3仅参与了任务t2。为更好地说明任务推送模型和方法的应用过程,本研究根据该类参与者参与的任务与其他任务之间的相似度及其表现,预估给出参与者在其他任务中表现的量化值。某项任务与参与者参与的任务相似度越高,则参与者在该项任务中的表现量化值可能越高。如根据参与者w3参与的任务t2与任务t1和t3之间的相似度及其在任务t2中的表现(表现量化值为5,即提交的方案中标),确定w3在任务t1和t3中表现的量化值分别是4和3。根据上述分析,得到参与者在各任务中表现的量化值,见表6。

表5任务间的相似度Table 5Similarities among Tasks

表6参与者在任务中表现的量化值Table 6Scores of Participants′ Performance on Tasks

根据表6,采用(9)式计算得到每个参与者对任务的胜任度,然后进行归一化处理以便于比较。各参与者对任务t4归一化后的胜任度分别为0.051、0.030、0.112、 0.051、 0.045、 0.030、 0.060、 0.127、 0.058、 0.060、 0.051、 0.089、 0.103、 0.082、 0.052。

(3)参与者接受度计算

以参与者w3为例,其参与的任务在维度p1、p2、p3和p4的评价值见表4。对于维度p1,由(10)式~(12)式计算得到类3的粗数上、下近似限为

在此基础上,利用(13)式和(14)式计算得到类3的粗数和粗边界,分别为

同理,可以得到类1的粗数上、下近似限以及粗数和粗边界,分别为

由(15)式~(18)式计算得到所有任务在维度p1上的上、下近似限以及粗数、粗边界、平均粗数,分别为

RN(p1)=⎣1.667,2.833⎤,RBnd(p1)=1.166

M(p1)=2.250

同理,可以得到所有任务在维度p2、p3和p4上的上、下近似限以及粗数、粗边界、平均粗数,分别为

RN(p2)=⎣2.445,2.889⎤,RBnd(p2)=0.444

M(p2)=2.667;

RN(p3)=⎣3.500,4.500⎤,RBnd(p3)=1,M(p3)=4;

RN(p4)=⎣3.445,3.889⎤,RBnd(p4)=0.444

M(p4)=3.667

根据(19)式和(20)式计算得到参与者w3在维度p1、p2、p3和p4对任务t4的接受度分别为4.335、0.308、9.000、 2.418。假设4个维度的重要度一致,都为0.250,根据(21)式计算得到w3对任务t4的接受度为4.015。考虑到部分参与者在某些任务中表现很差,如表现量化值为1和2的任务,这些任务对参与者接受推送新任务的影响较小,本例中不予考虑,其对新任务的接受忽略不计。

(4)任务推送排序

根据上述分析,可以得到各个参与者对任务t4的胜任度和接受度,并利用(22)式计算得到每个潜在参与者对任务t4的综合评价值。在任务推送中,对参与者胜任度和接受度侧重不同时,即ωQD和ωAD取不同值时,将得到对参与者不同的推送优先序。在本例中,令ωQD=1,ωAD=0;ωQD=0,ωAD=1;ωQD=0.5。分析这3种情况对任务推送的影响,即仅考虑参与者胜任度对任务推送的影响、仅考虑参与者接受度对任务推送的影响,以及同时考虑参与者胜任度和接受度对任务推送的影响且二者影响程度相同3种情况。

表7参与者的综合评价值及其排序Table 7Comprehensive Evaluation Scores in Respect to Participants and Their Orders

由此得到参与者在3种情况下的综合评价值及相应的排序,见表7。

根据表7中各参与者在不同情况下的综合评价值及相应排序,在一定程度上可以认为,①在任务推送中,仅考虑参与者胜任度或接受度,或同时考虑二者,将会影响参与者在任务推送中的优先序,如参与者w1、w4和w7等。②参与者参与的任务越多,且在这些任务中表现越好,其对一项相似新任务的胜任度越高,如参与者w8、w3和w13等。这也符合本研究假设及协同过滤的基本思想[36],而且这一情况对于知识密集型或创新型众包任务更加适用[42]。因为这类任务对参与者知识和能力等有较高的要求,参与者参与的任务越多且表现越好,说明其满足任务要求的程度越高。同时参与者通过多次参与任务,积累了一定的信誉值和经验,其知识和能力也在不断的更新[23],提供高质量方案的可能性也就越大。③参与者参与的任务越多且表现越好,其对任务各方面要求能够接受的区间越大,新任务各方面要求处在参与者能够接受的区间的可能性越大,从而使参与者对新任务接受度越大,如参与者w8、w3和w13等。④参与者胜任度和接受度两者并不是相对独立的,而是相互关联的,它们受一些共同的因素影响,如参与者参与任务的数量、参与者的表现、任务要求的相似度等。参与者胜任度越大,其对新任务的接受度可能越高,如参与者w8、w3、w13、w12和w14。

此外,本例中将新任务t4推送给每个潜在参与者,并对比分析在综合考虑参与者胜任度和接受度与仅考虑参与者胜任度两种情况下前10名参与者的任务完成效果,主要包括平均完成时间、提交方案数量、接受推送的人数和中标数量等方面。同时,进一步对比分析任务推送方式和自选择方式下的任务完成效果,结果见表8。

由表8可知,相对于自选择方式,任务推送方式能够缩短参与者在平台上众多任务中比较和筛选任务的时间。同时,任务推送结果是在综合考虑参与者知识、能力和经验等方面的基础上给出的,能够保证被选择的参与者满足任务要求并具有完成任务的可能性,有助于提升其提交方案的质量。如表8中任务推送方式比自选择方式得到的中标数量更多。此外,任务推送在一定程度上能够保证任务的“曝光度”和参与者的数量,避免了任务在不断增加的任务列表中“被掩盖”,保障了得到的方案数量,扩大发包方方案选择的空间,如表8中通过任务推送方式得到的方案数量多于自选择方式。

表8不同任务执行方式下的任务完成效果Table 8Task Completion Effect under Different Ways of Performing Tasks

任务推送中,在综合考虑参与者胜任度和接受度得到的前10名参与者中,w8、w3、w13、w12、w14、w4和w11接受任务并提交方案,并根据发包方的评价,最终中标的是前3个参与者提交的方案,w9和w10接受任务但未提交方案,w1未回复。推送回复率为90%,方案提交率为70%。在仅考虑参与者胜任度得到的前10名参与者中,w8、w3、w13、w12和w14接受任务并提交了方案,w9和w10接受任务但未提交方案,w1、w7和w15未回复,推送回复率为70%,方案提交率为50%。虽然排序靠前且提交方案的参与者大部分都是工作室或小型机构,其参与并提交方案的可能性较大,但两种情况下的推送结果也在一定程度上反映了考虑参与者胜任度和接受度的任务推送与仅考虑参与者胜任度的任务推送相比,有助于减少推送的次数和提高推送成功率。

4结论

针对当前众包模式下参与者自选择任务执行方式和仅考虑参与者胜任度的任务推送方式的不足,本研究提出参与者胜任度和接受度的概念,并据此构建任务推送模型。该模型提出综合考虑任务相似度和参与者表现的参与者胜任度的测量方法,避免了直接获取参与者特性和任务要求以及测量两者之间匹配度难度较高和工作量较大的问题。根据参与者以往参与的任务,利用扩展的粗数方法,提出测量参与者接受度的方法和过程。在此基础上,综合考虑参与者胜任度和接受度,从而确定参与者的推送优先序,为将任务推送给能胜任和愿意接受推送的参与者提供依据和参考。

研究结果表明,相对于参与者自选择方式,基于参与者胜任度和接受度的任务推送模型和方法有助于降低任务完成的平均时间,尤其能够降低参与者在数量较大的任务列表中选择合适任务的时间。同时有助于保证一定的参与者数量,由此可增加方案的规模性和多样性,促进任务完成质量的提高。与仅考虑任务与参与者匹配程度的任务推送方式相比,该任务推送方式在一定程度上能够保证任务推送的成功率,减少多次推送及其带来的成本和时间的增加。

在理论上,研究成果不仅有助于丰富和扩展众包平台上任务执行方式,补充众包质量控制策略和方法,而且为后续进一步解决基于拍卖模式以及面向成本和时间等约束的任务指派和分配问题奠定一定的基础。此外,研究发现参与者对推送任务的胜任度和接受度不是相对独立的,都是受参与者参与的任务数量、参与者行为和表现以及任务要求之间的相似度等因素的影响。参与者参与的任务数量越多且在任务执行过程中表现越好,其对相似的新任务的胜任度和接受度就会越高,被推送的概率越大。因此,对于参与者而言,需要在众包平台上选择合适且能够较好完成的任务,以不断提高自身对相似任务的胜任度和接受度,从而提高在后续获得合适推送任务的可能性;对于发包方而言,与在众包平台上发布任务、然后由参与者自主参加相比,任务推送方式对获得更多方案以及更高质量的方案有更好的保障作用。因此,对一些要求较高且时间较紧的任务,基于推送的任务执行方式是更好的选择。

本研究也存在一些不足,主要表现在:①评价任务相似度时仅采用确定数值来表示任务在维度上的评价值,而忽略了实际中任务在维度上的评价的模糊性和不确定性;②测量参与者接受度时,未考虑不同任务之间的差异性对接受度的影响,同时对其他因素的影响未加考虑,如参与者在线时间、忙碌状态和情感等因素;③用于对模型和方法验证的任务和参与者数量有限,虽然在一定程度上说明了提出的模型和方法的有效性,但是在任务和参与者数量较大且应用众包平台和任务类型不同的情况下,模型和方法的有效性需要进一步验证。针对上述研究的不足,后续的工作将进一步深入研究并期望解决这些问题,从而进一步完善基于参与者胜任度和接受度的任务推送研究成果。

猜你喜欢
胜任参与者维度
理解“第三次理论飞跃”的三个维度
门限秘密分享中高效添加新参与者方案
软件工程胜任力培养及实现途径
认识党性的五个重要维度
浅论诗中“史”识的四个维度
当心,说谎会上瘾!
享受生活的老人活得长
人生三维度
胜任力模型的“过度现代化”误区
街头高尔夫