以评促学:基于三元交互决定论的同伴互评研究
来源:用户上传
作者:
【摘 要】 同伴互评是一种成本效益高、功能强大的评估方法,不仅减轻了教师的工作量,也给学生的学习带来了许多潜在的好处,但同伴互评仍面临着如何提高其有效性的挑战。本文以现有的研究为基础,基于班杜拉的三元交互决定论,构建了同伴互评体系,进而从互评个体、互评环境和互评行为的角度设计了同伴互评体系的有效组织程序,并通过实验的方式检验了同伴互评体系的有效性。
【关键词】 同伴互评;三元交互决定论;互评个体;互评环境;互评行为
【中图分类号】 G434 【文献标识码】 A 【文章编号】 1009-458x(2020)4-0058-07
一、引言
随着大规模在线开放课程(MOOC)在教育中的地位越来越突出,迄今为止最受欢迎的课程注册人数超过440,000人,并且一些MOOC开始被学生用于修读学分,如何衡量在线课程的效果变得越来越重要(DeBoer,et al., 2014)。终结性评价(summative assessment)是在各种在线课程平台中被广泛使用的一种评价方法,指的是在教学活动结束后为判断教学效果而进行的评价,评价的目的是对学生的学习效果给出结论性的判断。自动评分的多项选择题是在线课程平台上一种常用的终结性评价工具,但编写高水平的多项选择题既费时又具有挑战性(Suen, 2014),特别是对学生作业进行定性评价更需要新的方法来实现。
在这种现实情况下,同伴互评(peer assessment)为解决此类问题提供了一种成本效益较高的方式。同伴互评是指学习者在已掌握的知识的基础上,经过个体内化认知加工过程,运用习得的知识技能对同一学习环境中其他同伴的学习作品或成果进行评价,评价依据是同伴作品的数量、水平、价值、作用、质量等(Topping, 1998)。在同伴互评中,学生具有评价者和被评价者的双重身份,这种双重身份可以促使学生在完成作业的过程中从评价者的角度审视作业任务,有助于学生从被动的知识接受者转变为主动的知识探索者,因而同伴互评对于提高学生的提问质量(Yu & Wu, 2016)、作品质量以及学习成绩(Gielen, et al., 2010)均有积极影响。
同伴互评虽然可以带来诸多益处,但有研究者发现评分者之间的评分一致性较差(Luo, et al., 2014; Admiraal, et al., 2014),即评分准确性不高,因而同伴互评的有效性一直受到质疑(李梅, 等, 2016)。有研究者从评价有效性的影响因素角度出发,考察能够提高其有效性的因素,如署名方式、认知风格以及训练方式等(李菲茗, 等, 2018)。同伴互评领域的权威研究者Topping(2017)指出,同伴互评是一个系统过程,有效组织同伴互评是提高其评分准确性的关键,进而将研究带入了整体视角,即需要不断完善同伴互评的组织程序与方法,从整体角度去考虑应该如何有效实施同伴互评。张义兵(2018)对基于知识建构的网络互评教学模式进行了研究,对互评教学过程进行了优化。除此之外,现有研究还没有从整体视角对同伴互评的组织程序和方法进行系统设计。因此,本文先从理论上构建同伴互评体系,进而在实践层面将同伴互评体系操作化为同伴互评组织程序。
二、理论分析与模型建构
(一)三元交互决定论
20世纪60年代,心理学家班杜拉在勒温模型研究的基础上,提出人的行为是人、环境、行为三元交互而形成的理论,并认为环境、人与其行为之间互为因果相互决定,从而形成一个系统,被学界称为“三元交互决定论”(班杜拉, 2015)。三元交互决定论打破了行为主义的环境决定论,否认了人本主义的个人决定论,而主张交互决定论。班杜拉的三元交互决定论与普通的交互论的区别是,普通交互论认为个体与环境以某种方式结合一起影响人的行为,或者是环境与个体相互作用的结果影响行为。班杜拉提出的交互作用观则把行为因素加入,认为行为的结果会对个体行为产生影响(刘中宇, 等, 2010)。
该理论聚焦于人的内在因素、行为和环境之间的相互影响,是对个体行为解释力较强的理论,具有广泛的应用价值,尤其是对成因复杂、行为多样性强的问题能够进行有力的解释。因此目前有诸多学者以三元交互论为理论基础进行教育及教学问题的系统化分析,如刘中宇等(2010)以三元交互论为基礎设计了包括个人中心、学习中心和资源中心的教育资源平台;金凌志(2011)基于三元交互理论构建了博士生创新能力系统,认为博士生创新能力是创新个体、创新行为和创新环境交互作用、共同影响的结果;杜昊(2019)揭示了大学生阅读素养与三元交互论的内在联系,并从阅读个体、阅读行为和阅读环境的角度提出了提升大学生阅读素养的策略;马捷(2019)构建了推广阅读的三元交互模型,从推广情景、个人因素和阅读行为三方面提升阅读推广效果。在学习领域有研究(Heller,et al., 2015)发现,大学生的学习动机、资源处理能力等内在因素能预测大学生的学业成绩,学习氛围、同伴群体等环境因素对学生学业成绩的影响显著,也反映了学习者个体、学习环境和学习行为的互动关系。
综上所述,三元交互论强调个体的内在因素、行为和环境的交互作用,重视个体的内在因素对行为和环境的决定作用,强调环境对个体和行为的塑造作用,也反映行为对个体和环境的改进影响。
(二)同伴互评三元交互模型
由上述理论回顾发现,三元交互论在学习领域的研究和应用较多,同伴互评作为一种重要的学习方式也适合以三元交互理论为基础进行研究。目前同伴互评的现有研究也是以互评个体、互评环境以及互评行为这三个主要因素为中心向外扩展的,因而基于班杜拉的三元交互决定论,同伴互评可以视为互评个体、互评环境和互评行为交互作用、共同影响的过程。 (1)互评个体因素
互评个体因素中最基础的因素是个体能力,有研究者比较了79名学生给出的课程同伴互评分数,发现最终通过该课程考试的学生(79人中的38人)相较于不及格的学生(79人中的41人),对学生作品的鉴别更准确,其对作品的评分能显著预测作品最后的通过情况(Meek, et al., 2017)。还有研究表明不同能力水平的评价者撰写的评语存在差异,成绩优秀的评价者给出的评语质量更高(李梅, 等, 2016)。优秀组学生的评语比普通组更能兼顾课程知识要素的各个方面,具有更大的认知广度(刘迎春, 等, 2019),高分者的评语更为具体全面(李梅, 等, 2016)。因而在实际的同伴互评中需要考虑学生的能力水平对同伴互评结果的影响。除了评价者的学习能力会对评价行为产生影响,评价者的评价能力也会影响其评价行为,并且在学生的能力发展中,评价能力的发展也是重要的方面(刘邦祥, 2010),但目前还鲜有研究涉及。
动机是个体行为背后的原因,个体的动机差异会影响其行为积极性。在同伴互评中存在两类动机因素:一类是指向自己的自利性动机,另一类是指向他人的人际性动机。自利性动机指从事该行为能为个体带来某种有价值的结果或利益(De Dreu, et al., 2009)。在实践中发现,学生在进行同伴互评时,有时会随意地对他人进行评价,如果不是教师明确提出具体的要求,学生几乎不会对其他学生的作品进行定性评价,即便要求进行定性评价,也有些学生的评价内容过于简单,比如“作品不够吸引人”,或者使用一些没有价值的评价内容,如“很好”“不错”等,还有一部分会对所有的作品采用同一模板进行重复性评价。因此,如何提高利益相关性以促使评价者认真主动地进行有效的评价需要进行设计。
人际性动机指个体的行为会受到人际压力或人际利益的驱使(Meclelland, 1949)。一方面在同伴互评的过程中,评价结果会受关系远近的影响,如学生会给与自己关系好的同学打高分,而给与自己关系不好的同学打低分。实证研究发现朋友评分要高于同学评分,说明个体进行评分时会渗入情感因素,即在评价中存在圈子效应,个体会对圈内人给予较高的评分(殷宝媛, 等, 2012)。另一方面,即便并非故意的行为也会使得学生对某类学生的作品形成晕轮效应而影响评价的客观性。殷宝媛等(2012)研究发现对一位平时各方面表现优异的同学进行评价时,同伴倾向于给出较高的分数,即同伴互评的客观性会受到权威效应的影响。
(2)互评环境因素
在互评环境因素中,提供给评价者什么样的评价资源直接影响其评价行为。在同伴互评活动中,评价量规是评价者进行评价活动的依据与指南,是需要提供给评价者的最重要的评价资源。有学者提出一份完整的量规应该包含三个基本要素,具体的评估标准、区分熟练水平以及明确的反馈(夏正江, 2005)。评价量规的目的是保证所有的评价者通过相对统一的标准进行评定,最大程度上降低评价的主观随意性,确保同伴互评的客观公正性,因而制定详细的评价标准或者评价量规可以大大提高评价的有效性(马玉慧, 等, 2016)。范逸洲(2018)研究发现将评价量规从抽象描述修改为更加具体的描述、提供详细的等级描述可以有效提高评分的准确性。
在评价环境因素中另一个重要的因素是评价反馈,即评价者完成评价后能获取信息以识别自己与他人或专家的评价的差异性,进而反思和改进自己的评价。在实践中常用的反馈方式是对评价者进行培训,研究一致发现有培训比没有培训能显著提高评价者的评分准确性。研究者进一步比较了两种主要的培训方式对评分准确性的影响,发现“练习+反馈”的培训方式比范例学习更能提高评分准确性(李菲茗, 等, 2018),表明虽然范例学习简便易行并被广泛使用,但通过实际练习并给予反馈的方式使评价者亲身体验评价过程,对于提高评分准确性更有效。
(3)互评行为因素
为了达到以评促学的目标,互评行为中的准确性和有效性是两个关键的行为结果。借鉴心理测量学对测量信度和效度的界定,同伴互评体系中互评行为的评价指标既包括同伴互评间的一致性程度,即同伴互评在评价准确性方面的区分力,也包括同伴互评对于促进理解和学习的效果,即同伴互评在提高学习表现或达成教学目标方面的预测力。而区分力和预测力往往又能相互促进,当个体能很准确地进行同伴互评时,意味着其通过同伴互评这种方法对知识内容有了很好的理解与掌握。
基于以上分析,构建如图1所示的基于三元交互决定论的以评促学互评体系:互评个体因素包括评价主体的能力和动机水平;互评环境因素微观具体化为评价量规和评价培训两个方面;互评行为因素包括评价的准确性和有效性(见图1)。
三、研究方法與过程
为了将基于三元交互理论提出的同伴互评体系具体化为组织程序,进而验证该程序对于提升同伴互评准确性和有效性的效果,设计了现场实验。本实验的出发点是将互评个体、互评环境与互评行为作为一个整体系统,评价该系统的有效性。具体实验方法与过程如下:
(一)实验被试
相较于初中和小学,同伴互评在越高年级的课程中效果越好(Topping, 2017),因而本研究选取大学生为被试。共有两个标准班60名本科生参加了本次实验,将一班作为对照组,二班作为实验组。本研究以“管理学原理”课程为例,该课程开设于大一第一学期,该校入学实行蛇形分组法,首先将学生按高考成绩排序,再根据班级数量按蛇行走向将学生分到不同的班级,以保证每个班学生的整体实力均等。两个班除了在同伴互评实施策略上存在不同,在授课教师、教学内容以及阅读材料等方面均相同。
(二)作业任务
在学期初,向学生介绍同伴互评的基本理念及益处,强调深度参与、共同进步的原则。将学生分成每3人一组的学习小组,要求每个小组从指定的10家企业中选择一家企业作为研究对象,进而以团队的方式对选定的企业进行主题聚焦(如腾讯的员工激励方案),随后进行资料的搜集与阅读、组内学习与研讨,在学期末以小组为单位制作一部时长5分钟的案例介绍短片,并辅以文档介绍该企业案例的知识点以及案例启示。小组完成作业后实名命名作品上传到课程网络空间。 (三)同伴互评实施要点
(1)互评个体因素
主要从三个因素考虑互评个体的能力和动机,即学习能力、评价能力以及参与动机。由于评价者的能力会影响评价结果,因而在互评分配中不能仅依靠随机化来消除评价者能力差异带来的影响。应以能力差异为基础,将评价对象分为n个等级,进而使每份作业均由来自不同等级的n个评价者进行评价。如将评价者分为A、B、C三个等级,则每份作业应由评价者[Ai]、[Bi]、[Ci]进行评价。具体实施方法是按照入学成绩对学生进行排序,将学生分为三个梯队,前10名为一梯队,中间10名为二梯队,最后10名为三梯队。将第1、20、21名同学组成一组,第2、19、22名同学组成一组,依此类推,以保证分组在能力水平上差异较小,进而保证每组作业的评价者在学业能力上不存在差异。对照班实施自由结组。
为了降低评价中的人际困扰,实行双向匿名评价,通过手动编码的方式进行,即学生将作业实名提交后,教师进行作业的编号,并去掉个人信息,而后再按照前面交代的互评匹配方式分配评价者。评价完成后邮件反馈评价结果,这样只有教师掌握相互评价的信息情况,即采用双向匿名评价有效减少评价者与被评价者人际因素的影响。
为了调动学生参与评价的积极性,将学生的评价能力作为学生个人成绩的一部分(Suen, 2014)。评价能力是指其能有效鉴别作业优劣的能力,假定A组学生对B组学生的作业进行评分,其中A组每名学生的评分记为[xi],则B组学生作业的得分为其平均数,记为[x],
(2)互评环境因素
主要从提供必要的评价资源以及使学生掌握如何使用该资源两方面进行设计。为了提高评价准确性,应该对评价量规进行具体的描述。评价量规主要包括评价作业的维度、等级标准等,在定量评价中需要设计具体的评价指标及指标权重,并为评价指标编写评分标准。在定性评价中需要提供用于描述指标的词库,可采用选择型而非完全开放型的评价。依据作者此前的一个研究的结果(高记, 等, 2018),设计表1的评价量规,一级评价指标的权重通过主成分分析得出,单个指标的权重近似4∶3∶3。在本研究中为了便于学生评价,请课程组的三位专家设计了二级指标。
除了提供评价量规工具之外,还需要教会学生使用该工具,对学生进行必要的评价培训。有研究发现,对学生进行“练习+反馈”的评价训练,可以有效提高评分者的评分准确性(李菲茗, 等, 2018)。按照文献中提供的方法,在学期中给全班学生提供从上一学年该课程中选出的好、中、差三个作品,让所有学生依据教师讲解过的评分规则对三份作业进行评价,而后公布教师对三份作业的评价,让学生将自己的评价与教师的评价进行对照分析,找出差距及原因。反复进行此过程,直到学生能进行准确的评价为止。
(3)互评行为因素
让学生根据评价量规对作业进行量化打分,除了进行定量打分外,还需要对三个特定的问题提供定性评价:①你对作者的作品有什么看法?②他们是否使用可靠的资源进行研究并且很好地利用了这些资源?③他们做哪些改进能大幅提高作品的质量。
四、研究结果
(一)同伴互评准确性分析
评价准确性由学生评分与教师评分之差的绝对值获得,教师评分由课程组的其他教师对两个班的作品进行评分获得。最后将实验组与对照组的评价准确性分数进行独立样本t检验,结果如表2所示。
(二)同伴互评有效性检验
进一步检查系统化組织后的同伴互评方式对学生学习效果的影响,将教师评价的作品分数作为衡量学习效果的指标,将实验组和对照组的分数进行独立样本t检验,结果如表3所示。
由表3可以看出,实验组学生的作品成绩得分显著高于对照组。最后还对学生的定性评价内容进行了分析,实验组给出定性评价的学生人数明显多于对照组,并且在定性评价内容的长度以及具体性上也明显优于对照组。
总体研究结果表明,实验组实施的同伴互评程序可以有效提高学生的作业成绩,可以使学生深度参与、更好地掌握和理解知识内容,进而更好地完成小组作业。这些结果均表明同伴互评这种评价和学习方法在使用得当的情况下可以实现以评促学的功能。
五、讨论
本研究在现有同伴互评研究的基础上,从同伴互评的内涵与功能出发,分析了同伴互评对学习的促进作用,进而以三元交互决定论为基础分别从个体、环境、行为的角度梳理了影响同伴互评有效性的因素。设计了提升互评行为准确性与有效性的组织实施程序,并以管理学课程为例,以实证研究的方法验证了以评促学互评体系的有效性。
(一)个体因素
从个体角度主要识别了能力和动机两类因素与互评环境与互评行为间的互动关系,选择两个因素,一方面由于其可变性较强,能力可以提升,动机可以激发,不像人格等因素较为稳定不易操控,这样可以在实践中获得较多的应用。另一方面则考虑到在众多影响因素中能力和动机对行为的影响最强,心理学研究表明,动机是行为背后的原因,可以对行为起到引起、维持和调节的功能。本研究通过将学生的评价能力纳入其个人成绩的做法激发学生参与评价的动机,通过匿名评价降低学生互评中人际动机的不良影响。因而,为了吸引学生参与同伴互评,需要从动机上激发学生的参与动机,可以运用多种策略调动学生的参与积极性。
(二)环境因素
从环境角度主要识别了评价资源与评价反馈两个因素与个体和行为的互动关系,其中评价量规为学生提供了可得性评价资源,评价反馈为学生提供了资源的可用性,即给予资源并培训使其掌握如何使用资源,这些评价环境因素既能有效提升学生的评价能力与动机,也能改进学生的评价行为。因此,为了使同伴互评取得较好的效果,需要从互评环境的角度为学生提供丰富、可用的互评资源,包括可参考学习的同伴互评范例、必要的互评培训等。
(三)行为因素 從行为的角度主要识别了评价准确性和有效性与个体和环境的互动关系。互评行为的准确性直接影响学生参与的积极性,当学生评价与教师评价较为一致时,表明学生对作业的认知与教师的认知一致,这种准确性会进一步提升学生对互评结果的接受程度,进而促进互评行为的发生。有效性反映互评行为对学生学习收获的促进程度,当有效性较高时学生将其视为一种有效的学习手段,会更加重视同伴互评,进而积极参与。因此,为了更好地开展同伴互评,需要有效测量同伴互评的准确性和有效性。
六、不足与展望
严格地说,本研究应该采用多因素混合实验设计,对互评个体以及互评环境所涉及的因素分别进行操纵。但考虑到实验难度,并没有如此多的平行班可作为被试,同时多项交互作用也很难进行简单效应分析进而对结果进行解释,因而只采用了单因素实验设计,从三元互动的整体性视角出发,将整体的同伴互评组织程序进行操纵,进而考察这种组织程序对于提高同伴互评有效性的影响。因此,研究结论并不能解释是哪一个或哪几个因素起了主要作用,未来的研究可以尝试单独对每个因素的有效性进行检验。
[参考文献]
班杜拉. 2015. 社会学习理论[M]. 陈欣银,李伯黍,译. 北京: 中国人民大学出版社.
杜昊. 2019. 基于三元交互决定论的大学生阅读素养研究[J]. 图书馆工作与研究(1):14-18.
范逸洲,冯菲,刘玉,等. 2018. 评价量规设计对慕课同伴互评有效性的影响研究[J]. 电化教育研究(11):1-6.
高记,吴遐,许长勇. 2018. 基于关联主义MOOC的翻转课堂教学模式构建与应用[J]. 中国电化教育(10):101-106.
金凌志,王小敏. 2011. 基于三元交互决定论的博士生创新能力培养[J]. 高等教育研究,32(4):49-53.
李梅,刘英群,周潜. 2016. 同伴评价的可信度与特点分析[J]. 电化教育研究,37(9):48-54.
李菲茗,李晓菲,黄亚平. 2018. 训练对同伴互评评分准确性的影响:以“三维动画设计与建模”课程为例[J]. 中国远程教育(5): 63-67,78.
刘邦祥,宋海涛,克劳斯·基尔,吴保林. 2010. 如何评价行动导向教学中学生的能力发展:关于评价能力发展的方案设计[J]. 中国职业技术教育(3):55-59.
刘迎春,朱旭,陈乐. 2019. 精准教学中基于同伴互评的评价者认知网络分析[J]. 远程教育杂志,37(1):85-93.
马捷,贾荟珍. 2019. 自我效能视角下阅读推广三元交互模型构建[J].图书与情报(2):46-56.
马玉慧,赵乐,刘晴. 2016. 在线同伴评价的影响因素及其促进策略研究[J]. 电化教育研究,37(3):108-114.
舒存叶. 2017. 网络同伴互评系统的设计和优化[J]. 电化教育研究, 38(1):80-85.
王妍莉,杨彦军,崔向平. 2018. 促进理解的在线同伴互评机制研究[J]. 现代教育技术,28(12):48-54.
夏正江. 2005. 论课程观的转型及其对新课改的影响[J]. 课程·教材·教法(3):8-14.
叶萍. 2014. 同伴互评法在英语演讲课堂中的应用研究[J]. 外语教学,35(4):46-50.
殷宝媛,刘俊强,于纪明. 2012. 同伴互评电子作品的影响因素分析[J]. 电化教育研究,33(12):58-62.
张义兵,孙俊梅,木塔里甫. 2018. 基于知识建构的同伴互评教学实践研究[J]. 电化教育研究,39(7):108-113.
Admiraal, W., Huisman, B., & Van de Ven, M. (2014). Self- and peer assessment in massive open online courses. International Journal of Higher Education, 3 (3):119-128.
Cho, Y. H., & Cho, K. (2011). Peer reviewers learn from giving comments. Instructional Science, 39 (5): 629-643.
DeBoer, J., Ho, A. D., Stump, G. S., & Breslow, L. (2014). Changing ‘course’: Reconceptualizing educational variables for massive open online courses. Educational Researcher, 43 (2): 74-84.
De Dreu, C. K. W., & Nauta, A. (2009). Self-interest and other-orientation in organizational behavior: Implications for job performance, prosocial behavior, and personal initiative. Journal of Applied Psychology, 94: 913-926.
Demiraslan ?evik, Y. (2015). Assessor or assessee? Investigating the differential effects of online peer assessment roles in the development of students’ problem-solving skills. Computers in Human Behavior, 52: 250-258. Falchikov, N., & Goldfinch, J. (2000). Student peer assessment in higher education: A meta-analysis comparing peer and teacher marks. Review of Educational Research, 70 (3): 287-322.
Gielen, S., Peeters, E., Dochy, F., Onghena, P., & Struyven, K. (2010). Improving the effectiveness of peer feedback for learning. Learning and Instruction, 20(4): 304-315.
Hanrahan, S. J., & Isaacs, G. (2010). Assessing self- and peer-assessment: The students’views. Higher Education Research & Development , 20 (1): 53-70.
Heller, M. L., & Cassady, J. C. (2017). Predicting community college and university student success: A test of the triadic reciprocal model for two populations. Journal of College Student Retention: Research, Theory & Practice, 18(4): 431-456.
Luo, H., Robinson, A. C., & Park, J. (2014). Peer grading in a MOOC: Reliability, validity, and perceived effects. Online Learning: Official Journal of the Online Learning Consortium, 18( 2): 119-126.
Meek, S. E. M., Blakemore, L., & Marks, L. (2017). Is peer review an appropriate form of assessment in a MOOC? Student participation and performance in formative peer review. Assessment & Evaluation in Higher Education, 42(6):1-14.
Morris, J. (2001). Peer assessment: A missing link between teaching and learning? A review of the literature. Nurse Education Today, 21 (7): 507-515.
Suen, H. K. (2014). Peer assessment for massive open online courses (MOOCs). The International Review of Research in Open and Distance Learning, 15(3):76-87.
Topping, K. J. (2009). Peer assessment. Theory Into Practice, 48 (1): 20-27.
Topping, K. J. (1998). Peer assessment between students in colleges and universities. Review of Educational Research, 68 (3): 249-276.
Topping, K. (2017). Peer assessment: Learning by judging and discussing the work of other learners. Interdisciplinary Education and Psychology, 1(1):7-14.
Wahid, U., Chatti, M. A., & Schroeder, U. (2016). A systematic analysis of peer assessment in the MOOC era and future perspectives. In Proceedings of the Eighth International Conference on Mobile, Hybrid, and On-line Learning.
Yu, F.Y., & Wu, C. P. (2016). Predictive effects of the quality of online peer-feedback provided and received on primary school students’ quality of question-generation. Educational Technology & Society,19(3): 234-246.
責任编辑 单 玲
转载注明来源:https://www.xzbu.com/9/view-15251336.htm