基于学生体验的电子档案袋测评感知价值调查分析

来源:用户上传      作者:林莉兰 洪叶

　　一、引言
　　档案袋测评是基于表现的测评。与传统的测试不同，档案袋呈现的不仅是最终成果，也是学习过程。电子档案袋测评为数字化学习环境提供了各类成果证据存储的无限空间，更重要的是体现了认知主义和建构主义学习理论观，被视为促进学生发展的工具，支持个性化学习和促进学生自主学习能力发展。虽然电子档案袋测评被广泛推崇，但在理论主张与实践之间仍存在鸿沟。
　　国内研究者更感兴趣的是如何在数字化学习环境下结合课程教学融入档案袋的促学和测评功能，多基于教师视角描述电子档案袋的设计和应用，尚未有学者从学生视角研究学生的使用感受。电子档案袋测评反映的是一种全新的学习观和测评观，通过学生的自我测评和反思来促进学生承担更多的学习职责，学生是测评的参与者，而不是客体。对于大学生来说，他们是否适应这一新的测评文化以及所涉及的新兴技术？他们如何评价使用感受及效果？本研究拟通过调查回答上述问题，以期对相关电子档案袋设计和运用提供启示。
　　二、研究方法
　　（一）研究环境和目的
　　本研究的电子档案袋（以下简称PALA）系笔者所在项目组设计开发，用于所在学校大学英语自主学习项目，目的是辅助课程学习，促进学生自主能力发展。感知价值在本文中指学生根据电子档案袋测评体验及感知的收获而形成的判断。为了捕捉受试体验，调查涉及三个变量：感知PALA促进自主价值、感知电子档案袋技术价值、感知档案袋测评价值。研究将考察影响学生体验PALA的因素以及因素间的关系，分析学生对这三个变量的反应。
　　（二）研究工具
　　1.问卷
　　“感知PALA促进自主价值”以自主学习能力构念为框架。项目组在前期实证研究基础上，确定了大学生外语自主学习能力操作化定义包括五个维度：目标管理能力、自我反思能力、互动交流能力、自我评估能力、外语（英语）使用能力。根据这一定义以及前期研究成果编制初始项目16个，其中4题为干扰题。“感知电子档案袋技术价值”以技术接受模型（Technology Acceptance Modeling，TAM）为框架，旨在通过感知有用性、感知易用性、对使用特定技术（包括电子档案袋）态度以及后续行为意愿之间的关系来解释用户如何感知和使用技术。参照这一模型设计了12题来测量学生感知电子档案袋技术的价值。第三个变量借鉴Brown的“学生测评观”（Student Conceptions of Assessment，SCoA）量表模型。该量表用于解释学生如何看待测评及测评的作用，涉及四个构念：测评促进了我的学和教师教（促进）;测评与我无法控制的外部因素有关（外部）;测评对我的学习环境有积极的社会和情感影响（情感）;测评干扰了我的学习（无关）。参照SCoA模型设计了22道题来测量学生如何评估档案袋测评的作用。初始50道题采用李克特五级量式，最后一部分还设计了3道开放题，以了解学生对改进PALA的建议。
　　2.访谈
　　鉴于问卷获得的学生对开放性问题的回应有限，研究添加了访谈。访谈采用半结构化形式，围绕如下问题：英语学习目的、平时英语学习时间、是否适应自主学习模式、是否曾经使用过学习档案袋、PALA是否有用、使用PALA的体验、改进PALA的建议。6名任课老师分别从实验班中推荐了自主学习能力强、一般和弱三个等次的6名学生参加访谈（实际参加访谈学生35人）。2018年6月底，笔者对这些学生进行了一对一的访谈，访谈按照事先确定的时间和地点举行，在三个半天内完成。
　　（三）数据收集及分析
　　参实验组的两轮学生（笔者所在学校2016级和2017级非英语专业本科生）分别于2018年6月和2019年1月参加了网络问卷调查，共收到有效问卷295份（77.2%）。为确定三个拟测变量间的关系，同时验证问卷的构念效度，研究采用因子分析技术。将232份问卷分成两部分，运用SPSS24.0对132份问卷进行探索性因子分析，运用AMOS24.0对100份问卷进行验证性因子分析。访谈的定性数据分析方法如下：两位教师运用内容分析法对访谈内容独立编码。对编码存在争议部分由笔者参与讨论，使编码趋于一致。笔者根据两位教师编码，对数据进行描述性统计分析。
　　三、结果分析
　　（一）感知PALA价值模型
　　初始问卷的信度系数为0.97，内部一致性统计结果表明，题项V34-40的CITI值低于0.5的标准，删除这7项后，问卷的一致性程度得到提高。
　　问卷的样本测度值KMO为0.96，Bartlett球形检验的统计显著（p=.000），表明数据适合做因子分析。采用主成分分析法和最大正交旋转方式来实现对观测变量进行降维处理。最后，问卷的43个题项获得的3个因子解释了76.54%的方差。因子1共有16题，解释了29.69%的方差，与“PALA促进自主价值”构念一致。因子2共有12题，解释了24.14%的方差，与“感知电子档案袋技术价值”构念一致。因子3解释了22.71%的方差，与“感知档案袋测评价值”构念一致，共15题。
　　另一部分数据用于对获得的三因子模型验证。采用了四个步骤：模型设定、模型估计、模型评估和模型修正。根据修正指数，结合理论，删除了8题后，模型拟合度达到了理想标准（X2/df、GFI、NFI、IF、CFI、RMSEA值均达到标准）。最终问卷为35题，信度为0.98，各维度的信度均在0.97-0.98之间，说明量表有较好的信度，各题项能较好地反映所在维度构念。
　　最终问卷的感知PALA促进自主价值变量共12题（因子分析过程中删除了4道干扰题），反映了本研究的自主学习能力理论假设。感知电子档案袋技术价值变量保留了初始12道題。在感知档案袋测评价值这部分，因子分析过程中删除了情感（V30、V31、V32）、无关（V34、V35、V36、V37、V38）和外部因子（V38、V39、V40、V50），仅保留“促进”因子（共11题）。这一结果表明，仅“促进”因子反映了感知PALA价值构念，而其他三个因子与感知PALA价值相关性低或无相关。 　　从图1显示三因子的关系模型可看出，外源性潜在构念与内源性潜在构念（变量）之间的路径均为正相关，具有统计学意义，因此接受本研究提出的感知PALA价值假设模型。感知PALA促进自主价值、感知技术价值和感知档案袋测评价值三因子解释了79%的感知PALA价值方差，其中感知技术价值因子贡献略高，其次是感知档案袋测评价值和感知促进自主价值，说明三个因子都在一定程度上影响学生的感知PALA价值。学生对档案袋测评的感知价值与感知电子档案袋的技术价值存在高度相关，对档案袋测评的感知价值与感知PALA促进自主价值也是显著相关，感知PALA促进自主价值和感知电子档案袋技术价值存在中度相关。这一结果不仅表明三个变量之间的线性关系程度，还表明某一变量的变化会同时引起另外两个变量变化。
　　（二）感知PALA价值定量分析
　　对学生问卷各项答题进行百分比统计。在感知PALA促进自主这一维度上，每一题持“赞同”和“完全赞同”的学生都在75%以上，表明多数受测学生肯定PALA促进他们自主学习能力的价值，肯定了PALA在促进他们管理学习目标、自我反思、互动交流、自我评估和英语使用能力的价值。在感知技术价值这一维度，对电子档案袋有用性（V17-19）和易用性（V20-22）持肯定评价的学生占总数75%-82%，在使用态度（V23-25）和后续使用意愿（V26-28）持肯定评价的百分比略低（72%-78%）。感知档案袋测评价值这一维度的11题均是对其促学和促教的评价。80%以上受测学生认为档案袋测评促进了教师的教学（V46、V47和V49），促进了他们融入学习过程（V29），提高了学习效率（V33），了解了自己学习现状（V45、V48）。但问及是否重视测评结果（V43）或如何使用测评结果调整后续学习（V42、V44）时，50%左右的学生不置可否，只有34%左右的学生给与肯定答复。这一结果似乎说明不少学生还不能使用测评结果调整和改进学习方法。
　　（三）定性数据分析
　　42.9%的受访学生表示“喜欢”英语，而17.1%的学生明确表明“不喜欢”英语。大多数受访学生（82.8%）表示能适应自主学习模式，仅有8.6%的学生尚不能适应。所有受访学生此前无使用档案袋的学习经历。当问及PALA在他们的英语学习过程中是否有用时，多数学生（77.2%）给予了肯定答复，而5.7%的受访学生认为“无用”。这一结果与问卷调查结果基本一致，即大多数学生肯定了PALA的使用价值。PALA的“反思”（51.4%）和“学习过程轨迹图”（29.6%）被认为是PALA最有用的部分。当问及PALA使用感受时，多数学生给与了充分肯定（71.4%），多集中在提高自我管理学习能力（22.9%）、帮助适应学习方式转变（22.9%）、感受PALA对促进学习的作用（25.7%）。受访学生对PALA的改进建议回应不多，收集的建议分别是：增加师生互动（25.7%）、精简和优化系统界面（5.7%）、细化反思部分提示（5.7%）、提高系统运行的稳定性（5.7%）、增加自主学习测试频率（5.7%）。总的来说，多数受访学生认为PALA在促进他们管理自己学习、适应学习模式的转变以及促进学习方面持肯定态度。
　　四、结论与讨论
　　首先，多数受试能适应档案袋这种新的测评方法。虽然受试在实验前从未接触和使用过档案袋学习方法，但本研究的因子分析结果在感知档案袋测评价值因子上拒绝了原假设的“外部”“情感”和“无关”因子。根据SCoA理论，“情感”和“外部”因子指学生将档案袋测评与同伴的关系、学习环境和学校教学质量相关联，反映了学生缺乏自主和自我控制，“无关”因子则反映了学生拒绝承认档案袋测评的有效性。已有研究也验证了持促进观的学生能适应学习测评模式，而持外部、情感归因或认为测评与自己无关的学生难以适应测评模式。本研究所保留的促进因子验证了PALA的促进价值，也反映了学生适应档案袋测评学习法。描述性统计数据和访谈也表明，多数学生适应这种测评方法。其次，多数学生认可PALA所采用的技术。这一结果一方面可能是PALA将多种数据集合到一个平台，方便了学生了解和监控学习过程。另一个可能的原因是PALA所采用的结构化构架。电子档案袋的优势如何在教学中得以显现并得到学生的认可，关键在于要基于使用群体的现状提出合理的设计方案。本研究采用结构化的构架是基于前期实施条件分析后做出的决定。结构化的档案袋更适用于自主学习能力仍处于“反应性自主”阶段的学生。这一举措为成功实施PALA提供了很好的铺垫。最后，PALA基本达到了其设定的促进学生自主能力发展和促学的目标。从问卷和访谈数据看，多数学生肯定了PALA在支持他们实施学习决策和促进他们自我管理学习的能力，促进了他们反思学习过程和成效，也提高了他们对学习过程的认识，提高了他们学习绩效。这一结果验证了有关档案袋测评能力促进学生自主能力发展和促进学习的推论。
　　虽然PALA取得了理想效果，但在如何加强教师的导学方面仍有改进的空间。调查发现，只有三分之一的学生能根据测评结果调整后续学习。档案袋测评被认为是替代传统考试的一个理想的方法，其优势之一就是通过学生参与测评来实现不断改进和提高的目的。上述结果可能是学生不理解档案袋测评的意义，或是不知道如何调整学习方法。PALA虽然有教师针对学生学习过程的反馈，计算机技术也能提供机评和学习过程记录反馈，但对自主能力仍处在发展阶段的学生来说，仍需要老师指导他们如何解决学习过程中的问题，如何调整学习方法。
　　本研究为电子档案袋测评设计和研究提供了一个新视角。已有研究主要基于TAM或SCoA模型来探讨电子档案袋测评的作用。本研究除了上述两个模型外，还从PALA目的设计了拟测变量。因子分析验证了本研究的理论假设，即学生感知PALA价值模型由感知PALA促进自主价值、感知技术价值和感知测评的促进价值三因子组成。因子模型图也表明，三因子相互关联，互相影响。也就是说，以促进学生自主为目标的电子档案袋测评设计需同时考虑学生是如何理解自主、电子檔案袋技术和测评的促进功能。本研究的启示是，电子档案袋测评的设计既要考虑测评的目的和实现方式，也要考虑平台技术的呈现方式。
　　作者简介：
　　林莉兰：教授，博士，研究方向为二语习得、英语语言教学（lin5928@163.com）。
　　洪叶：讲师，硕士，研究方向为英美文学（hy@ahjzu.edu.cn）。
转载注明来源:https://www.xzbu.com/1/view-15287705.htm