基于大数据的高校学习评价方法研究*

来源:用户上传      作者:付靖宇 袁新瑞 种兰祥

　　摘   要：由于高校缺乏对教学过程与教学评价有效性的关注，导致教学质量难以监控，教学监管部门难以管理。为解决“学生不好好学，教师不好教”的问题，文章从加强对学习过程的科学有效评价出发，基于智慧校园大数据中的学生学习行为数据，构建了多维过程评价体系。该体系包括评价模型、评价指标、观测数据集、教学支撑环境。文章基于高校信息化和教学应用现状，从学习态度、知识掌握、能力发展等角度构建了学习评价模型与指标体系，并给出相应的数据采集体系设计方案。
　　关键词：教育大数据;学习评价;过程评价;教学评价指标
　　中图分类号：G420 文献标志码：A 文章编号：1673-8454（2020）07-0040-05
　　一、研究背景与问题提出
　　高校教学中出现“照本宣科”、大学课堂“低头族”、“毕业设计纸上谈兵”现象，对此教育部印发《关于加快建设高水平本科教育全面人才培养能力的意见》[1]，要求建设高水平本科教育，初步形成高水平的人才培养体系，增强学生学习成效和教师育人能力。陈宝生部长提出要吹响“课堂革命的号角”，破解“玩耍的大学”的问题。这些现象本质上是我国高校在教学过程管理、教学质量评价等方面存在问题，但目前的教学环境与管理模式难以支持解决。伴随信息技术在高校教学的普及应用，促使教学环境、课程内容信息化以及教学模式改革，沉淀了大量教学数据，为教学过程管理带来新手段。因此，如何构建基于大数据的高校教学质量监管体系和学习评价体系，成为高校信息化发展的重要问题。
　　潘云鹤教授对世界的三元化论述[2]，提示教育行业构筑教育评价数据集需要从三元化世界做好顶层设计，在智慧校园建设中构建独立的教学评价大数据子集。但评价指标体系的缺失难以指导智慧校园中的数据采集环境。本文以教学评价和学习评价为关键词检索，对文献统计分析，涉及高校学习评价的核心期刊文献25篇，有关评价的指标多与各类在线学习平台结合，针对学生某一能力的评价，对学习评价的系统研究较少。在传统评价手段向信息化手段过渡的时期，如何构建伴随校园信息化的建设应用、师生信息素养的提升、信息化教学应用的深化而不断丰富数据评价和分析的统一模型，更是缺少理论研究和实践经验。因此有必要对高校学习评价进行分析，系统设计基于大数据的高校学习评价，重构教育评价体系，并为数据采集环境设计提供指导。
　　二、面向过程的学习评价模型
　　学习过程评价是指不以期末考试为学习评定的结果，而关注学生在整个学习过程中的学习行为、能力表现，评价目标是为了界定学生学习水平的评价，将其称为面向过程的学习评价或课程考核，区别于过程性评价。过程性评价倾向“过程”与“发展”的价值取向[3];是在学习过程中完成的、建构学习者学习活动价值的过程[4]，是在课程实施过程中对学生学习效果的评价。面向过程的学习评价借鉴过程性评价的理论方法，包含过程性评价结果并兼有对学习行为与能力发展的评价结果，属于教学管理范畴的概念。
　　传统的学习评价主要以期末考试成绩为主，部分教师会兼顾学生学习行为与能力，但这样的教师较少，且这种评价会增加教师的工作量。基于信息技术的混合式教学模式，纳入了自主学习、在线讨论、师生交互、协作学习、作业互评等多元学习方式，借助信息技术实现科学有效评价，解放教师人力，加强对学生学习过程科学性、发展性的管理，引导学生参与学习活动中，因此有必要将这些学习过程纳入课程考核。学习过程评价模型构建必须匹配信息时代人才培养要求和评价技术，同时需要过程环境支撑。因此，面向过程的学习评价将会伴随数据采集技术、学习工具技术的发展而逐步丰富。为保障评价的科学性和发展性，应有统一的评价模型指导评价系统的初建和后期的发展过程。
　　按照建构主义学习理论，对应学习的四个阶段（情境、会话、理解、意义建构），学习评价应关注学生的参与行为、交互行为、反馈内容等可观测内容;依据学习的联通本体论[5]，应关注学生“自主联通”的能力与结果，类同建构主义学习理论关注的反馈内容;按照世界三元化理论[2]，应关注学生与传统物理环境、信息空间的交互。就教学本身而言，其目标是关注学生的知识掌握和能力养成，因此学习评价的观测指标应关注学生对知识内容的掌握、专业能力养成和学习态度。为保障以上的观测点实现，应在教学过程中精心设计相关学习活动和内容，必要时应将其中基本的部分定义为教学管理标准过程。
　　基于以上分析，我们提出信息技术条件下面向过程的学习评价模型框架体系，以此指导教师设计教学过程及评价策略，具体如图1所示。教学过程环境设计方面，逐步丰富线上内容，合理设计线上线下融合交互环境;教学过程设计方面，首先实现课前预习、课堂交互、问题答疑、小组协作、随堂测、专题讨论、心得报告、课后作业及互评、期末考试等活动环节;结合整个教学活动，学习评价围绕学习态度、内容掌握、专业能力。
　　三、基于教育大数据的学习评价指标设计
　　结合混合式教学过程中学生学习过程数据和信息环境下面向过程的学习评价模型，在教学理论的指导下形成了以学习态度、专业能力、内容掌握的一级指標;从强制性学习活动、自主学习活动、主动探索活动三个方面支撑学习态度评价;结合21世纪学生核心素养和新时代人才培养的能力要求，从问题解决、创新实践、协作交互支撑专业能力的评价;借鉴高校原有评价方法对学生间接知识的掌握进行评价，考虑到学习内容特点，从知识学习情况、深加工反馈完成对内容掌握的评价，构建了面向过程的学习评价指标体系。指标如表1所示。
　　1.学习态度
　　学习态度是个人对学习以及学习活动表现出来的相对稳定的心理倾向。态度ABC三维结构模型中，学习态度包括认知、情感和行为倾向三要素[6]。认知是学生对学习内容的价值判断;情感指学生在学习过程中的情绪体验;行为倾向是学习者在学习活动中所表现出的外显行为。评价学生态度，认知、情感维度无法直接测量，但可以通过学生的外显行为表征行为倾向，间接反映学习态度，因此评价学习态度就是评价学生在课程活动中的言行表现，如课堂出勤情况、活动参与情况、作业完成情况等，判断学生是否处于主动积极的学习状态。 　　陶德清[7]基于态度三维结构模型将行为倾向分为学习主动性、计划性、排除困难、抗拒干扰、复习考试、学习方法掌握六个行为维度;邹为民[8]从上课考勤、缺课原因、上课状态、作业情况、对待考试五个方面评价学生态度。两者以学生活动水平作为评价指标，考虑学生学习的主动性，基于上述研究，结合混合式教学活动，对其评价维度调整。
　　学生在混合式教学模式中参与的活动主要有上课考勤、课前预习、资源访问、专题讨论、随堂测、投票抢答、学习反思完成、课后作业完成。结合学生综合评价参考模型[9]将上述活动分类，大致分为必要活动、自主学习、主动探索三类活动，因此对学习态度的二级指标分为“必要活动主动性”、“自主学习主动性”、“探索主动性”，用学生参与教师指定教学活动、自主学习，以及主动与外界沟通探索的主动性表征学习者的学习态度。
　　2.专业能力
　　学生专业能力就是学生为更好适应时代发展必须具备的能力，是学生发展的关键能力，这种专业能力与学校教育中学生核心素养相统一，强调学生在接受相应学段的教育过程中逐步形成起来的适应个人终身发展与社会发展的人格品质与关键能力[10]。专业能力发展要求学生在知识识记的基础上，关注现实情境中问题的创新解决能力，思考、判断、实践所学知识。
　　周洪宇[11]提出伴随信息技术的发展，社会从工业社会转向信息社会，时代发展对人才的需求由知识型、技能型人才转向创新型人才;21世纪学习框架、终身学习的核心素养框架、21世纪技能与目标框架等理论框架也提出新时代人才需要具备沟通交往、创新和创造力、知识与技能等能力，更有学者将其总结为合作、交往、创造创新、批判思维四大能力[12]。
　　根据研究中的核心能力以及学校教育可以发展的学生能力，与学校教学、教学理论结合，提出学生专业能力内涵，反映学生能力发展水平。联通本体论中强调学生学习是认识、概念、社会网络的联通，强调学生与他人交往的能力;学校教学活动需要学生掌握的基础能力就是能在各种情境中提出、分析问题，最终解决问题的能力;对人才培养而言，需要学生在学习实践活动中形成创新能力，因此根据协作交互、问题解决、实践创新评价学生专业能力。
　　3.内容掌握
　　知识内容掌握中的知识是目前学生学习活动中主要接触的学习内容，以间接经验为主，主要通过自主学习或教师教授完成，是以符号表征、概念、命题为主的陈述性知识。这类知识内容是学生进行问题解决、创新实践等活动的基础，目前高校对陈述性知识的评价以随堂测试、课后作业、书面考试为主，结合高校目前评价方法，通过学生取得的成绩评价学生知识学习情况。陈述性知识在大脑中表征主要通过命题网络，学习的最终结果是将新命题与知识网络中已存在的相关旧命题进行连接并存储。认知心理学的研究表明，有意义的深加工、深度学习可以促进知识点间的连接强度，进而促进陈述性知识的掌握[13]，因此评价学生的深加工行为的发生便可间接评价学生大脑中陈述性知识的表征情况，因此内容掌握的过程评价则通过对陈述性知识的深加工反馈来评价。
　　四、面向过程评价的智慧校园环境设计
　　1.智慧校园下的学生学习环境设计
　　智慧校园中涉及学生学习环境设计的部分以教室、实验室，以及辅助学习的网络平台建设为主，包括以下几个方面：智慧教室是传统教室的智慧化，突破传统功能，是物理空间与信息空间的“综合体”，包括桌椅设计、网络接入、感应装置、多媒体平台、录播系统等结合，是学习学习活动主要场所，通过感应装置完成学生考勤，通过录播系统获取学生的上课状态，借助智慧教室网络接入终端，结合网络学习平台完成交流讨论、课上协作等活动。实践学习的主要场所实验室，可以完成刷卡考勤，为师生提供丰富的交互环境，记录学生的实验过程，为难以实际操作的实验提供丰富的虚拟仿真环境。网络学习平台将线上线下学习环境相结合，保证混合式教学模式的实施，帮助教师便捷组织教学活动，学生借助平台完成一系列的学习活动，生成活动数据。
　　2.智慧校园下的学习评价环境设计
　　对学习评价模型、评价指标，以及智慧校园下学生学习环境进行分析。根据信息系统开发理论构建智慧校园环境下学习评价环境，主要包括过程数据采集、数据处理存储、分析评价三个部分。这些过程数据经历了采集、汇聚、处理、评价、可视化，从基础原始数据转化为可以被学生直观了解的评价结果，环境设计如图2所示。
　　过程数据分散在学校各类系统平台中，需要通过学生基本信息匹配各系统中有关该学生的活动信息，抽取与学生学习相关的数据段，将不同业务系统中的数据汇聚到数据仓库。但数据仓库中原始数据质量难以保证，需要数据清洗，保留高价值的原始数据段。规范数据格式，便于后期评价分析，将规范化数据存储到评价数据集中，结构化数据采用关系型数据库存储，非结构化数据采用分布式数据库存储，提供数据实时随机读/写访问[14]。根据学生评价指标，将评价数据与评价指标匹配，依据指标量化办法將各类特征值转换为维度值，根据权重与维度值计算出基础指标结果，将各低一级指标聚合成更高级别的指标结果，形成学习评价结果，将结果通过可视化工具反馈给学习者、教师、教学管理者。
　　五、学习评价数据采集与分析
　　在智慧教室、实验室等物理空间的基础上借助网络平台组织教学，学生学习数据汇聚分散存储在学习空间、在线学习平台、教务管理系统等各个平台中。通过梳理平台数据，收集学生原始数据，提取这些平台中学生学习数据的评价特征值，将特征值与评价指标相对应，分析各类底层指标支撑特征值，形成学生评价结果。
　　1.评价观测数据采集
　　学生完成课程的“学习态度”根据学习平台中学生活动的参与数据支撑，因此收集学生参加活动信息，活动包括到课、课前完成预习、随堂测、及时作业完成、参与投票、获取资源、心得报告、个人提问回答、动态发布回复、讨论发言、课堂抢答等。根据学生参与活动的次数等数据说明学生的学习态度是否积极。 　　学生投入到有意义的教学活动中的行为、社会交互时间和努力程度越多，学生的学习效果越好[15];Kuh[16]等指出教育质量高低的核心要素就是提升学习者的投入度，因此依据学生活动过程、结果判断学生专业能力。通过专题讨论报告、小组讨论中同伴打分、动态发布、回复质量评价学生交互;并根据活动情况找出核心参与者。学生问题解决能力通过优秀提问、优秀答案数量评价，学生问答被教师采纳，被多位同伴关注、赞同则视为优秀提问、优秀回答;依据个人作品、实验，自评、同伴、教师打分，评价学生实践成果质量反映实践创新能力。
　　预习自测、随堂测、课后作业、期中期末考试产生大量学生成绩数据，支持学生知识掌握评价。学生观看视音频时长、文本资源的学习批注、学习反思反映了知识深加工情况;将学生观看视频时长与该视频班级平均观看时间对比，视频观看时间过短与过快都会被认为非高质量观看行为;评价学生文本资源学习质量通过同伴学习者的点赞;通过对同伴打分的分数评价学习报告、心得记录等反馈内容质量。
　　2.评价数据计算方法
　　指标特征值不具备可加性，因此需要转换为百分制数值，一般通过聚类、Z分数、逻辑回归等方法加以转换[9]。本研究采用Z分数方法，Z分数具有可加性、可比性，更能刻画学生所处的位置，适合对学生难以定量行为的测量与统计。观察发现特征值以次数、时长、成绩为主，因此根据具体的数据类型确定不同的量化办法，主要包括以下几个方面：
　　次数特征值转换参照班级活动频次最高学生，统计班级学生某一行为数量，大小排列，计算学生行为数量在课程班的名次，以行为发生频率最高学生为满分，未有行为0分，根据行为发生频率最高次数计算每次行为分数，计算其他学生成绩。时间特征值转换以班级均值为基准，参照班级平均观看时长，统计学生观看时长，计算学生Z分数。在线观看视频时长，并非观看时间越长越好，成绩对称线性降低，因此根据Z’=-33|Z|+99，Z∈[-3，3]，将时间转化为百分制成绩。采用社会关系网络分析筛选核心参与者，将交互行为统计表导入UCINET工具，通过数据转化将统计数据形成二维矩阵，基于二维矩阵生成交互网络结构;计算每位学习者的度数中心度、中介中心度，以及接近中心度等参数;通过节点度数形成K-丛凝聚子群，得到团体成员分布，为中心度数值较高的团体成员加分。同伴互评、教师打分成绩采用个体加权因子计算方法[17]，同伴打分算出个体平均评分、班级总平均分数，用个体平均分除以班级总平均分算出个体权重因子;个体权重因子乘以教师评分得出最终成绩。对预习自测、课堂测试、课后平时作业等次数较多、容易完成、用来考察学生平时表现的活动，需将成绩转为标准分计算。
　　3.学生评价结果
　　根据评价数据计算办法，将学生的过程数据转换为学生成绩，对国内某高职学生在《计算机二级（Office）》课程中的学习过程运用上述成绩计算办法进行应用与验证。由于教师在组织教学中并未涉及上述所有的教学活动，因此选取学生已有数据进行评价，展示部分学生各类学习活动成绩得分，将各类活动成绩加权计算即可得出学生的最终成绩。部分学生活动得分如图3所示。
　　基于上述结果，学生了解个人学习活动情况，便于归因;教师根据学生活动情况，了解学生学习过程中的不足进行提醒和干预;管理者可以根据学生学习过程表现，了解学生的学习状态，把握学生学习质量。
　　六、总结与展望
　　本研究对面向过程学习评价的研究意义、评价模型、评价指标构建、数据采集环境进行梳理，形成大数据支持下的高校学生学习评价办法，将学生学习过程纳入学生考核。大数据支持下的学习评价以联通主义本体论、建构主义、世界三元论为理论基础，从学习态度、专业能力、内容掌握三个维度进行学习评价，并根据形成相应的二级指标，构建大数据下的学习过程评价系统。在数据基础上，形成科学、有效的学生成绩计算方法，推动大数据在教育教学评价方面的应用。大数据下的学生课程考核在考试的基础上增加了学生学习过程行为，体现了学生学习评价的科学性、发展性，试图破除“唯成绩论”和“上课昏昏欲睡”等问题，为智能化校园下教学数据采集环境建设和软件平台设计提供了指导意见。
　　参考文献：
　　[1]教高[2018]2号.教育部关于加快建设高水平本科教育全面提高人才培养能力的意见[Z].
　　[2]潘云鹤.世界的三元化和新一代人工智能[J].现代城市，2018，13（1）：1-3.
　　[3]高凌飚，钟媚.过程性评价：概念、范围与实施[J].上海教育科研，2005（7）：12-14，59.
　　[4]谢同祥，李艺.过程性评价：关于学习过程价值的建构过程[J].电化教育研究，2009（6）：17-20.
　　[5]王志军，陈丽.联通主义：“互联网+教育”的本体论[J].中国远程教育，2019（8）：1-9，26，92.
　　[6]李冬林，郑玮，朱静.硕士研究生学习态度及其学校因素的相关研究——以深圳S大学为例[J].高教探索，2017（7）：73-79.
　　[7]陶德清.学习态度的理论与研究[M].广州：广东人民出版社，2001：145-186.
　　[8]邹为民.高职院校大学生学习态度调查研究[J].教育理论与实践，2014（9）：34-35.
　　[9]郑勤华，陈耀华，孙洪涛等.基于学习分析的在线学习测评模型与应用——学习者综合评价参考模型[J].电化教育研究，2016（9）：33-40.
　　[10]钟启泉.基于核心素养的课程发展：挑战与课题[J].全球教育展望，2016（1）：3-25.
　　[11]周洪宇，鲍成中.第三次工业革命与人才培养模式变革[J].教育研究，2013（10）：4-9，43.
　　[12]张应强，张洋磊.从科技发展新趋势看培养大学生核心素养[J].高等教育研究，2017（12）：73-80.
　　[13]张浩，吴秀娟.深度学习的内涵及认知理论基础探析[J].中国电化教育，2012（10）：7-11.
　　[14]上超望，韓梦，刘清堂.大数据背景下在线学习过程性评价系统设计研究[J].中国电化教育，2018（5）：90-95.
　　[15]武法提，张琪.学习行为投入：定义、分析框架与理论模型[J].电化教育研究，2018（1）：35-41.
　　[16]KUH G D. Assessing what really matters to student learning inside the national survey of student engagement [J]. Change ：the magazine of higher learning，2001，33（3）：10-17.
　　[17]Gupta，M.L.Enhancing student performance through cooperative learning in physical sciences[J].Assessment& Evaluation in Higher Education，2004（29）：63-73.
　　（编辑：王晓明）
转载注明来源:https://www.xzbu.com/9/view-15193370.htm