您好, 访客   登录/注册

智能技术支持的增值评价模式及典型实践

来源:用户上传      作者:刘邦奇 朱广袤 张金霞

  【摘 要】
   增值评价是一种新的评价方式,利用智能技术解决增值评价中的难题、推进其落地和推广应用具有重要的现实意义。本研究首先通过增值评价的提出与发展现状分析,阐述了增值评价的基本内涵和特征;其次,探讨了增值评价面临的现实问题与挑战,在此基础上提出了智能技术赋能增值评价的基本策略;再次,围绕追踪数据库的建立与维护、增值评价模型的选择与应用、发展水平可视化呈现与交互三个核心场景,从目的与作用、相关技术与应用分析等视角,详细探讨了智能技术支持下增值评价的实现方式;最后,以美国田纳西州增值评价系统和苏州教育质量监测为例,介绍了智能技术支持下的增值评价典型应用实践案例。希望本研究能够为智能时代加快探索增值评价、促进教育评价改革创新提供借鉴。
  【关键词】 增值评价;智能技术;模式创新;实施策略;追踪数据库;增值评价模型;数据可视化;典型实践
  【中图分类号】 G434 【文献标识码】 A 【文章编号】 1009-458x(2022)12-0049-09
  《深化新时代教育评价改革总体方案》(简称“《总体方案》”)针对我国教育发展的新态势,明确提出要“探索增值评价”。增值评价的核心旨趣是通过教育活动前后学生所获得的成长进步来衡量学校教育和教师工作的成效与价值,有利于打破“以成绩定标签”的传统结果评价造成的分层固化,带来了评价标准分级分类的可能性,一定程度上有利于教育公平与质量的发展(张琪, 等, 2021)。然而,在增值评价的实践中,由于其特殊性以及刚刚才开始起步探索,客观存在一些问题与挑战,一定程度上阻碍了增值评价的落地与发展。信息技术能够通过“增强”“创新”评价工具、优化评价管理、提升评价质量和拓展评价结果等有效赋能教育评价(刘邦奇, 等, 2021; 张志祯, 等, 2021)。因此,在推进教育评价的实践中,利用人工智能、大数据等技术优势来解决增值评价中的难题,促进增值评价落地和推广应用,对于深化我国教育评价改革具有重要的现实意义。
  一、增值评价的基本内涵与特征
  (一)增值评价的内涵和实践发展
  增值评价的提出起源于上个世纪60年代西方国家对学校效能的研究。亚历山德・埃斯汀(Astin, 1982)指出:“增值方法的基本论点是,真正卓越的学校或大学能够影响其学生,提高他们的智力发展,并对他们的生活产生积极的影响。”威廉・桑德斯(Sanders, 1994)指出,效能最好的学校是那些为所有学习者提供教育机会的学校――无论是先进的学习者还是后进的学习者。我国香港于20世纪80年代就进行了增值评价的研究,大陆的研究开始于90年代,进入本世纪有许多学者参加研究。辛涛(2020)提出增值评价是看学生一段时间的进步情况,不以单次的结果进行评价。范美琴等(2017)认为增值评价不只是观察学生的学业变化,需要考虑学生的综合发展情况。综合国内外研究来看,增值评价是一种关注学生的学习起点和过程,通过采集学生在一段时间之前和之后的知识、能力和素养方面的表现数据,并对这些数据进行纵向比较,从而测量出此段时间内学生的成长程度,并以此为基础来评定学校、教师等教育主体的绩效,获得学生“净增值”的评价方法。
  在增值评价的实践应用方面,美国、英国等西方国家走在前列。如自上世纪90年代起,美国田纳西州就逐步建立了具有特色的增值评价追踪数据库、增值评价模型等。截至2010年,田纳西州增值评价系统(Tennessee Value-Added Assessment System,TVAAS)数据库已经包含超过八十八万多名学生的追踪数据(周燕, 等, 2012)。我国关于增值评价的实践探索虽然起步较晚,但目前相关政策和教育一线均已经有了一些积极的探索。如在《总体方案》中首次正式提出“增值评价”,要求探索增值评价等多种评价方式,提高教育评价的科学性、专业性、客观性;2021年3月教育部等六部门印发《义务教育质量评价指南》,进一步明确提出“注重结果评价与增值评价相结合”。在各地的教育评价实践中,苏州市、包头市、长沙市、上海市普陀区、上海市闵行区、深圳市龙华区、青岛市市南区、成都市青羊区等地区已经将增值评价的理念融入教育质量监测、学校效能评估等教育评价活动中,探索出了一些符合我国国情的应用模式与经验。
  (二)增值评价的基本特征
  增值评价是当今时代一种新的评价方式,以经过学校教育活动前后学生所获得的成长进步“增值”为评价标准,来判定学校对学生发展的影响,其评价的方式、关注点、应用效果等均与唯分数、唯排名、唯升学率的传统学校教育评价方法有根本不同,呈现出成长性、阶段性、激励性等鲜明特点。
  1. 成长性
  成长性是指增值评价关注学生的学习过程和进步情况,改变过去仅通过学生的最终考试成绩与排名来评价学生的不科学做法,以学生“成长”的幅度作为学生学习情况评价的依据。通过将学生的最终发展水平与根据学生基线测试所预测的水平进行对比,对学生进行纵向衡量,相对于与其他学生做横向比较来说,更能反映出学生个体的成长情况,从而有助于更好地实现准确识材、因材施教,促进学生的个性化成长。
  2. 阶段性
  阶段性是指增值评价关注学生在某一阶段内的成长进步情况,其结果需要结合阶段的具体情况进行分析。在具体实践中,阶段的跨度可以根据需要灵活调整,可以是一个月、一学期、一学年,甚至是几年。在阶段开始时首先进行一次基线测试,以此作为学生的初始水平,经过一段时间的学习后再开展一次后测,重点考查学生在基测和后测这段时间内增值的幅度,同时有针对性地调整教学策略,再开始下一阶段的考查。
  3. 激励性

nlc202301142038



  激励性是指增值评价充分考虑初始水平的差异,依据“增量”进行评价,从而能够对初始成绩较差的学生、班级整体水平不高的教师、生源不好的学校等进行相对客观、公正的评价,使其所付出的努力与得到的评价相匹配,进而激发其追求进步的积极性和改进的动力,一定程度上促进教育公平。在评价实践中,给予正增值的学校和学生充分的鼓励和肯定;如果是负增值,则引导其找到问题的原因所在,调整相应的教学方式和策略。
  二、智能技术赋能增值评价的必要性和实施策略
  (一)增值评价面临的现实问题与挑战
  增值评价近年来在教育领域得到非常广泛的关注,并引发了不同视角的研究与探索,但也不可避免地存在一些矛盾和问题。比如在增值评价追踪数据的可靠与稳定存储、增值评价模型的构建、增值评价结果的呈现与理解等方面,均存在一些现实困难,使得增值评价的落地与推广面临挑战。
  1. 增值评价对数据的稳定性、可靠性要求高,传统数据存储与管理方法难以支撑
  增值评价需要依靠大量的学生历年考试成绩、行为表现等长期数据作为评价的基础,这些数据的稳定性与可靠性影响增值评价结果的科学性、准确性。在稳定性层面,增值评价数据会随着时间增长而膨胀,传统数据库的存储能力难以支撑如此海量的数据,容易产生数据的丢失、泄露等各类数据安全问题。在可靠性层面,长期的数据收集与存储过程中往往会存在缺失值的问题(边玉芳, 等, 2013),在传统数据库管理方法下难以有效排除缺失值的影响,容易导致增值分数的偏差(Timmermans, et al., 2015),使最终结果不够科学精准。
  2. 增值评价模型的选择与应用具有强专业性,一般教师与管理者难以上手
  一方面,增值评价模型种类繁多,每种模型都有其各自的适用条件。对于不深入了解各类增值评价模型之间差异的一般教师与管理者来说,难以根据实际情况选择合适的模型,从而影响增值评价结果的准确性。另一方面,增值评价模型的运算流程冗长复杂、计算量大、专业性强,如果单纯用人力来进行运算将耗费参与人员大量的时间精力,且效率低下,容易出错。
  3. 增值评价结果较为抽象复杂,普通用户难以准确理解和运用
  增值评价结果呈现的更多是一种相对的趋势,而不是绝对的增量,其单位和含义均与传统考试分数相去甚远,这对于已经习惯了传统考试分数,对增值评价比较陌生的一线管理者、教师、学生以及家长来说,是难以准确理解的(范美琴, 等, 2017)。这会影响增值评价在教育教学中的运用,一方面管理者、教师等教育工作者难以从报告中直观获取需要的信息,无法指导下一步的改进措施;另一方面会导致家长等社会群体对评价结果公正性、透明性的质疑,从而引发社会对教育系统的信任危机。
  增值评价发展中面临的现实问题和挑战,迫切需要我们转变思想观念,采用新的思维方式和技术手段加以解决。在走向智能时代的背景下,人工智能、大数据等智能技术的发展与应用,为破解这些难题带来了新的机遇,用智能技术赋能增值评价成为新时代教育评价改革发展的新命题。
  (二)智能技术赋能增值评价的基本策略
  1. 智能技g赋能增值评价的价值定位
  在智能时代背景下,着眼我国增值评价方式的革新与发展,专家学者纷纷对智能技术在增值评价中的作用与价值进行探讨。杨宗凯(2020)指出,可以通过人工智能、大数据技术优化增值评价,采集学生知识、情感、态度、思维和行为等全过程数据,开发多样的评价模型,从发展性角度评估学生的努力程度、学习绩效等,关注学生努力程度和进步表现。边玉芳等(2013)认为要加强增值评价所需智能技术的支持,建立与维护学生信息数据库。大数据时代学生的每一条学业信息都会被收集,相应的数据库会变得庞大,应利用智能技术维护好数据库,保证数据的完整性至关重要。谢小庆(2020)提出要把握好增值评价的关键技术环节,利用智能技术做好等值数据的收集和处理,将测试成绩进行合理的转换,提高增值评价的客观性。朱立明等(2020)提出利用智能技术开发应用数据追踪与查询系统,提高增值评价的科学性。因此,智能技术赋能将在增值评价的各个环节中发挥至关重要的作用。
  2. 智能技术赋能增值评价的实践路径
  在增值评价的具体实践中,如何利用智能技术赋能为增值评价服务,需要结合增值评价中存在的具体问题,基于人工智能、大数据等技术优势优化增值评价数据的收集、存储和处理流程,提升增值评价的科学性、有效性(刘邦奇, 等, 2021)。其主要策略和措施:一是建立与维护追踪数据库。通过在系统架构、硬件选择上的特殊设计和智能化的管理与维护,追踪数据库可以有效地提高追踪数据存储的稳定性与可靠性,从而为增值评价提供更好的支撑,使增值评价结果更加客观科学。二是选择与应用增值评价模型。通过自适应推荐技术和智能模型处理算法,增值评价模型可以根据用户的实际情况进行相应的调整与运算,提高增值评价的科学性和效率。三是进行发展水平的可视化呈现与交互。通过计算机图形学、计算机动画、图像处理技术等可视化技术以及可视化交互系统进行发展水平的可视化呈现与交互,可以形象、直观的方式向各种类型和层次的用户展示增值评价分析数据,使用户更加方便、有效地理解增值评价的结果。具体如图1所示。
  三、智能技术支持的增值评价关键环节
  (一)追踪数据库的建立与维护
  1. 追踪数据库的目的与作用
  追踪数据库是对增值评价追踪数据进行可靠稳定存储的重要支撑条件。追踪研究(Longitudinal Study)又称“纵向研究”“纵贯研究”“纵向追踪研究”,是增值评价的实践范式(辛涛, 2009),在实际操作中纵向追踪学生在一段时间内学业上的变化,时间跨度可能长达数年,过程中会产生大量的、长期的追踪数据和实证资料。这些数据和资料是计算增值评价结果的依据,对于它们的存储和管理是增值评价流程中的一个重要环节。传统数据库的存储与管理模式难以保障追踪数据的可靠与稳定,因此有针对性地建立追踪数据库十分必要。

nlc202301142038



  通过建立追踪数据库,可以实现大规模追踪数据的可靠、稳定存储,并能在日常维护中处理缺失值和保护数据安全。具体作用主要体现在以下几个方面:①长期稳定存储大量数据。追踪数据库采用更加先进的硬件设备和分布式的存储结构,且在服务器虚拟化技术的支持下,其对于硬件的利用效率和自身的可拓展性得到极大提升,能够支撑大量、长期的追踪数据存储工作。②实现追踪数据间的链接与整合。追踪数据库可以将学生的历次考试成绩等作纵向链接,从而考查学生某一阶段的纵向发展水平,同时也可以将学生、教师、学校等数据进行横向链接,从而考察各种背景因素对学生发展的影响(胥彦, 等, 2019)。③处理追踪数据中的缺失值。追踪数据库可以在人工智能算法的支持下,自动检测数据库中的残缺数据(缺失值)、错误数据和重复数据,并通过加权、赋值等方法消除这些问题数据的影响,从而维护追踪数据的完整性和有效性(边玉芳, 等, 2013)。④保护追踪数据的隐私安全。追踪数据库可以通过数据备份、数据加密、数据脱敏等数据库安全技术有效保护数据库中的学生成绩、家庭背景等隐私信息,防止因信息泄露造成不良后果。
  近年来,随着增值评价在国内的兴起,各地教育主管部门和中小学开始进行追踪数据库的实践探索。如我国青岛市市南区从2008年开始面向全区建立学校增值评价数据库,通^在全区建立监测点,持续追踪、收集学生的生源信息(家庭、社会、经济状况等)和个体发展成绩(每年两次,包括品德、学业、体质、艺术素养四个方面),数据库采集数据近100万条,并立足于数据库开展学校增值评价。我国成都市青羊区在面向全区的学校效能评价实践中建立了学生学业成绩考察数据库、学校办学条件基础数据库、全区教育人才数据库三个追踪数据库,于2009年在过去三年基础数据的基础上采用增值评价的方法评定学校的教学质量,并以此为依据分配教育资源(马晓强, 2012, pp.80-81)。
  2. 追踪数据库建立与维护的相关技术
  追踪数据库的建立主要包括其结构的设计、硬件的选择以及整体的编程开发等,技术在其中起重要作用。服务器虚拟化等技术的应用降低了追踪数据库对硬件环境的依赖程度,从而降低了追踪数据库搭建的门槛,使得经费不够充裕的学校也能顺利搭建。同时,硬件方面的进步提高了追踪数据库的承载上限,分布式结构等数据库架构方面的优化提高了追踪数据库的可靠性与易拓展性(唐浩, 等, 2020),这些都使得追踪数据库可以支撑更长年限的追踪研究,从而对学生的发展规律进行更深入的探索。
  追踪数据库的维护主要包括对于错误数据的清洗优化和信息安全的保护。在该场景下,人工智能算法的应用使得追踪数据库中大量的残缺数据、错误数据和重复数据的检测与清洗工作更加高效、准确。同时,数据库安全技术的进步能够更好地确保追踪数据中的敏感信息不被泄露,保护隐私安全。
  相关技术应用举例如表1所示。
  (二)增值评价模型的选择与应用
  1. 增值评价模型的目的与作用
  增值评价模型是增值评价的核心所在,如何选择与应用适切的增值评价模型直接关系到增值评价结果的科学性、正确性。根据不同的统计技术、数据收集、变量控制,增值评价模型可以分为不同种类。不同种类的模型各有不同的理论假设前提、数据适用条件和优劣势(周燕, 等, 2011),基于不同种类模型计算出的增值评价结果也各不相同。在增值评价的具体实践中,应综合考虑学校生源、经费以及社会对模型的接受度等实际情况来选择适合的模型(王建华, 等, 2019, pp.35-41)。
  构建和运用适当的增值评价模型,能够对追踪数据进行科学、有效的分析,具体作用主要体现在:①界定“增值”的内涵。各类增值评价模型对于“增值”的概念界定不同,不同增值评价模型的结果虽然都叫“增值”,但实际上是完全不同的内涵。比如增分模型、渐进达标模型、分类模型等是基于学生成绩纵向比较,其“增值”是指学生成绩在前后两次考试的绝对变化。残差模型、学生成长百分等级模型和投射模型等是根据学生前几次成绩的变化轨迹预测出本次考试应达到的成绩,再与本次考试的实际情况对比,其所界定的“增值”是学生的实际进步程度与应有进步程度之间的差值。多层线性模型、层级混合效果模型、简单混合效果模型等多水平模型在预测模型的基础上,同时分析学生家庭背景、学校生均经费等其他方面对学生学业成就的贡献(周园, 等, 2019)。②计算“增值”的结果。增值结果的计算是增值评价模型的主要作用所在,每一类增值评价模型都有自己一套独特的计算流程与方法。以多水平模型为例,此类模型均是先根据过往成绩和学生家庭背景、学校背景等影响因素,计算出相应的参数,对第二次测试的预期成绩进行估算,然后将实际成绩与预期成绩进行比较,所得残差即为“增值”。基于纵向量表的模型要简单很多,只用将前后两次的成绩相减,差值即为“增值”。
  在具体的评价实践中,国内外在增值评价模型的选择与应用方面有许多积极的探索,并取得一些成功的经验。英国在选择基础教育的增值评价模型时,经过政府与专家数十年间不断的论证与实践,深入剖析每一种模型的优缺点,最终根据自身国情制定模型选择方案。我国深圳市龙华区于2021年首次发布区域初中学校增值评价报告,面向全区2021届初三毕业生,采用简易式百分等级成长模型作为增值评价模型,较好地解决了增值评价中的“天花板效应”(高水平的学生增值空间小),且不需要两次测试成绩间等值,在操作上也相对比较容易。
  2. 增值评价模型选择与应用的相关技术
  选择合适的增值评价模型需要综合考虑研究和应用的实际情况,对增值评价模型和实际情况匹配程度的分析是其中的关键环节。如果以自适应推荐等智能技术为基础,可以准确地对匹配程度进行计算,并推荐合适的增值评价模型,从而避免模型选择不当对增值评价结果的不利影响。
  增值结果的计算流程包括垂直等值、标准分转换等数据的预处理、增值模型的搭建、优化以及运算等环节。随着人工智能技术的发展,复杂的增值结果计算流程可以由计算机实现,有效提高运算的效率和准确性。

nlc202301142038



  相关技术应用举例如表2所示。
  (三)发展水平可视化呈现与交互
  1. 发展水平可视化的目的与作用
  对增值评价所得出的发展水平进行可视化呈现,有助于促进增值评价落地与推广。相较于传统评价往往以平均分、升学率等直观、容易理解的数据作为评价结果,增值评价的结果原理复杂、含义抽象,所表达的是一种相对的趋势,而不是绝对的变化,需要结合前后多次测试的背景来进行解读。如果不对增值评价结果进行可视化等处理,没有受过专门培训的家长等社会群体和一线教育工作者容易对结果的含义、信效度等产生质疑,从而严重影响增值评价在一线学校的推广。因此,在增值评价实践中,如何将复杂、不易理解的评价结果以更加直观、形象的方式向用户呈现和表达是亟须解决的现实难题,近年来发展起来的可视化技术为此提供了重要的手段。
  发展水平可视化是对增值评价结果的直观表现,能够支撑各类用户群体对增值评价结果的需求。其在增值评价中的主要作用有两方面:①准确直观地展示发展水平。利用发展水平可视化技术,选择合适的可视化图表,并进行充分的备注与解释,可以直观、清晰地将各类发展水平数据进行展示,帮助用户理解增值评价结果,减少由于对结果的误读可能带来的各种影响,提升评价报告的准确性。②满足各类用户对发展水平信息的个性化需求。利用发展水平可视化技术,可以面向不同的用户群体提供不同的图表和说明文字,从不同的角度与侧重点进行发展水平的呈现,还可以通过可视化交互设计让用户在可视化交互系统中自由选择其所需要的信息。
  在具体的增值评价实践中,相关地区在发展水平可视化呈现与交互方面有不同做法。如我国香港在进行学校教育质量评估时,在评估报告中使用大量的可视化图形和说明文字来辅助说明学校的发展水平,增强了报告的表现力与可读性,使各学校拿到报告后能快速理解自身问题所在,并针对性地进行改进。上海市闵行区教育局在区域教育督导实践中,从学生发展、教师发展、学校管理、社会认同等四个方面为学校提供绩效评价报告。以学校管理层面为例,报告用雷达图的形式对学校管理各项指标的整体情况进行描述,指出短板和长处;用表格和折线图结合的形式绘制学校管理各项指标百分位变化的对比分析图,清晰呈现各指标历年的发展变化情况,使教育管理从“不可见”到可视化,实现更直观、更准确、更高效的教育管理(何曙光, 2020, pp.150-163)。
  2. 发展水平可视化呈现与交互的相关技术
  在智能技术的赋能下,可以将增值评价的结果进行可视化的呈现与交互。①发展水平可视化呈现。计算机图形学、计算机动画、计算机仿真等技术的进步使得可视化图表的种类和容量得以提升,能够展示更多类型和数量的数据,并可以用更丰富、更精美的表现手段将发展水平呈现出来,使其更加直观、美观、清晰,提升呈现的效果。②l展水平可视化交互。随着信息技术的进步,用户可以在可视化交互系统中通过更丰富、更快捷的人机交互方式实现对数据库内容的快速访问,更高效地获取信息,提高了信息传递的效率。相关技术应用举例如表3所示。
  四、智能技术支持的增值评价典型实践
  (一)大型追踪数据库的建设与维护
  美国田纳西州增值评价系统(TVAAS)是当今世界最成熟和完整的增值评价系统之一(周燕, 2012)。自上世纪90年代起,美国田纳西州就逐步建立了包括学生个体信息、教师信息和学生标准化测验成绩的一个庞大的纵向合并的追踪数据库,该数据库为田纳西州开展全州范围的增值评价提供了坚实的数据基础(徐士强, 等, 2009)。
  1. 将学生、教师和学校的数据进行链接
  该追踪数据库储备了全州学生每年新的测验成绩和之前几年的测验成绩,以及学生档案、教师档案、学校花名册等相关数据(徐士强, 等, 2009)。可以通过学生的学号和地区、学校的编号等,将学生的学习成果与他们注册的学校以及给他们分配的教师对应起来,实现信息的相互链接(Sanders, 1998),从而既可以评估教师、学校和学区对学生学业发展的影响,也可以为每个学生提供自身学业发展轨迹(周瑶, 等, 2020)。
  2. 联合第三方专业公司提供数据处理服务
  因为增值评价本身统计模型的复杂性以及随着追踪数据库年限的日益增长,数据的收集、处理与分析工作愈发困难,所以田纳西州教育部在推动增值评价过程中一直与美国赛仕软件(SAS)保持密切的合作关系。自1993年起,SAS公司就开始为TVAAS提供强大的技术支持,由SAS公司进行数据的处理,并提供相应的结果报告(周瑶, 等, 2020)。
  3. 通过加权等方式减少缺失数据的影响
  对于因为种种原因(如学生留级、跳级、转学等)导致的不完整学生数据,每年数据分析师们都会在数据匹配的基础上编辑新数据,并通过加权来减少缺失数据的影响。不完整的学生数据加权因素取决于已经提供的可获取的信息量,完整的学生记录所占的权重远高于不完整的学生记录(徐丹, 等, 2012)。
  (二)百分等级模型的构建与应用
  苏州教育质量监测中心在每年面向全市初中开展的义务教育学业质量监测(简称“苏州监测”)实践中,将增值评价与学业质量监测有机结合,已经形成了较为成熟的实践经验和相关机制。苏州监测选择“百分等级模型”作为增值评价模型,通过学校每年百分等级的变化来描绘学校的发展水平,这一模型基本符合对本地区学校教育质量进行发展性评价的要求。
  1. 使用百分等级作为“增值”单位
  苏州监测根据学生考试情况估计出学生能力分数,并将其转化为均分为500、标准差为100的量尺分数,并基于量尺分数来计算学生个人的百分等级。百分等级指出了个体在常模群体中的相对位置,其“增值”描述的是个体在常模群体中位置的变化。基于量尺分数计算的百分等级,能够规避因试卷难易程度和作答不同类型试卷(A、B卷)造成的不公平,更加公正、精确地反映各学校各学科学业质量的发展水平。

nlc202301142038



  2. 选用“理想模型”界定增值
  相对于科学准确但更为复杂的将当年学校实际百分等级与拟合模型(由过去几年的追踪数据进行回归分析得出)得到的预期百分等级进行比较的“经验模型”,苏州监测选择了简单地将学校当年百分等级和上一年对比的“理想模型”来界定“增值”(罗强, 等, 2019)(见图2)。其原理浅显而直白,且与过去传统教学中学校用进步分数、排名等来计算学生进步情况的原理一致,对于已经习惯了传统教学的一线教师和家长来说,接受起来较为容易。同时,该模型操作流程相对简短,省去了复杂的计算与拟合过程,降低了一线操作人员的工作难度。
  (三)教育质量监测报告的生成与运用
  苏州监测将监测数据和分析结果以监测报告的形式进行呈现,为区域和学校的教育现状提供全面的透视。其在发展水平可视化方面进行了一些先进的探索,并取得了良好的成效。
  1. 选用适切的可视化图表刻画发展水平
  报告中大量采用圆点图、柱形图、折线图等可视化图表来刻画区域或学校各项数据在连续几年间的发展情况以及在全市所处的层次,更加清晰、直观。如报告用折线图展示了某学校2018级初中生在三年间各维度得分的发展情况,最左侧和最右侧的折线是全市的最低分和最高分,中间的折线是该校三年的得分(见图3)。
  2. 采用多种标注方式增强可理解性
  报告中采用9种不同程度颜色来表示一所学校在全市所有学校中的排名,直观地展示学校各项发展水平增值在全市的表现,便于管理人员准确理解和把握学校现状(见图4)。同时,报告中将结论、建议等信息以文字说明的形式呈现在可视化图表旁,便于用户将文字与图表进行相互印证,快速获取关键信息。如在某区域2015―2020年六年间初一各科百分等级的圆点图旁,报告用醒目的文字进行标注,直接给出相关结论,指出本区域生源在整体发展水平以及各学科发展水平上的变化趋势(见图5)。
  五、结语
  增值评价作为当前教育领域一种新的评价方式,为科学判断学校办学和教师工作成效提供了专业化、科学化的评价手段,对于破除“五唯”顽瘴痼疾、扭转不正确的评价导向具有重要价值。本研究针对增值评价实践中的现实问题,围绕增值评价实践中的三个核心场景,探讨了智能技术支持下增值评价的实现方式,但在具体推进过程中仍然存在一些困难和挑战,需要更多的探索与实践。一是实施难度大,成本高。智能技术支持下的增值评价所需的人力、物力、时间等成本较高,且不同单位间数据的互联互通存在一定困难,一线学校和教师对于增值评价的接受程度也不尽相同,需要政府下大力气和决心来推进。二是专业性强,涉及方面多。智能技术支持下的增值评价是一项技术性、专业性非常强的复杂工作,涉及政策、理论、技术、产品等各方面的热荩需要政府、高校、专业研究机构、企业、用户等多主体协同攻关、形成合力,才能更好地推进其实践落地。三是局限于学业测评,评价范围较窄。目前大部分增值评价的案例仍局限于对学生学业发展进行评价(范美琴, 等, 2017),对于学生的体质健康、艺术素养、品德塑造等多不涉及,难以真正反映学生的全面发展,也难以客观反映教师和学校在学生发展中的贡献,未来需要进一步开展增值评价在学生素质发展方面的实践。四是技术门槛高,对人才储备要求高。智能技术支持下的增值评价拥有较高的技术门槛,无论是追踪数据库的建设与维护,增值评价模型的选择与应用,还是可视化评价报告的设计与制作,都对参与人员的素养提出了较高的要求,需要地方进行有针对性的人才引进和培养。
  总体来说,增值评价的研究与实践还处于初步探索阶段,国内的研究落后于国外,同时在学习借鉴的基础上有效转化与创新不够。比如在增值评价模型的选择上,虽然国外有较多实践经验,但未必适合国内实际需要,需要结合我国教育信息化进入2.0阶段和各区域、学校的实际情况,积极试验和转化创新,探索本土化、专业化的新型增值评价模式,助推智能时代教育评价改革走向深入。
  [参考文献]
  边玉芳,王烨晖. 2013. 增值评价:学校办学质量评估的一种有效途径[J]. 教育学报,9(1):43-48.
  范美琴,杨从意,朱文琪. 2017. “大评价观”视野下的增值评价路径分析[J]. 中国考试(12):1-5.
  何曙光. 2020. 数据驱动教育评价变革――上海市闵行区学校绩效评价变革研究与实践(下)[M]. 上海:上海教育出版社.
  刘邦奇,袁婷婷,纪玉超,刘碧莹,李岭. 2021. 智能技术赋能教育评价:内涵、总体框架与实践路径[J]. 中国电化教育(8):16-24.
  罗强,冯杰. 2019. 学业质量监测增值评价模型的探索[J]. 中小学信息技术教育(10):34-38.
  马晓强. 2012. 增值评价:学校评价的新视角[M]. 北京:北京师范大学出版社.
  唐浩,姜春宇,田稼丰. 2020. 分布式数据库技术及发展趋势研究[J]. 信息通信技术与政策(11):86-90.
  王建华,卢鸿鸣,缪雅琴. 2019. 基础教育质量综合评价理论与实践研究[M]. 长沙:湖南教育出版社.
  辛涛. 2020. “探索增值评价”的几个关键问题[J]. 中小学管理(10):1.
  辛涛,张文静,李雪燕. 2009. 增值性评价的回顾与前瞻[J]. 中国教育学刊(4):40-43.
  谢小庆. 2020. 思维能力的成长评估[J]. 考试研究(1):52-59.
  徐丹,牛月蕾. 2012. 教育增值评价先行者――美国田纳西州教育增值评价模式解析[J]. 教育科学,28(1):83-8
  徐士强,赵风波. 2009. 美国田纳西州教育增值评价模式及其论争[J]. 全球教育展望,38(9):52-55.

nlc202301142038



  胥彦,李超平. 2019. 追踪研究在组织行为学中的应用[J]. 心理科学进展,27(4):600-610.
  杨宗凯. 2020. 利用信息技术促进教育教学评价改革创新[J]. 人民教育(21):30-32.
  张琪,王丹. 2021. 智能时代教育评价的意蕴、作用点与实现路径[J]. 中国远程教育(2):9-16,76.
  张志祯,齐文鑫. 2021. 教育评价中的信息技术应用:赋能、挑战与对策[J]. 中国远程教育(3):1-11,76.
  周燕,边玉芳. 2011. 美国教师效能增值评价研究与应用进展[J]. 全球教育展望40(10):72-78.
  周燕,边玉芳. 2012. 美国TVAAS的解读及其对我国教育评价的启示[J]. 全球教育展望,41(3):51-55.
  周瑶,陈星贝. 2020. 增值性u价:来自美国田纳西州的核心经验[J]. 中小学管理(10):11-15.
  周园,刘红云,袁建林. 2019. 增值评价中学生增长百分位模型及其估计方法概述[J]. 教育导刊(11):61-67.
  朱立明,宋乃庆,罗琳,邹晓东. 2020. 新时代教育评价改革的思考[J]. 中国考试(9):15-19.
  Astin, A. W.. (1982). Excellence and equity in American education. academic achievement.
  Sanders, W. L., & Horn, S. P.. (1994). The Tennessee value-added assessment system (tvaas): mixed-model methodology in educational assessment. Journal of Personnel Evaluation in Education, 8(3), 299-311.
  Sanders, W. L., & Horn, S. P.. (1998). Research findings from the tennessee value-added assessment system (tvaas) database: implications for educational evaluation and research. Journal of Personnel Evaluation in Education, 12(3), 247-256.
  Timmermans, A. C., de Wolf, I. F., Bosker, R. J., & Doolaard, S.. (2015). Risk-based educational accountability in dutch primary education. Educational Assessment Evaluation and Accountability, 27(4).
  作者简介:刘邦奇,教授,博士生导师,讯飞教育技术研究院院长(230093)。
  朱广袤,硕士,中级教育技术研究员;张金霞,硕士,中级教育技术研究员。讯飞教育技术研究院(230093)。
  责任编辑 刘 莉

nlc202301142038




转载注明来源:https://www.xzbu.com/9/view-15444193.htm

相关文章

服务推荐