智能学习环境中基于多模态数据的深度学习监测研究
来源:用户上传
作者:杨彦军 徐刚 童慧
[摘 要] 随着信息技术与教育教学深度融合的加速，基于智能学习环境的线上线下混合式智慧教学将成为学校教学的新常态。智慧教学过程中产生的教育多模态数据为深度学习监测评价与反馈干预提供了新机遇。文章根据三元交互决定论与具身认知理论构建了多模态数据的分类框架，将多模态数据分为个体身体、交互行为、智能环境三类。从教师与学生、个体与群体、传统信息技术与现代信息技术三个维度对教学模式进行分类，并归纳出十二种典型学习场景。根据多模态数据分类与学习场景分类总结归纳出典型学习场景下的监测模态，进而构建基于多模态数据的深度学习监测模型，主要包括智能学习环境下的学习活动、场景学习与识别、多模态数据采集、多模态数据处理与分析、深度学习状态监测五个环节。
[关键词] 多模态数据; 学习场景; 智慧课堂; 深度学习
[中图分类号] G434 [文献标志码] A
[作者简介] 杨彦军（1981―），男，甘肃天水人。教授，博士，主要从事信息技术与教育研究。E-mail：ts.yyj@126.com。
一、引 言
随着人工智能、大数据、云计算、物联网等新技术在教育领域中的广泛应用，我国教育信息化进入了2.0时代，开启了智能时代教育变革的新征程。网络学习空间、智能教室、数字校园、未来学校等智能学习环境逐渐建成，极大地丰富了学习者的学习资源与场景。随之而来的问题是如何在线上线下融合的智能学习环境中对学习者进行有效的学习评价。2017年，国务院印发的《新一代人工智能发展规划》提出，将人工智能应用于教学、管理和资源建设的全过程，建立智能、快速、全面的教育分析系统[1]。2020年，中共中央、国务院印发的《深化新时代教育评价改革总体方案》提出，要创新评价工具，利用人工智能、大数据等现代信息技术，以教与学全过程数据为基础，提高评价结果的应用水平[2]。正如有研究者指出，基于人工智能和大数据技术的智慧学习环境将教育教学评价推向了基于全样本、全过程、全景式的教育大数据采集与分析的“数据密集型评价”的第四范式[3]。智能学习环境中，教与学全过程的多模态学习分析实证应用逐渐成为当前研究的新热点[4-5]。因此，本文聚焦于智能学习环境中基于多模态数据的深度学习监测问题展开深入研究。
二、智能学习环境中深度学习监测研究进展
智能学习环境是指能够感知学习情境、识别学习者特征、提供合适的学习资源和便捷的交互工具、自动记录学习过程、评价学习结果，从而促进学习者有效学习的学习场所或活动空间[6-7]。智能学习环境能够更好地提供适应学习者个性特点的学习支持服务，实现随时随地、以任意方式和任意步调进行“4A”学习，促进学习者轻松地、投入地和有效地实现“3E”学习[8]。大量研究表明，基于智能学习环境的个性化学习服务能够有效促M深度学习的发生，为深度学习提供反馈、资源、情感、情境、个性化支持[9-11]。通过对智能学习环境中学习者学习状态的监测，教师给予合乎伦理、多元、融入教与学中的评价，以此促进学习者的深度学习[12]。
深度学习监测是指通过收集不同的外显行为数据来监控和评估学习者的学习参与度的过程。早期智能学习环境中的深度学习监测是通过访谈、观察和教师评价等方式对学习者进行不同阶段的监控[13-14]。随着大数据、人工智能等信息技术在学习分析中的应用，智能学习环境中的深度学习监测的手段也更加智能化与多元化。颜磊等人通过选取在线学习平台中的师生提问、学生观看视频次数等行为数据分析发现，师生互动行为对学习者深度学习影响最大[15]。刘哲雨等人通过眼动数据和认知行为数据分析深度学习的发生机制，发现基于问题的学习投入能够促进深度学习[16]。王智颖等人通过对深度学习感知问卷与在线讨论内容的分析，发现基于角色轮换的在线异步讨论对大学生的深度学习具有积极的促进作用[17]。王洪江等人通过收集教学视频播放行为数据、视频观看时长和并发学习行为数据来分析学习者自主学习投入度情况[18]。仅凭借单模态数据无法准确解释学习过程的内隐性、交互性和多维性特征，需要多模态数据刻画学习者的相关学习行为[19]。
近年来，学习监测研究趋势呈现以下特点：从监测内容来看，深度学习监测内容更加依赖通过机器自动化采集的多模态数据，不再局限于传统的纸笔测验;从监测过程来看，深度学习监测更加注重课前与课后、线上与线下混合的全时段学习过程;从监测形式看，深度学习监测更加注重伴随式数据的收集;从监测结果看，深度学习监测结果会以可视化的形式进行反馈。
三、智能学习环境中的多模态数据及其采集技术方法
模态本身是一种客观存在的、可表征的符号系统。例如：人的语言、表情、眼神、手势、身体动作等经过转码后都可以称为一种模态。在教育多模态数据的分类研究方面，施耐德（Schneider）等人基于学习领域的传感器研究将多模态数据分为四种类型：活动数据、情境数据、环境数据和物理生理数据[20]。牟智佳根据多模态学习分析的空间结构对数据源进行分类，包括人机交互、学习资源、学习情境和学习符号[21]。钟薇根据数据所携带信息的特点，将多模态学习分析数据分为四类：生理数据、心理数据、行为数据和基础信息数据[22]。艾伯特・班杜拉认为，人在社会情境中的学习受环境、人及其行为的互动三个方面影响，并建立了三元交互决定论[23]，这为教育多模态数据分类框架的制定提供了基础参考。近年来备受关注的具身认知理论认为，认知是具身的、情境的，认知发展依靠经验积累，经验来自身体，身体处于生物、心理和文化的环境中[24]。对于混合式学习来说，虚实融合环境下的学习在学习者参与互动方面体现为一种具身认知学习的过程，这正是具身认知理论强调的“心身统一”[25]。两种理论都认为人的发展是受自身、他人和环境的影响。据此，笔者根据三元交互决定论与具身认知理论建立教育多模态数据分类框架，将多模态数据分为个体身体多模态数据、交互行为多模态数据、智能环境多模态数据。如图1所示。
nlc202206171734
转载注明来源:https://www.xzbu.com/9/view-15433967.htm
