体感交互技术应用于基础教育的成效初探
来源:用户上传
作者:
摘要：人工智能时代的教育形态在持续变化。体感技术结合学习内容资源应用于基础教育的学习场景，能够实现趣味性的自主探究互动学习模式，是教育信息化技术创新应用的关注重点，也是人工智能大趋势下虚拟现实技术落地教育应用的典型场景。作者所在单位过去四年的体感交互学习资源建设研究成果表明，体感交互学习具有情境化和游戏化的特点，并能采集测评学习过程数据，在情境扮演游戏、安全自护演练、体质测评运动干预及特殊教育个别化训练等基礎教育应用场景中使用具有良好的成效和应用推广价值。
关键词：体感交互技术;基础教育;情境化;游戏化
中图分类号：G434 文献标识码：A 论文编号：1674-2117（2019）11-0094-04
● 背景介绍
现代教育技术的信息化和数字化迅速普及，智能时代的教育形态也在改变。教学单位迫切需要与时俱进，采用更高效的人机交互解决方案服务创新学习模式的探索，满足日常教学与发展需求。
体感交互技术通过体感摄像头采集彩色和深度图像信息，捕捉判断人体动作姿态，与计算机软件交互，是自然人机界面技术的典型应用，也是人工智能应用的重要分支领域。在教学应用场景中，体感技术配合虚拟和增强现实技术，融合适切的学习内容，有效构建情境引导、自主探究、智能测评的学习流程，增强学生注意力、参与感、趣味度。体感交互学习弥补传统教学手段的某些局限性，提供学生行为观察工具和测评数据，实现基于游戏的自主学习、数据驱动的有效学习，助力学生发展成长，具有宝贵的学习活动应用价值。
自2014年开始，江苏省南京市电化教育馆组织研发团队和试点学校开展了体感交互学习资源的建设研究。项目着眼于新技术条件下基础教育教学场景的体感交互学习创新应用的研究，进行了由点到面的资源建设研究探索，验证了体感技术在情境扮演游戏、安全自护演练、体质测评运动干预和特殊儿童个别化训练等四大领域的可行性和适用性，开发了相关的体感交互学习系列资源，在幼儿园、小学、初中各学段和融合教育等基础教育场景中使用，取得了初步的成效。
本文基于上述体感交互学习资源开发研究的成果和经验，从教育新技术应用的角度，对体感技术在基础教育领域的应用成效进行了初步的探讨。
● 体感技术的特点
体感技术属于新一代人机交互技术，使用计算机视觉、信号处理和机器学习算法实现三维空间深度测量，人体骨骼点检测，动作、手势、面部和语音等识别功能，从而使得操作者能够使用身体姿态和动作与计算机软件进行人机交互。体感交互的检测技术手段主要有：①实时深度图像、红外图像、高清彩色图像视频和音频数据流，每秒30帧;②实时跟踪1～6个人体，每个人体25点骨骼检测识别数据流，每秒30帧;③根据采集的数据实现动作检测和识别、脸部追踪和语音识别以及数据记录等功能。
典型的体感动作包含（但不限于）手势、上肢、下肢和身体等单一或组合类型动作：①手势动作——支持左右手各自上下左右挥手、前后推拉、手掌握拳松开等;②上肢动作——单双臂侧平举、上举、前平举、双臂前举旋转、单臂上前抛掷、单臂下前抛掷、单臂向肩后折弯等;③下肢动作——单腿前置/后退/左右侧伸、双腿原地踏步、单腿前踢等;④身体动作——自由移动、自由动作、左右转身、下蹲、举手上跳、立定上下前后连续跳跃等;⑤可检测动作的位移、时序、速度等定量参数;⑥脸部追踪及指向性声音采集、语音识别。
体感交互学习软件采用体感技术，结合适切的学习内容，依托合适的界面表现和交互方式，实现学习目标。根据体感交互学习软件的界面表现及交互方式，可将其分为以下三种场景类型：①虚拟场景——软件界面采用二维或三维虚拟界面、画面及场景，构成学习内容情境，操作者采用身体动作与虚拟界面中的道具进行交互。②增强现实场景——软件界面采用体感摄像头实时采集的现实视频叠加虚拟道具，构成真实画面叠加虚拟道具的虚实结合场景。③混合现实场景——软件界面将体感摄像头实时采集的现实视频中的操作者人像抠图后叠加到虚拟背景和道具场景中，重新构成真实人像融入虚拟场景的混合现实场景。
● 体感交互技术在基础教育领域的应用场景分析
体感交互的方式和特点能够方便高效地创设学习情境，特别适合基于游戏的自主探究学习，引导学生参与，增强学习趣味性。学生通过情境、交互、测评相融合的活动流程达成学习目标，培养自我管理意识，改良认知思维习惯，增强学习效果。
学龄前阶段主要采用体感游戏发展幼儿的健康、语言、社会、科学、艺术五大领域能力，为幼儿提供视听与动作的多重情境刺激和感知维度，并培养自主学习的好奇心和求知欲，符合儿童感知和生理心理阶段特点，是一种优良的数字化学习手段。
小学阶段主要采用体感交互学习软件资源培养学生信息化环境下的学习能力，体感技术在创设学习情境及学生行为测评方面拥有显著优势，可以弥补常规教学手段的某些局限性，拓展学生依托新技术手段实现自主探究学习的思维方式和态度。
初中阶段的体感技术应用更强调学习辅助及测评属性。体感技术结合计算机视觉技术可以提供学生动作姿态的捕捉和测评，为体质健康测评及运动干预提供手段和数据，可以减轻体育教学的定标定量工作难度，显著激发学生的投入程度，实现德智体全面发展的目标。
在融合及特殊教育场景中体感交互学习也具有独到的优势。体验式沉浸式学习是非常有效的个别化训练手段，它不仅可以激发学生的肢体兴趣与意识体验，在生活自理、社会常识、肢体康复等方面对其具有独特的康复训练效果，还可以根据检测到的学生个体的行为认知水平实施个别化训练，减轻教师劳动强度，提升学习效率。
● 体感交互技术在基础教育领域的案例分析
笔者所在研究团队针对体感交互学习的形式和特点，在多感官认知学习、基于游戏的学习、自主探究学习、合作学习、个性化学习、融合教育等各种学习活动形式方面进行了研究和相关的学习资源开发。 情境扮演游戏系列选取幼儿发展五大领域题材，构建虚拟情境，以角色动作进行互动扮演游戏，具体互动形式有：①虚拟场景角色扮演游戏，如根据经典儿童故事改编开发的小红帽郊游记、三只小猪等;②实景视频和虚拟道具融合的增强现实交互游戏，如超级舞者、职业换装扮演、儿童实像与虚拟玩偶互动游戏等;③实景人物抠图融合虚拟场景的混合现实交互体验，如海底星空、世界大观等。
安全自护演练系列针对少儿生命安全教育，培养生存技能，强化逃生及安全自护意识。系列资源模拟学校、家庭、商场、户外等各类场所火警、地震、雷击等虛拟险情场景和道路交通情境，构建安全的代入式学习环境，将各个知识点嵌入游戏进程，由学生自主探究，以对应动作驱动虚拟场景发展，检测学生应对险情的动作行为，通过游戏得分机制测评学生学习表现给予演练评分，实现体感交互模拟演练和效果评估。该系列资源可以通过不同场景拓展学生在安全教育实训室学习到的基本概念，虚拟场景构建成本大大低于实体场景，且可以模拟诸多实训环境无法模拟的场景，充分体现了体感交互学习的代入式、多场景、动作测评、低成本，以及规避训练安全风险的优势，成为常规知识学习和基本安全实训之外的一个优良学习手段，打破了现有学习方式的某些局限性。
体质测评运动干预系列融合体质、体能和技能学习目标，依托体感技术实现对学生动作进行捕捉、检测、指标判定及结果反馈的定量定标测评功能，以游戏化的形式呈现给学生，实现体质测评和运动干预的闭环流程，形成随时随地可运动的游戏化体育氛围。特别地，依托体感及计算机视觉技术，研究团队还实现了对初中生和小学生在单杠引体向上、燕式平衡、立定跳起摸高、高抬腿、全身强度体育练习等科目中的全身骨骼实时定量追踪，无需穿戴任何器械设备即可采集运动数据，测评学生体质健康能力，凸显体感技术的数据功能优势。
特殊儿童个别化训练系列关注特殊儿童（脑瘫后遗症、唐氏综合症、孤独症、多动症等）个别化身体康复锻炼、感统及官能康复、注意力训练和简单认知学习的融合及特殊教育场景。其中一个资源案例采用增强现实方式，学生根据屏幕镜像自我形象视频与虚拟道具交互，通过体感技术对学生头部转动的角度进行检测、跟踪和界面反馈，实现注意力训练。上述资源能够提供有效的刺激引导，使特殊儿童从被动训练转向半自主参与学习，并能够记录学生学习的过程数据和提供定量的测评指标，大大减轻了教师劳动强度，帮助教师有效利用辅导时间，关注学生对训练刺激的反应和行为及认知矫正，对融合及特殊教育的康复训练和学习具有显著的效果和实际应用价值。
上述案例结果表明，运用体感技术的基础教育学习场景较之传统课堂，极大地改变了学生的学习方式，凸显了课堂中学生的自主探究学习动能，有效提高了教学效率。
● 体感交互技术应用于基础教育领域的成效探讨
体感交互技术在各个学科有广泛的渗透性，在其优势学习场景内具有显著的使用价值，特别体现在它的情境、互动、测评三个特点上。例如，体感交互方式对幼儿及低年级小学生的空间方位训练极其有效，对实施运动、表演、音律、生活体验、安全演练等方面的学习活动具有极强的吸引力和较高的学习效率，还能够采用非接触方式采集学生动作数据，提供更加便捷的学习测评手段。笔者所在研究团队对体感技术应用于基础教育场景的成效有如下体会：
（1）体感交互通过多感官即时反馈提升学习注意力、趣味性和效果。运动促进全身血液循环和灵敏度，游戏互动增强趣味性，从而帮助学生在体感交互学习过程中更好地集中注意力。另外，体感技术在教学应用中可以充分激活学生的视、听、肢体运动等感觉，并通过界面反馈调整学生的应激反应，有效提升其在游戏中的置入感、沉浸感和具像感。多感官刺激提高学生的手眼协调能力，促进学习效率和效果的提升。
（2）创新表达方式通过教学主体转换有效增强学习主动性并开启创新思维。体感技术的应用使得学习行为本身成为机体与环境相互作用的过程，通过自主探究的特点将学生推向了学习过程的中心，而教师在活动中则扮演了设计、引导和教练的角色。另外，体感技术提供了新颖有趣的自然动作表达方式，夸张的肢体活动不仅有利于学生对概念的认知，也能帮助他们在运动中放松舒缓情绪，在轻松欢乐的环境中实现有效的学习，激发创新思维能力。
（3）合作或竞争式学习促进学生能力和个性发展。体感交互学习软件支持多个学生同时参与或轮流参与，根据教学目标设计出让学生结对对抗或分组合作等多种形式的竞技活动，加强了学生之间的人际互动联系，促进了团队合作能力。
（4）体感交互学习可以帮助减轻学生用眼压力。数字化学习设施和环境导致学生面对屏幕的时间快速增加，而相较于移动平板等小屏，体感交互学习使用42英寸以上的大屏幕，且需要至少1.5米可视距离，并不可能持续使用，因而可以减轻学生用眼压力。
（5）体感交互技术协助大数据收集，为个性化学习提供数据依据。体感游戏不但可以实时捕捉学生的行为，还能记录学生的行为轨迹。因此在体感游戏上叠加运动数据检测功能，对于运动监测和调整设定个性化的体育学习目标具有很高的应用价值，可以很好地支撑个性化体育学习的实践探索。
● 总结
体感交互技术在基础教育领域的应用属于信息化时代下人工智能新技术服务教学需求的典型案例，具有创新性、可行性和适切性，也具备一定程度的不可替代性。体感交互学习资源能够有效融合情境、交互、测评三个关键要素，实现预期的学习目标，同时，大部分的学习资源还可以打破原先设定的应用场景和应用年段限制，达到多场景多年段共用，是一种优异的数字化学习手段和测评工具。
当然，和其他新技术一样，教师在这类教学活动的设计上普遍缺乏经验，体感交互学习需要新的教学法支持，修正并形成固定可操作的教学模式可能会需要一个较长的探索过程。为达到较好的效果，亟须对教师进行专项培训，并提供典型课例与可供参考的教学方案。此外，由于体感交互学习资源更倾向于在非正式的学习活动中使用，常常缺乏明确的、可度量的教学目标，或者和现有教学目标存在偏差。由此导致由于缺乏合适的评价模型和评价策略，对参与者学习结果和学习绩效的衡量比较困难。
下一步，笔者所在研究团队将继续开展体感技术在基础教育领域的深度和广度研究与开发，尤其将加强对其在相关学科方面教学方法标准化应用的探索，并对如何结合特色课程进行项目开发进行深度探索。
参考文献：
[1]张诗潮，钱冬明.体感技术现状和发展研究[J].华东师范大学学报：自然科学版，2014（02）：40-49.
[2]李青，王青.体感交互技术在教育中的应用现状述评[J].远程教育研究，2015（01）：48-56.
[3]袁旭.体感交互技术教育应用研究现状分析[J].中国教育信息化，2016（10）.
[4]杨宁.体感交互技术在幼儿教育中的应用[J].幼儿教育：教育科学，2016（01）：35-38.
[5]徐云，朱旻芮.体感游戏对智障儿童干预的效用分析[J].中国特殊教育，2016（09）：24-29.
[6]李为.新技术、新模式、新应用[J].南京教育，2019（01）.
[7]周云.基于体感技术的单杠引体向上测评应用研究[Z].中国教育科学研究院三等奖研究报告，2017.
转载注明来源:https://www.xzbu.com/9/view-14857685.htm
