基于AR技术的全息玩具儿童古诗词移动应用系统设计与实现

来源:用户上传      作者:

　　摘要：随着科技的发展，AR增强现实技术已经融入到当下的教育中。本系统是基于MergeCube全息玩具的儿童古诗词教育系统，用户将应用安装到移动设备端，通过扫描Merge Cube全息玩具，能够在移动设备中把原来的全息玩具变成不同诗词对应的AR立体场景及动画，旋转全息玩具即旋转全息的立体场景，并能与之交互，并能实现录像，拍照，语音召唤等多种功能。
　　关键词：AR技术;MergeCube全息玩具;Unity3D;古诗词
　　中图分类号：TS958.02 文献标识码：A 文章编号：1007-9416（2020）02-0177-02
　　中国家庭非常重视孩子的教育，并且对儿童学前教育的重视程度日益加深。但传统的教育形式多为枯燥无味，难以让孩子提起兴趣。随着计算机技术的发展，传统的教育体系开始焕发出新的活力，未来的教育系统是与计算机科技、大数据技术、网络技术等整合起来的一个完整的系统。[1]AR技术仿真和交互的特性，能将抽象、难懂的知识以更生动、全面、直观的方式呈现，用沉浸式体验增强用户的代入感。这些增强现实的元素所产生的可视化效果，能够大大加强学生对抽象概念和不可见现象的感知。在儿童学习诗歌领域，将传统教育与AR技术相结合，在提升儿童认知能力的同时，又能赋予教育过程的创新性与娱乐性，实现寓教于乐的效果。[2]
　　本系统基于MergeCube全息玩具，采用Unity3D作为主要开发引擎，利用3dmax为三维建模工具，搭配MergeVR提供的SDK，进行二次开发实现基本增强现实效果。系统基本能实现增强显示功能，搭配VR眼镜更能实现虚拟显示效果。另外具备UI交互，声音系统，动画系统等诗词学习交互特色功能。
　　1 Merge Cube全息玩具
　　Merge Cube是MergeVR公司的其中一款产品，AR全息玩具。MergeCube是一个边长为7cm的正方体，和一个标准魔方大小几乎一致，它的表面带有凸起花纹，花纹被漆成银色（如图1所示）。它必须搭配移动应用才能产生AR或VR效果。只要在移动端安装相应的应用，摄像头对准MergeCube，就会在移动端屏幕呈现AR或VR效果，三维模型呈现在移动端从而取代真实的MergeCube。
　　MergeVR公司为广大开发者提供Merge对应的SDK，供广大开发者开发应用使用，SDK可以放在Unity3D引擎上进行二次开发。Merge Cube是利用Vuforia的跟踪识别技术，对立方体的稳定识别特性从而设计的立方体。该SDK包括了Unity和Vuforia的对接功能，立方体表面识别数据库，还有VR/AR功能，实现了VR、VR两种模式的切换，当把移动设备放置在VR眼镜中时，能够实现VR效果，并通过准心瞄准及触摸板进行交互。AR功能则只需要移动端设备和识别物，用手指触碰移动设备屏幕即可交互。该SDK还实现了拍照录像功能。而且该SDK可以兼容开发IOS或Android版本的应用，为广大开发者提供便利。目前有很多基于MergeCube全息玩具应用，例如：“MergeThings”、“The Body”等等。本文所开发的系统也是通过该SDK进行二次开发的儿童古诗词学习应用。
　　2 三维建模技术（法线翻转）
　　由于AR识别物体是一个正方体，为了让用户产生神奇的视觉效果，我们对场景的建模都是以等比例的大小相同的立方体场景，需要根据不同的古诗词场景进行设计。并且为了做到景但是在真实使用中，立方体肯定是要旋转的，为了更好的实现增强现实的震撼效果，我们使用了3dmax中的法线翻转技术。通过对模型进行法线翻转操作后，我们可以看到正方体空间内部场景以及直接对内部场景的模型进行操作。法线翻转，可以让我们既可以看到立方体其中两～三个表面的背景贴图，当旋转物体一定的角度时，该表面贴图就是变透明，从而让我们看得到立方体内部的模型（如图2所示）。实现了手握或旋转立方体等于手握或旋转不同立方体场景的视觉效果。
　　3 Unity3D实现交互功能
　　利用Unity3D的功能组件来实现相应的功能开发。
　　（1）UGUI用于实现界面的UI，例如朗诵诗词、译文功能以及显示诗词内容及译文内容。UI设计尽量简单清晰，使用世界坐标的UI，合理分布在场景中，并且做到当用户移动图片时，UI随之调整位置及角度。[3]每次UI触发后等待5秒才能重新触发，只要重新触发，上次的声音或动画就会结束，避免出现重复交错的声音或动画。
　　（2）用圆形准心做为交互的触发器，当准心移到可交互的对象时，准心会有填充，填充结束，交互触发。这是利用Unity3D中的射线碰撞机制实现的，只要在可触发的GameObject上面挂上碰撞体组件，通过脚本进行从Camera发射射线进行碰撞检测即可实现该功能。考虑到用户一只手既要握住MergeCube全息玩具，另一只手握住移动设备。此时，如果做成触碰移动设备进行交互是有损用户体验的。因此利用圆形准心来触发交互，会增加应用的合理性和用户体验。
　　（3）动画交互功能。利用Unity的Mecanim的TimeLine動画系统，根据每首诗词对应的故事情节在Animator Controller里面设计动画播放的状态及触发条件，再通过脚本进行逻辑控制，从而根据故事情节安排触发对应的交互动画，增加学习系统的学习性和趣味性（如图3所示）。
　　（4）系统引入了dataset动态加载技术及Assetbundle动态加载技术，改进了存储优化问题，从而使应用更流畅，用户体验更好。
　　4 结语
　　基于MergeCube全息玩具的AR功能特性，开发的儿童古诗词应用系统，颠覆了传统的学习教育模式，是一种全新的集学习、娱乐于一体的学习教具应用。本应用开发技术具有迁移性，可以开发除儿童教育类外，还对工业、制造业、汽车业等众多领域的应用提供了新的思路。 　　參考文献
　　[1] 汪腾浪，田元.基于AR技术的教育产品的开发研究[J].软件导刊，2017，16（6）：82-84.
　　[2] 李婷婷，王相海.基于AR-VR混合技术的儿童智力开发系统研究[J].计算机工程与应用.2019（12）：8.
　　[3] 陈帼鸾，刘建翰，高刘杰.基于AR增强现实的古诗词儿童教育系统的设计与实现[J].科技视界，2018，12（35）：6-7.
　　Design and Implementation of  Children's Poems Mobile Application Based on Augmented Reality
　　CHEN Guo-luan，GAO Liu-jie
　　（School of  Information Engineering， Zhongshan Polytechnic， Zhongshan  Guangdong  528400）
　　Abstract：With the development of science and technology，Augmented reality has been integrated into today's education.This system is a application of Children’s Poems based on augmented reality.Download and launch Cube apps on your smartphone or tablet.Point your device at the Cube.Watch the Cube transform into a virtual object you can hold.The rotating MergeCube is the rotating three-dimensional scene. You can interact with it，and make Video recording， taking photos， voice calling and other functions come true.
　　Key words：Augmented Reality;MergeCube;Unity3D;children’s poems
转载注明来源:https://www.xzbu.com/8/view-15192166.htm