基于低纬度SVM决策树算法的智能手语翻译手套

来源:用户上传      作者:

　　摘 要
　　基于低纬度SVM决策树算法的智能手语翻译手套旨在解决聋哑人与听人之间的交流问题，满足聋哑人在日常生活中的基本社交需求。聋哑人只需戴上该手套，做出相应的手势，手套即可识别出相应的手势并播报语音、同时屏幕显示文本。该智能手语翻译手套采用基于数据手套的手语识别技术，运用低纬度SVM结合决策树算法来进行手势识别，在SVM的两类分类器的基础上加上决策树算法能够实现多类分类器功能，在不影響识别率的情况下极大地提高识别速率。
　　关键词
　　数据手套;手势识别;低纬度SVM决策树算法
　　中图分类号： G06F3/01                 文献标识码： A
　　DOI：10.19694/j.cnki.issn2095-2457 . 2020 . 17 . 12
　　Abstract
　　The Sign Language Interpreting Smart Gloves based on SVM Decision Tree At Low Latitude is aimed to bring down the communication barriers between the deaf and dumb and the others， satisfying their demands on social contact in daily lives. Once the deaf and dumb make the specific hand gestures with the smart gloves on， the micro computer of the gloves will analyse the obtained data， then present the corresponding text on a screen， broadcast the synthetic voice according to the identification results at the same time. The sign language interpreting smart gloves combine the gesture identifying technology from digital gloves with low-latitude SVM decision tree algorithm so as to accurately identify the gesture. Without decreasing the identification rate， the identification speed can be dramatically accelerated by the multi-class classifier which can be provided by SVM’s double-class classifier-plus decision tree algorithm.
　　Key Words
　　Data gloves; Gesture recognition; SVM Decision Tree At Low Latitude
　　0 前言
　　据最新资料统计表明，我国听力语言残疾居视力残疾、肢残、智残等五大残疾之首，有2057万人，约占中国人口总数的1.67%，其中7岁以下儿童就有80万人。因此，设计出一种聋人与听人进行语言沟通的工具，一直是人们渴望解决的技术难题。
　　手语识别技术在国内外有多种方式，都是基于传感器的手语识别技术，主要可分为以下三种：
　　（1）基于数据手套的手语识别：数据手套上的传感器能识别手型以及手部的运动轨迹，因此识别率较高[1-5]。基于可穿戴设备的数据手套通常采用决策树算法和模板匹配法进行手势识别。决策树算法容易造成误差的积累，分类错误在越靠近分类树根的地方发生，分类性能就越差，且离根节点较远的样本识别率低。模板匹配法在需要识别的手势数目较大时，会因手势的重叠而识别率降低。
　　（2）基于计算机视觉的手语识别：通常采用摄像头作为传感设备，无须穿戴，体验感较好。另外，其成本也低于第一种手语识别方式，故推广起来更为容易。但是感受与识别技术容易受到周围环境因素的影响，如光照等。同时需要处理的数据量巨大，识别的实时性较低。
　　（3）基于表面肌电和加速度的手语识别技术：该技术利用SEMG信号来识别手部动作，而且成本低，易于推广，且穿戴时不影响手部动作。但是在使用过程中，不同用户的使用力度等有一定的差异，会导致使用时识别不稳定[6]。
　　鉴于第二种手语识别方式受外界环境因素影响比较大，而第三种方式易产生个体差异，本文选择第一种基于数据手套的手语识别方式。
　　传统数据手套运用决策树算法进行手势识别时，若手势识别数目较大，识别错误会迅速增加，易发生错误的积累。考虑到识别速度和识别精度，该手套中加入了新型低纬度SVM决策树算法[7-9]。识别时在SVM的两类分类器的基础上加上决策树算法实现多类分类器功能，不仅能对线性不可分的数据集进行处理[10]，还能在早期划分出容易划分的类别和数目较大的类别，提高分类速度和精度。同时实验中所用的手势识别数据均经过多次采集处理得到，不易造成错误的积累且不会因为需识别手势的数目较大而识别率降低。测试结果表明，在智能手语翻译手套中运用新型低纬度SVM决策树算法，有效地提高了手势识别精度和识别速度。
　　1 系统架构
　　图1为实验室手套实物照片。整个系统硬件分为微型计算机和数据手套两大部分，数据手套主要由arduino板和各种传感器构成。手套采取基于数据手套的手语识别方式，数据手套与主机通过串口进行通信。 　　手势识别过程如图2所示，利用弯曲度传感器和加速度传感器（MPU6050），将不同手势所对应的经过MPU6050计算和arduino处理的数据统一建立在数据库中。同一个手势需录入多组数据，运用SVM算法进行预分类，进而识别手势。在使用过程中，利用低纬度SVM决策树算法进行模式识别将实时收集到的数据与数据库进行对比，计算机先将采集到的特征数据输出，然后输出对应的手势解语，同时调用并播报语音。
　　2 識别算法设计
　　2.1 数据采集
　　弯曲度传感器在手指弯曲角度不同时产生不同的形变，导致电阻变化，从而分得不同的电压。加速度传感器则会根据手势在空中的位置以及加速度的不同来区分不同的手势。如图3所示，手套每根手指上的弯曲度传感器有独立的电路，在实验中加入了一些10K电阻串联分压，以便得到传感器上电压的变化。
　　利用弯曲度传感器测量手指的弯曲度，利用MPU6050模块将原始数据经过运算处理确定手在空间中的倾斜度，将所得到的数据传送给主控arduino，arduino利用中值法、去极值平均法、多次取样法等方法处理数据，再将这些数据录入数据库。
　　2.2 低纬度SVM决策树算法
　　同一个手势录入多组数据，通过机器学习使之记住手势对应的数据。然后利用SVM决策树算法进行模式识别，以得到正确的手势解语。
　　支持向量机（Support Vector Machine）是机器学习中的一种监督学习机制，擅于对线性可分情况进行分析，对于线性不可分如图4（a）的情况，则需引入核函数，进行非线性映射，将低维空间的线性不可分样本映射到高维空间，这样用一个超平面便可对其进行分割，使其线性可分[10]，划分结果如图4（b）。SVM用于解决二值分类问题，在低维空间的工作效率较高。
　　二叉决策树是决策树的一种特殊模型，它将所有类别划分成两个子类，每个子类在下一层次又划分为两个子类，依此进行逐级划分，直到分出叶结点，最终形成决策树[7]。
　　决策树分类可对每个区域进行划分，提高了分类精度;同时需要构造的分类器少;分类时不需遍历所有分类器，所需时间短，还能较好地提高分类效率[8]。
　　低纬度SVM决策树算法利用SVM的二值分类特性和决策树的二叉结构构造多类分类器。整个模型是一个二叉树结构，决策树先进行泛分类，为节点处的SVM分类器选取最优特征以减小每个分类器的样本规模，使SVM尽可能地在低纬度便能准确分类，减少核函数的引入，降低计算规模，提高识别速度。每个树节点处利用SVM进行分类。
　　3 调试结果
　　选取17个常用手语手势，选择3名健康的志愿者，对所有选取手势采集50遍，采集的部分数据如图5所示。图6为部分不同手势的特征数据;图7为使用过程中计算机接收的手势特征数据，并与数据库比对从而输出的手势解语。经调试和试验，目前对手势数据库中已有手势的识别率达到100%。
　　4 结束语
　　基于低纬度SVM决策树算法的智能手语翻译手套其功能的实现基于arduino以及python开发。整个系统硬件分为微型计算机和数据手套两部分，数据手套主要由arduino板和各种传感器构成。系统功能分为手势识别和语音播报两大模块。手势识别模块利用弯曲度传感器测量手指的弯曲度，利用MPU6050模块确定手在空间中的倾斜度，将所得到的数据经过arduino处理录入数据库，同一个手势录入多组数据，通过机器学习使之记住手势对应的数据。然后利用SVM进行模式识别，以得到正确的手势解语。语音模块则根据得到的解语生成对应的音频并播报。手势识别开始前可进行中英文选择决定最后的播报语言。
　　该系统数据库可随时扩充，也可进行私人订制，可成为聋人与听人进行交流的有效沟通工具。
　　参考文献
　　[1]吕蕾，张金玲，朱英杰，等.一种基于数据手套的静态手势识别方法[J].计算机辅助设计与图形学学报，2015，27（12）：2411.
　　[2]刘海宽，甘良志，陈传虎.智能数据手套的研究与应用[J].机床与液压，2009，37（08）：394.
　　[3]赵学玲，朱雁锋，郝立果，等.加速度传感器在动作识别中的应用[J].机床与液压，2011，39（2）：119.
　　[4]蔡兴泉，郭天航，臧坤，等.基于无线数据手套的手势识别方法研究[J].系统仿真学报，2014，26（1）：73
　　[5]Jakub Ga？掴ka，Mariusz Ma sior，Mateusz Zaborski，Katarzyna Barczewska. Inertial motion sensing glove for sign language gesture acquisition and recognition[J]. Ieee Sensors Journal，2016，16（16）：6310.
　　[6]田建勋，陈香，李云，等.一种基于加速度与表面肌电信息融合和统计语言模型的连续手语识别方法[J].中国生物医学工程学报，2011，03：334-335.
　　[7]黄星琪，何世钧，周汝雁，等.基于SVM决策树的自适应相数ECT图像重建算法[J].测控技术，2019，38（3）：21.
　　[8]刁智华，赵春江，郭新宇，等.一种新的基于平衡决策树的SVM多类分类算法[J].控制与决策，2011，26（1）：150.
　　[9]夏思宇，潘泓，金立左.非平衡二叉树多类支持向量机分类方法[J].计算机工程与应用，2009，45（17）：168.
　　[10]王富，孙林慧，苏敏，等.基于参数寻优决策树SVM的语音情感识别[J].计算机技术与发展，2018，28（7）：64.
转载注明来源:https://www.xzbu.com/8/view-15282977.htm