基于LSTM和Conformer的下肢外骨骼步态预测方法

来源:用户上传      作者:赵侦钧，王涛，贝太学，宋涛涛

　　摘 要： 提出一种新颖的基于长短期记忆神经网络（Long Short-term Memory， LSTM）和Conformer相结合的步态预测方法，用于解决下肢外骨骼人机协同问题。首先利用LSTM网络模型在时间上对步态数据序列做初步的特征提取及预测，然后采用Conformer模型LSTM模型输出的数据在时空上作进一步的深度特征提取，并经线性激活单元输出预测结果。利用Pytorch搭建LSTM-Conformer神经网络模型，由采集到的下肢姿态数据组建成的数据集作为输入，将步态所属类别标签作为输出进行验证。实验结果表明，拟议网络模型平均准确率达到了94.89%。
　　关键词： 外骨骼; 步态预测; 九轴姿态传感器; 长短期记忆网络; Conformer模型
　　中图分类号：TP391 文献标识码：A 文章编号：1006-8228（2022）08-01-05
　　Gait prediction method of lower limb exoskeleton based on LSTM
　　and Conformer neural network
　　Zhao Zhenjun1， Wang Tao1， Bei Taixue2， Song Taotao1
　　（1. School of Information and Electrical Engineering， Shandong Jianzhu University， Jinan， Shandong 250000， China;
　　2. School of Mechanical and Electrical Engineering， Shandong Jianzhu University）
　　Abstract： A novel gait prediction method based on Long Short-Term Memory （LSTM） and Conformer is proposed to solve the problem of human-machine coordination of lower limb exoskeleton. Firstly， the LSTM network model is used to perform preliminary feature extraction and prediction on the gait data sequence in time， and then the Conformer model is used to perform further in-depth feature extraction on the LSTM model output data in time and space， and the prediction results are output through the linear activation unit. The LSTM-Conformer neural network model is built on the Pytorch. The data set constructed from the collected lower limb posture data group is used as input， and the category label of the gait is used as the output for verification. The experimental results show that the average accuracy rate of the proposed network model reaches 94.89%.
　　Key words： exoskeleton; gait prediction; nine axis attitude sensor; Long Short-Term Memory（LSTM） neural network; Conformer model
　　0 引言
　　下肢外骨骼是一种可穿戴的人体运动辅助和机能增强装置。近年来，随着军事和工业上对单兵负重、机动能力和防护能力的日益重视，以及脑卒中、脊髓损伤和老龄化引起的下肢活动障碍患者人数逐年增加，外骨骼、功能性电刺激（Functional Electrical Stimulation，FES）器等运动助力或康复设备均获得了迅速发展[1-3]。在这些外骨骼系统中，人机协同问题一直是其一大挑战[4，5]，解决这一挑战的关键在于提高步态预测的准确性。
　　国内外学者对步态预测、人机协同进行了大量研究。Wilcox等[6]基于肌电图（EMG）信号展开研究，利用肌电信号分析运动意图。李彩红[7]基于人体表面肌电信号（Surface Electromyography， sEMG）深度探究sEMG信号与下肢运动角度映射规律，进一步进行步态预测。上述两种方法易受人体表面皮肤状态如出汗、皮肤破损等干扰。龙亿等[8]在使用力矩传感器测量人机交互信息的基础上，使用卡尔曼滤波进行预测弥补意图延时，该方法需进行复杂的参数优化且缺乏对空间特征的提取。丁峰等[9]提出一种基于灰色理论的人体步态预测方法，通过视频捕捉设备（Kinect）捕捉踝关节空间位置坐标进而利用灰色预测系统进行预测，该方法所使用的视频捕捉设备不适用于下肢外骨骼。近年来，随着神经网络在各领域内广泛应用[10，11]，基于神经网络模型的下肢外骨骼步态预测方法[12-14]不断地被提出，但这些方法都未能同时考虑时间与空间上的步态特征信息。

nlc202208151737

转载注明来源:https://www.xzbu.com/8/view-15437603.htm