基于幻象模块与深度可分离卷积的运动想象脑电分类方法
来源:用户上传
作者:李春艳 尹鸿峰 李伟静 邵铭鑫
摘要：基于运动想象的脑机接口系统可以在无外部刺激的情况下产生有效脑电信号， 控制外接设备，在医疗健康等方面发挥着越来越重要的作用。运动想象脑电信号具有非线性、非平稳、低信噪比和个体差异大等特点，同时许多运动想象脑电算法应用在计算能力差、实时性要求高的移动设备上，对运动想象脑电的分类准确性和模型复杂度提出了很大挑战。基于此，文章提出一种新的融合幻象模块与深度可分离卷积的轻量化分类模型。首先对原始数据进行截取和滤波，使用EMD算法计算IMFs，将二维脑电信号重构为三维数据，然后通过幻象模块和深度可分离卷积进行数据扩展与特征提取，引入反残差模块缓解网络退化问题，最后用全连接层进行分类。
关键词：深度学习；运动想象；深度可分离卷积；幻象模块
中图分类号：TP3 文献标识码：A
文章编号：1009-3044（2022）28-0017-03
1973年Vidal[1]提出脑机接口的概念，这是一种人机混合增强感知的重要手段。随着医学、计算机科学等学科与领域的不断交融与发展，脑机接口不断被应用于临床治疗中。随着研究的推进，脑机接口逐渐在其他领域展现出了更加庞大的潜力。
作为非侵入式脑电范式的典型代表，运动想象信号具有非线性、非平稳、低信噪比、个体差异大、非侵入等特点，如何有效地针对运动想象数据进行分类一直是脑机接口领域的研究重点。大多数传统方法主要对脑电信号的时序、频率和空间等特征进行手动提取，然后进行分类。近年来随着深度学习方法在机器视觉[2]等方面的迅速发展，利用神经网络进行端到端分类的方法也应用在运动想象脑电信号分类中，Lawhern [3]等人设计EEGNet这种通用且紧凑的卷积神经网络，Schirrmeister[4]等人建立了不同端到端的神经网络结构。但目前大部分神经网络的设计依然运算复杂，无法满足移动设备的需要。EEGNet等模型使用了可分离卷积减少运算量，但卷积尺度单一，模型层数较少，难以在所有数据集上有稳定且高准确率的表现。
因此，本文设计了一种基于幻象模块与可分离卷积的神经网络模型。首先对脑电数据进行截取及滤波，利用EMD算法将原始数据进行重构，再输入到提出的模型中进行特征提取和分类。该模型主要包括幻象模块、反残差模块和深度可分离卷积模块。将多尺度卷积的经典卷积模块替换为幻象模块，在减少参数量的同时实现对数据的拓展。反残差模块在增加模型深度时缓解网络退化。可分离卷积分别处理通道内和通道间的信息，进行特征提取。
1 模型分析
1.1 模型基本结构
机器学习在运动想象脑电信号应用中的一个难点就是如何在较少的数据中，保持较低的参数量与计算量的情况下，提取到合适的特征并用于分类，之前有学者[5]应用多尺度卷积提取不同范围的时频特性取得了良好的效果。笔者在这基础上进一步提出一种幻象模块和深度可分离卷积替换经典二维卷积的分类模型GhostDSNet，减少参数数量，增加深层信息的提取。
将输入数据传入多个不同卷积核大小的Ghost模块中，提取不同时间域中的信息并拼接，进行数据扩充。然后利用Depthwise（DW） 卷积提取单通道信息与Pointwise（PW） 卷积提取通道间信息的特性，提取信号的有效特征，最后通过全连接层进行分类。在这个过程中，加入反残差模块缓解加深网络层次带来的网络退化。
1.2 基本结构与经典二维卷积参数对比
1.2.1 经典二维卷积
在进行对比之前做一个基本假设，输入信号维度为[N*N*C]，输出信号通道数为[K]，卷积核基本尺寸为[M*M]，不考虑偏置参数。
经典二维卷积核对输入信号的每一个维度都要进行乘积求和运算，卷积层共有[K]个filter，典二维卷积的参数量为：[K*M*M*C]。
1.2.2 DW卷积和PW卷积
深度可分离卷积由DW卷积与PW卷积两部分组成，通过对通道内信息计算与通道间信息计算两步完成对输入信号的卷积运算。
每个卷积核只对单通道的数据进行运算，不关注其他通道信息，卷积核的数量与输入信号的通道数一致，总体卷积层参数量为[M*M*C]。
PW卷积更关注不同通道之间的信息，卷积核大小为[1*1*C]，是将输入信号的空间维度进行计算，相当于极端情况下的二维卷积。当卷积核的数目大于输入的通道数，可以对数据进行升维操作，卷积核的数目小于输入的通道，可以进行降维操作。卷积层参数量为[K*C]。
DW卷积计算通道内的信息，PW卷积计算通道间的信息，并通过卷积核个数控制输出信号维度，两者结合可以实现二维卷积的相同功能。
1.2.3 幻象模块
幻象模块主要利用相似性对卷积层输出特征图的冗余信息进行简化计算，文献[6]指出，没有必要使用大量算力来对冗余数据进行生成，只需要进行少量的卷积作为输出，剩余部分用卷积前的数据作为冗余加入输出信息中。
在运算时，首先利用二维卷积生成[KS]通道的数据，再对[KS]通道的数据进行卷积操作，此时可以使用DW卷积，然后将两部分的数据进行连接，此处S表示进行二维卷积的比例的倒数。
一般情况下，[K>2]，[S>2]，因此深度可分离卷积与幻象模块均可以大幅度地降低参数数量，适用于移动设备或边缘设备。
2 数据集与数据预处理
2.1 数据及介绍
本次实验主要使用的是公开数据集BCIC IV dataset 2a，是运动想象领域最具代表性的四分类数据集之一，分别对左手、右手、双脚和舌头进行意图识别数据集共包括9名受试者，分为两个大阶段的数据采集，每个阶段包含6轮次采集，每个轮次进行48次实验，共进行288次实验。
nlc202212021108
2.2 数据预处理
2.2.1 信号选取
在信道选择方面，经过学者研究表明，10-20国际标准导联系统中，与运动想象相关的脑电信息主要在C3、C4信道中，Cz信道位于两者之间，起到基准定位的作用。因此本章主要使用C3、C4和Cz信道数据进行分类研究，并在实验中验证信道选取的有效性。
在时间截取方面，进行运动想象时，脑电信号会经历上升与逐渐消退的过程，主要集中在进行运动想象的前三秒，因此使用3至6秒的脑电信号，采样频率为250Hz，共计750个采样点。
2.2.2 信号重构
1998年N.E Huang等人提出了EMD算法，其在分解脑电信号时不需要提前定义基函数，而是根据脑电信号本身的频率特点自动选取合适的尺度，把脑电信号分解为多个IMF和一个剩余分量[7]。脑电信号的特点是非线性和非平稳性，采用EMD算法能够有效地发挥出自适应的特点，有较好的鲁棒性。
通过运动想象脑电信号一个信道信息进行经验模式分解后得到的各IMF分量与原始信号的对比，可以看出原始信号被分解为多个具有不同频率信息的IMF。假设原始信号定义为：[X=（x1，x2，…，xC）∈RC*T]，其中[xi]为每个导联数据，[C]为信道数目，[T]为采样点个数，经过EMD算法分解之后，每个信道数据重构为[xi=（imfi1，imfi2，…，imfik）]，其中[k]为分解的IMF数量，[imfij]表示第i个信道的第j个IMF表示的数据，则原始信号空间维度由[C*T]变为[k*C*T]，完成二维信号向三维信号的变换。
3 实验结果
3.1 基准模型
本文选取准确率作为主要评价指标，本文与5种基准模型进行对比，这些模型为运动想象分类方法的经典算法或前沿算法：
（1） FBCSP算法。基于CSP对频带进行分片处理，进行特征选择。
（2） Shallow算法[4]。端到端提取时频空信息的运动想象分类算法，是深度学习在脑电信号分类的第一次尝试。
（3） EEGNet算法[3]。应用可分离卷积，在小训练集上有较强的泛化性能与较高的分类准确率。
（4） DeepConvNet算法[4]。可视化学习特征的脑电深度网络分类算法。
（5） DMTL算法[8]。由表示模块、重构模块、分类模块组成的多任务学习框架。
3.2 与基准模型分类结果对比
表1列出了本文设计的模型GhostDSNet与基准模型的对比。实验表明本文提出的轻量化神经网络优于其他基准。在四分类平准准确率达到了77.3%，9个数据集中有5个取得了最好的平均准确率。
FBCSP是CSP算法的拓展，与CSP算法相同，其对信道的选择十分敏感，构建不同信道的矩阵计算出的空间滤波器也不同，会影响分类准确性。EEGNet也使用了可分离卷积减少运算量，但模型结构只有三层，提取不到更深层次的内在信息。端到端算法Shallow和DeepConvnet卷积尺度相对单一，获取特征不够丰富。DMTL算法使用多任务学习进行联合优化，在部分数据集上有较好表现。
3.3 IMF数量对模型的影响
在脑电信号数据进入模型分类之前，本文进行了简单的预处理，调整了输入数据的维度。EMD算法会根据原始信号自动计算出IMF信息，但EMD的固有缺点是存在模态混叠的问题，此时得到的分量没有物理意义。那么模态混叠造成的冗余信息是否影响分类效果、选取哪些分类进行数据重构是值得讨论的。
通过不同IMF进行数据重构对分类准确率的影响可以看出，随着IMF的增加准确率逐渐提高，随着IMF的增多，重构数据时添加的有效信息更多。在添加到IMF5后，IMF增加对准确率的影响变化不大，因为此时IMF本身含有的频率信息较少，IMF1含有更高频率的信息，而运动想象脑电的有效频率主要是4Hz-32Hz，高频数据中噪声占主要成分。经过提前滤波，有助于增加信噪比。
3.4 信道选择对分类的影响
在脑电信号采集的过程中，不同导联采集的数据并不是相互独立的，因为脑电的传播是范围性的，即使是单一源的信号也会被不同的导联所捕获，在长期的研究中形成了C3、C4、Cz三信道的处理模式，其他信道也同时包含有益于分类的信息和大量的噪声，因此本小节通过实验来对比不同的信道选择对分类的影响。
本次实验首先探究了单信道（C3、C4、Cz） 及其组合对分类结果的影响，发现使用单一信道可以达到分类的作用，但精确度存在不同的差距，其中相对于Cz信道，C3和C4信道含有的有效信息更多。当信道进行组合使用时，比单一信道提升超过10%的准确率，明显提高了分类的准确性，因此使用C3、C4、Cz信道进行训练是合适的。
本次实验添加其他信道数据进行了验。发现添加信道时，准确率反而有所下降，距离C3和C4的信道越远、越多，准确率下降得越多。因此说明，这些信道中噪声成分对分类结果的影响大于有效信息的影响，信噪比更低。
3.5 幻象模块及反残差结构对分类的影响
图1展示了应用经典二维卷积模块与使用幻象模块和反残差结构的结果对比。在7个数据集上，幻象模块与反残差机构准确率更高，但提升在5%以下，在2个数据集中，使用经典卷积效果更好。整体来说，使用两种结构分类准确率相差不大，但考虑到幻象模块参数更少，计算量更小，因此使用幻象模块进行替换是有价值的。
4 结论
本文提出一种基于幻象模块与可分离卷积的运动想象脑电信号分类模型。首先将原始信号进行预处理，把二维信号重构为三维信号，再导入新模型中进行特征提取与分类实验，与基准模型相比，在四分类公开数据集中达到了最高的平均分类准确率。此外，也对IMF信号重构、数据信道选择、幻象模块应用有效性方面进行了讨论分析。因此，本文设计的轻量化神经网络在运动想象分类中是有效的。
nlc202212021108
参考文献：
[1] Vidal J J.Toward direct brain-computer communication[J].Annual Review of Biophysics and Bioengineering，1973（2）：157-180.
[2] 王文冠，沈建冰，贾云得.视觉注意力检测综述[J].软件学报，2019，30（2）： 416-439.
[3] Lawhern V J，Solon A J，Waytowich N R，et al.EEGNet：a compact convolutional neural network for EEG-based brain-computer interfaces[J].Journal of Neural Engineering，2018，15（5）：056013.
[4] Schirrmeister R T，Springenberg J T，Fiederer L D J，et al.Deep learning with convolutional neural networks for EEG decoding and visualization[J].Human Brain Mapping，2017，38（11）：5391-5420.
[5] Huang W J，Wang L，Yan Z X，et al.Classify motor imagery by a novel CNN with data augmentation[C]//2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society.IEEE， 2020：192-195.
[6] Han K，Wang Y H，Tian Q，et al.GhostNet：more features from cheap operations[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， 2020：1577-1586.
[7] Li S F，Zhou W D，Yuan Q，et al.Feature extraction and recognition of ictal EEG using EMD and SVM[J].Computers in Biology and Medicine，2013，43（7）：807-816.
[8] Song Y G，Wang D L，Yue K，et al.EEG-based motor imagery classification with deep multi-task learning[C]//2019 International Joint Conference on Neural Networks （IJCNN）.IEEE， 2019：1-8.
【通编辑：代影】
nlc202212021108
转载注明来源:https://www.xzbu.com/8/view-15442885.htm
