一种深度小波过程神经网络及在时变信号分类中的应用

来源:用户上传      作者:

　　摘  要： 针对多通道非线性时变信号分类问题，提出一种基于稀疏自编码器的深度小波过程神经网络（SAE-DWPNN）。通过构建一种多输入/多输出的小波过程神经网络（WPNN），实现对时变信号的多尺度分解和对过程分布特征的初步提取;通过在WPNN隐层之后叠加一个SAE深度网络，对所提取的信号特征进行高层次的综合和表示，并基于softmax分类器实现对时变信号的分类。SAE-DWPNN将现有过程神经网络扩展为深度结构，同时将深度SAE网络在信息处理机制上扩展到时间域，扩展了两类模型的信息处理能力。该网络可提取多通道时序信号的分布特征及其结构特征，并保持样本特征的多样性，提高了对信号时频特性和结构特征的分析能力。文中分析了SAE-DWPNN的性质，给出了综合训练算法。以基于12导联ECG信号的7种心血管疾病分类诊断为例，实验结果验证了模型和算法的有效性。
　　关键词： 时变信号;模式分类;小波过程神经网络;深度SAE网络;学习算法
　　中图分类号： TP183    文献标识码： A    DOI：10.3969/j.issn.1003-6970.2020.02.022
　　【Abstract】： Aiming at the problem of multi-channel nonlinear time-varying signal classification， a deep wavelet process neural network based on sparse self-encoder （SAE-DWPNN） is proposed. By constructing a multi-input/ multi-output wavelet process neural network （WPNN）， multi-scale decomposition of time-varying signals and preliminary extraction of process distribution features are realized; By superimposing a SAE depth network after the WPNN hidden layer， the extracted signal features are synthesized and represented at a high level， and the time-varying signals are classified based on the softmax classifier. The SAE-DWPNN extends the existing process neural network into a deep structure， and expands the deep SAE network into the time domain in the information processing mechanism. It improves the information processing capabilities of the two models. The network can extract the distribution characteristics and structural features of multi-channel time series signals， and maintain the diversity of sample features， which improve the analysis ability of signal time-frequency characteristics and structural features. In this paper the properties of SAE-DWPNN is analyzed and a comprehensive training algorithm is given. Taking the classification of seven cardiovascular diseases based on 12-lead ECG signals as an example， the experimental results verify the validity of the model and algorithm.
　　【Key words】： Time-varying signal; Pattern classification; Wavelet process neural network; SAE deep network; Learning algorithm
　　0  引言
　　非線性系统多通道时变信号分类一直是智能信息处理领域研究的一个重要问题[1]。由于受多种非线性扰动因素、信号间的耦合作用以及噪声的影响，使得信号样本往往具有非线性、非平稳等特性，呈现多峰、伸缩、漂移、含噪声等特征[2]。完整提取时变信号的分布特性，在模型机制上反映多通道信号分布的结构特征、时间依赖和关联性，对于复杂信号的分析具有重要意义。
　　针对时空维信息处理和时变信号过程特征的提取及表示问题，何新贵提出了过程神经网络（Process Neural Network，PNN）的概念和模型[3，4]。PNN的结构与传统神经网络不同之处在于其输入和连接权等都可以是时变函数，神经元内增加了一个对于时间效应的聚合算子，在机制上可同时表达多种影响因素的共同作用和对时间效应的累积。该模型以输入层和过程神经元隐层之间的连接权函数矩阵来抽取和表示时变信号样本的过程特征，通过对样本集的学习形成对信号特征的记忆和存储。在时变信号分类[5，6]、非线性系统过程模拟[7]、状态预测[8，9]等领域获得成功应用。钟诗胜等针对过程信号时频特性分析问题，建立了一类小波过程神经元（Wavelet Process Neuron，WPN）和小波过程神经网络（Wavelet Process Neural Network，WPNN）[10]。该模型结合了PNN对时变信号的分析能力及小波变换良好的时频局域化性质，将过程神经元的激励函数取为小波基函数，隐层和输出层阈值由小波的平移与伸缩参数所替代，实现了对信号时频特征更强的学习能力和更高的预测精度[11]。目前，在PNN的研究和应用中还存在一些困难，主要包括：现有各类PNN是一种浅层结构模型，对复杂时变信号特征的提取、表征和高层次综合能力不足;在训练样本集规模较小或对系统变换特征的表达不完备的情况下，存在泛化能力不稳定的情况。随着深度学习理论的发展，一些新的可用于时变信号分析的神经网络模型不断被提出，例如，深度卷积神经网络[12]、深度递归网络[13]、深度循环网络[14]、Markov链[15]等，在机制上对时间序列信号的分类具有良好的适应性。如果将PNN信息处理机制与深度学习理论相结合，则可为解决上述PNN问题提供一种新的方法。 　　本文针对非线性系统时变信号分类问题，提出了一种稀疏自编码器深度小波过程神经网络（Sparse Auto Encoder Deep WPNN，SAE-DWPNN）。该模型中，多通道时变信号的过程特征及其组合关系由WPNN输入层与WPN隐层之间的连接权函数矩阵进行初始抽取和表示，该矩阵同时也构成了信号样本分布特征的记忆存储单元。将WPN隐层的输出作为深度SAE网络的输入，实现WPNN单元与SAE深度结构之间的信息传递，并通过深度SAE网络进一步进行信号特征的高层次抽象、组合，形成显著的分类特征，最后由softmax分类器实现对时变信号的模式分类。在SAE-DWPNN学习算法设计中，采用按信息处理单元、分段初始化网络参数的策略。首先以随机梯度下降算法实现对WPNN权值参数的赋初值训练，然后以无监督逐层初始化算法实现对深度SAE网络参数的赋初值，最后以有监督BP算法对SAE-DWPNN的全体参数进行微调。以基于12导联ECG信号的7种心血管疾病分类为例进行实验，正确识别率为85.76%，取得了良好结果。
　　1  小波过程神经网络
　　1.1  小波过程神经元
　　小波过程神经元（WPN）由过程输入信号加权，时间、空间二维聚合和小波函数激励输出等三部分运算组成。结构如图1所示。
　　1.2  小波过程神经网络
　　小波过程神经网络是由若干个WPN按一定的拓扑结构和信息变换流程组成的网络模型，隐层激活函数采用小波函数。考虑3层前向结构的WPNN，设输入层有个n单元，隐层由m个WPN组成，输出层1个单元，则网络结构如图2所示。
　　2  深度小波过程神经网络
　　2.1  小波稀疏自编码器
　　小波稀疏自编码器（Wavelet Sparse Auto Encoder，WSAE）是将小波神经网络与稀疏自编码器结合的一种网络模型。该模型将小波函数作为稀疏自编码器的激励函数，同时增加小波神经网络所特有的伸缩参数和平移参数。结构如图3。
　　2.2  深度小波过程神经网络
　　DWPNN由多输入/多输出WPNN、WSAE网络结构、softmax分类器等3个信息处理单元堆栈而成。每一信息单元的输出为下一信息单元的输入，网络结构和信息传递关系如图4。
　　由式（7），利用WPNN的对时间维信息的变换机制和WSAE深度学习框架所具备的特征学习能力，使SAE-DWPNN具备了更好的对时变信号的特征辨识和分类能力。
　　3  DWPNN学习算法
　　DWPNN的学习过程分为3个阶段：第1阶段，进行WPNN单元连接权参数的赋初值训练;第2阶段，以WPNN隐层节点的输出作为WSAE深度网络的输入，进行网络参数的赋初值学习，并对softmax分类器参数赋初值;第3阶段，采用BP算法实现对SAE-DWPNN的全体参数进行整体调优。
　　3.3  SAE-DPNN参数的整体调优
　　通过WPNN连接权参数赋初值训练和基于无监督贪婪学习的WSAE逐层初始化训练，SAE- DPNN中的各项参数均已赋初值，在此基础上，根据训练集样本函数的类别标签，采用BP算法实现对DAE-DPNN全体参数的整体调优。
　　4  实验与结果分析
　　4.1  训练数据集
　　心電图（electrocardiogram，ECG）信号反映人体心脏电位的变化，具有多峰、周期、非平稳和背景噪声等特点，不同心血管疾病具有不同的信号分布特征。本实验所用数据集来自中国心血管疾病数据库（CCDD）中12导联的ECG信号样本，采样频率为500 Hz，每条记录时间为6s左右，采样时间序列长度为640。样本带有心拍分割标记，并标注了专家对疾病的诊断结果。在候选样本中，删除标记模糊、时长不足、数量很少的样本，确定其中7类共21196个样本构成数据集。样本分布见表1中的疾病名称和样本数。
　　表1中，房性心动过速和房颤伴快速心室率样本数较少，采用数据增强方法。利用Sym8小波基函数将原始心电信号进行10层小波分解，采用极大极小阈值估计法[17]确定阈值。将分解后的高频信号与低频信号重构，分别得到300和551个新的信号样本。原始信号样本与新的信号样本混合在一起，共同参与网络模型的训练和测试。
　　4.2  实验和结果分析
　　在实验中，经对比分析，SAE-DWPNN网络结构参数设置见表2。WPN激励函数取为在时、频域局部特性均较好的Morlet母小波，其它神经元激励函数均取为sigmoid函数。
　　采用本文第3节建立的训练算法，基于样本集进行SAE-DWPNN网络参数的学习。实验硬件环境为Intel（R） Xeon（R） Gold 5118 CPU@2.30 GHz，实验平台为MATLAB R2016b。在训练中，WPNN的迭代次数设为1000，SAE深度网络迭代次数为500，全体参数调优BP算法迭代次数为1000，学习率均取为0.25。采用4折交叉验证法，将数据集划分为4份，依次选择其中1份为测试集，剩余3份为训练集，重复4次实验，统计分类结果，取4次识别率的平均值。实验结果对训练集的平均正确识别率为95.28%，测试集的平均正确识别率为85.76%，这在12导联ECG长信号识别中是一个较好的结果。7类信号具体识别情况如表3（混淆矩阵）所示。 　　作为方法对比，本文选择三层小波神经网络[18]，网络结构为12-120-1，隐层激励函数取Morlet小波函数;双隐层过程神经网络[19]，网络结构为12-60- 120-1，选择三角函数基为正交基，基函数项数为32;深度SAE网络，设置7层深度结构，以softmax为分类器进行对比实验。实验采用相同的训练集和测试集，取准确率、精确率、召回率和F1-score为评估标准。分类识别结果如表4所示。
　　由表4知，SAE-DWPNN方法的分类结果优于其他模型，这是由于本文方法综合了小波过程神经网络对时间信号时频特性和结构特征的提取能力、SAE深度网络对特征的高层次综合及对类别属性关联能力，改善了PNN训练因随机赋初值使得目标函数易陷入局部极值或产生梯度弥散的问题，因此取得了较好的实验结果。
　　5  结论
　　本文针对非线性系统复杂时变信号模式分类问题，提出和建立了一种新型深度小波过程神经网络。该模型在信息处理机制上融合了深度学习框架所具有的特征提取与特征高层次综合能力、较好的泛化和学习性质，以及过程神经网络所具有的可同时表达时变系统多种影响因素的共同作用和对时间效应的累积等性质，可实现对时间过程信号的直接分类处理，提高了网络对系统输入输出之间复杂关系的映射能力，为时变过程信号的分类判别处提供了一种新的分析方法和建模工具。
　　参考文献
　　Gao J， Murphey Y L， Zhu H. Multivariate time series prediction of lane changing behavior using deep neural network[J]. Applied Intelligence， 2018， 48（10）： 3523-3537.
　　Martin L， Lars K， Amy L. A review of unsupervised feature learning and deep learning for time-series modeling[J]. Pattern Recognition Letters， 2014， 42： 11-24.
　　何新貴， 梁久祯. 过程神经元网络的若干理论问题[J]. 中国工程科学， 2000， 2（12）： 40-44.
　　何新贵， 梁久祯， 许少华. 过程神经网络的训练及其应用[J]. 中国工程科学， 2001， 3（4）： 31-35.
　　Xu Shaohua， Liu Kun， Li Xuegui. A fuzzy process neural network model and its application in process signal classification[J]. Neurocomputing， 2019， 331： 1-8.
　　Liu Kun， Xu Shaohua， Feng Naidan. A radial basis probabilistic process neural network model and corresponding classification algorithm[J]. Applied Intelligence， 2019， 49： 2256- 2265
　　许少华， 何新贵. 一种基于过程神经元网络的非线性动态系统辨识模型及应用[J]. 信息与控制， 2010， 39（2）： 158- 163.
　　刘志刚， 许少华， 肖佃师， 等. 极限学习脊波过程神经网络及应用[J]. 电子科技大学学报， 2019， 48（01）： 110-116.
　　吴淑玲， 许少华， 张强. 一种级联过程神经网络动态预测模型及其应用[J]. 计算机工程与应用， 2011， 47（11）： 145-148.
　　钟师胜， 李洋. 基于小波过程神经网络的飞机发动机状态监视[J]. 航空学报， 2007， 28（1）： 68-71.
　　Ding Gang， Zhong Shisheng， Li Yang. Time series prediction using wavelet process neural network[J]. Chinese Physics B， 2008， 17（06）： 1998-2003.
　　Pyakillya B， Kazachenko N， Mikhailovsky N. Deep Learning for ECG classification[J]. Journal of Physics： Conference Series， 2017， 913（1）.
　　Kim S S， Hasegawa-Johnson M， Chen K. Automatic recogni tion of pitch movements using multilayer perceptron and time- delay recursive neural network[J]. IEEE Signal Processing Letters， 2004， 11（7）： 645-648.
　　刘腾飞， 于双元， 张洪涛， 等. 基于循环和卷积神经网络的文本分类研究[J]. 软件， 2018， 39（01）： 64-69.
　　Chang P C， Lin J J， Hsieh J C. Myocardial infarction classi fication with multi-lead ECG using hidden Markov models and Gaussian mixture models[J]. Applied Soft Computing， 2012 （10）.
　　Yu L L， Tan B X， Meng T X. The automatic classification of ECG based on BP neural network[J]. Advanced Materials Research， 2010 （121）.
　　孔玲军. Matlab小波分析超级学习手册[M]. 北京： 人民邮电出版社， 2014： 296-313.
　　梁晔， 郝洁， 石蕊. 基于小波神经网络的数字信号调制方式识别[J]. 吉林大学学报（理学版）， 2018， 56（02）： 382-388.
　　许少华， 何新贵， 尚福华. 基于基函数展开的双隐层过程神经元网络及其应用[J]. 控制与决策， 2004（01）： 36-39+48.
转载注明来源:https://www.xzbu.com/8/view-15233562.htm