混合粒子群优化算法优化前向神经网络结构和参数

来源:用户上传      作者:

　　摘要：提出了综合利用粒子群优化算法(PSO)和离散粒子群优化算法(D－PSO)同时优化前向神经网络结构和参数的新方法。该算法使用离散粒子群优化算法优化神经网络连接结构，用多维空间中0或1取值的粒子来描述所有可能的神经网络连接，同时使用粒子群优化算法优化神经网络权值。将经过该算法训练的神经网络应用于故障诊断，能够有效消除冗余连接结构对网络诊断能力的影响。仿真试验的结果表明，相比遗传算法等其他算法，该算法能够有效改善神经网络结构和参数的优化效率，提高故障模式识别的准确率。
　　关键词：粒子群优化； 神经网络； 故障诊断； 遗传算法
　　中图分类号：TP183文献标志码：A
　　文章编号：1001-3695(2007)12-0091-03
　　
　　神经网络具有模式识别、函数逼近、优化和联想记忆等性能，因此广泛流行于研究领域和应用领域。设计一个神经网络主要有两个方面的工作:选择合适的神经网络结构；调整神经网络的各参数使网络输出达到特定的精度要求。对于多层前向网络,太大的网络结构容易造成归纳性差；太小的网络结构则造成学习能力低。因此，能同时有效优化神经网络结构和权重等参数的方法正成为研究的热点。
　　目前应用遗传算法训练神经网络的权重和拓扑结构方面的研究已经有很多成功的实例。通过对神经网络种群进行一系列模拟生物进化的遗传操作，可以获得结构优化的神经网络。但是，遗传算法复杂的遗传操作如选择、复制、交叉、变异使神经网络的训练时间随问题的规模及复杂程度呈指数级增长[1]。而且，由于缺乏有效的局部区域搜索机制，算法在接近最优解时收敛缓慢甚至出现收敛停滞现象。
　　粒子群优化算法是一种基于群智能的进化计算技术。其速度―位移搜索模型操作简单、计算复杂度低，既能以较大的概率保证最优解，又可以提高局部区域的收敛速度[2]。目前PSO已广泛应用于函数优化、神经网络训练、模糊系统控制及其他遗传算法等领域[3~7]。基本粒子群算法是应用于连续优化问题的，然而许多实际的工程难题均描述为组合优化问题，所以Kennedy和Eberhart提出了一种二进制离散粒子群算法(D－PSO)[8]。
　　
　　由表1可知，本文算法对结构的优化提高了神经网络的故障模式识别能力，表明删除的网络连接为冗余连接，同时也验证了冗余连接对神经网络性能的影响。由实验结果还可以看出，本文算法与遗传算法相比，训练效率得到了较大提高，在训练时间接近时，网络的诊断能力显著增强；若达到同样误差目标，采用粒子群优化算法收敛所需的训练迭代次数明显降低。由此可见，本文算法不仅使训练的收敛速度大大提高，且其训练的神经网络性能也得到了增强。需要指出，尽管对结构的优化增加了本文算法训练阶段的复杂度，但是经过连接结构优化的神经网络在实际应用中信息处理效率得到提高。经过连接结构优化的神经网络尤其适合大规模数据的实时处理。
　　
　　4结束语
　　
　　针对神经网络中的冗余连接不仅会降低神经网络的处理速度，而且大量的冗余连接甚至会影响神经网络性能的情况，本文提出了综合利用粒子群优化算法和离散粒子群优化算法同时优化前向神经网络结构和参数的新方法。该算法在训练神经网络权值的同时删除其冗余连接，实现连接结构的优化。在旋转机械故障诊断神经网络上的试验数据表明,这种方法不但能够有效地优化神经网络的结构,而且还能提高训练效率。与训练全连接结构权值的PSO相比，算法在保证分类正确率的同时减少了连接数目；与BP及遗传算法相比，在提高分类误差精度的同时加快了训练收敛速度。
　　
　　参考文献：
　　[1]YANG J M, KAO C Y. A robust evolutionary algorithm for training neural networks[J]. Neural Computing and Application, 2001, 10(3):214-230.
　　[2]KENNEDY J, EBERHART R C. Particle swarm optimization[C]//Proc of IEEE International Conference on Neural Networks. Piscataway:IEEE Press, 1995: 1942-1948.
　　[3]VOSS M S, FENG Xin. Arma model selection using particle swarm optimization and AIC criterial[C]//Proc of the 15th Triennial World Congress. Barcelona, Spain:IFAC, 2002.
　　[4]PARSOPOULOS K E, VRAHATIS M N. Particle swarm optimization method in multiobjective problems[C]//Proc of ACM Symposium on Applied Computing. New York:ACM Press,2002.
　　[5]BERGHF van den,ENGELBRECHT A P. Cooperative learning in neural networks using particle swarm optimizers[J].South African Computer Journal,2000, 26:84-90.
　　[6]PARSOPOULOS K E, VRAHATIS M N. Recent approaches to global optimization problems through particle swarm optimization[J].Natural Computing, 2002,1(2-3): 235-306.
　　[7]OURIQUE C O, BISCAIA E C, PINTO J J C. The use of particle swarm optimization for dynamical analysis in chemical processes[J].Computers and Chemical Engineering, 2002, 26: 1783-1793.
　　[8]KENNEDY J, EBERHART R C. A discrete binary version of the particle swarm algorithm[C]//Procof Conf on Systems, Man, and Cybernetics. Piscataway: IEEE Press, 1997: 4104-4108.
　　[9]EBERHART R C, SHI Y. Comparing inertia weights and constriction factors in particle swarm optimization[C]//Proc of Congress on Evolutionary Computing. Piscataway: IEEE Press, 2000: 84-89.
　　[10]STACEY A,JANCIC M, GRUNDY I. Particle swarm optimization with mutation[J].Evolutionary Computation,2003(2):1425-1430.
　　
　　“本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文”

转载注明来源:https://www.xzbu.com/4/view-11584935.htm