基于BP神经网络、ARIMA和LS-SVM模型的集成预测研究

来源:用户上传      作者:

　　摘要：利用单一预测模型进行产量预测时，由于各模型的数学原理不同，对同一数据的处理只能基于数据的部分特征，在预测时无法深度挖掘数据的潜在规律，易出现较大的预测偏差。基于以上问题，笔者以1978—2017年陕西省苹果产量数据为研究对象，将1978—2012年产量作为预测模型的训练数据，2013—2017年产量作为测试数据，选取BP神经网络、ARIMA、LS-SVM 3种在数学原理上具有明显差异的预测模型，采用集成预测策略，依据3种预测模型对训练数据的平均相对预测误差确定各模型的预测权重，最终对各模型预测的2013—2017年数据进行加权获取集成预测值。实证分析表明，集成预测值的平均相对误差在2.5%以内，其预测结果比单一预测模型更加准确和稳健，可有效实现苹果产量高精度预测。
　　关键词：BP神经网络;ARIMA;LS-SVM;陕西苹果产量;集成预测
　　中图分类号： S11+9文献标志码： A
　　文章编号：1002-1302（2020）04-0294-07
　　收稿日期：2019-07-30
　　基金项目：国家社会科学基金（编号：18FGL022）;教育部哲学社会科学研究后期资助项目（编号：18JHQ082）;陕西省科技厅重大项目（编号：2018ZDXM-GY-188）;陕西省社会科学界2019年重大理论与现实问题研究项目（编号：2019TJ038）;陕西高校青年创新团队;西安市科技计划[编号：201806117YF05NC13（5）]。
　　作者简介：李鹏飞（1975—），男，陕西户县人，教授，硕士生导师，主要从事电商大数据分析研究。E-mail：lpf@xupt.edu.cn。
　　通信作者：毋建宏，副教授，主要从事大数据处理研究。E-mail：wujh@xupt.edu.cn。
　　陕西省因独特的地理优势，已成为中国苹果产区中唯一符合7项气象指标的苹果生产最适宜区。苹果产业是陕西省农业特色的优势产业，不仅是陕西省农业经济的重要支柱之一，也是农民收入的重要来源[1]。2017年，陕西省苹果产量达到1 153.94万t，约占中国苹果总产量的1/4，世界苹果总产量的1/7。苹果产业已成为全国农业结构调整的典范，因而构建符合产量变化趋势的预测模型，合理准确预测苹果产量，对指导陕西省乃至全国苹果产业具有重要的理论价值和实际意义。
　　随着现代预测理论的发展，传统的BP神经网络[2]、ARIMA模型[3]和支持向量机回归模型[4]已难以满足当今研究需求。众多学者将单一预测方法的组合预测模型作为研究重点，如ARIMA和BP神经网络组合[5];经验模态分解、主成分分析和人工神经网络组合[6];季节调整法和BP神经网络组合[7];EGA算法和灰色Verhulst计量组合[8]等。也有部分学者基于模型预测性能的优劣，将具有优势互补的单一模型进行集成，如将定量与定性预测相结合的集成预测模型（SIF）[9];经验模态分解和支持向量机集成[10];灰色GM（1，1）、ARIMA和VAR集成[11]等，集成预测模型克服了单一模型预测的缺陷，提高了预测精度。
　　为深度挖掘陕西省苹果产量潜在的变化规律，同时多原理、多角度地预测苹果产量，本研究选取BP神经网络、ARIMA和LS-SVM模型3种在数学原理上差异较大的模型作为预测模型，由于3种模型对中短期预测效果较好，将1978—2012年数据作为训练数据，而2013—2017年5年数据作为测试数据，采用MATLAB软件，对其进行拟合和测试，然后根据3种预测模型训练值的相对误差，计算出各模型的平均相对误差，并按照权重计算公式确定单一预测模型的权重，最后将加权的结果作为最终的集成预测值。
　　1 BP神经网络、ARIMA、LS-SVM和集成预测模型理论
　　1.1 BP神经网络
　　反向传播（back propagation，简称BP）神经网络是由输入层、隐含层、输出层构成的一种前馈型人工神经网络，通过约束网络神经元之间的联系，实现模拟大脑神经网络智能处理信息的功能[12]，其网络的架构见图1。
　　输入层和输出层与外界相连，隐含层承担计算功能。BP神经网络每组输入数据有对应的目标输出，能够实现信息由输入层至输出层的前向传播，并根据误差平方和最小原则实现误差的反向传播，在此过程中，沿着梯度最速下降的方向[13]，调整不同层神经元之间权值和阈值，使神经网络能够根据输入特征实现对输出的逼近。
　　BP神经网络训练流程：
　　1.1.1 正向传播
　　设输入数据为xi，输入层到隐含层的权值为vij，隐含层个数为m，阈值为αk，激励函数为f1，每个节点的输出值γi，隐含层到输出层的权值为vij，输出层个数为n，阈值为αk，激励函数为f2，输出层每个节点的输出值为yi，则隐含层中第i个神经元的输出：
　　γi=f1（∑mj=1xivij+αk）。（1）
　　输出层第j个神经元的输出：
　　yi=f2（∑nj=1γivij+αk）。（2）
　　BP神经网络模型的隐含层和输出层中神经元之间采用的激活函数为sigmoid函数：
　　f（x）=11+e-x。（3）
　　1.1.2 反向传播 根据梯度最速下降法调整连接系数：
　　ΔGij（k+1）=-ηBΔGij;（4）
　　ΔHij（k+1）=-ηBΔHij（k）。（5）
　　式中：G代表输出层的权值和阈值，k表示第k步的学习过程，H代表隐含层的权值和阈值，学习速率为η，B表示网络输出值与目标值z0的误差，其误差可以表示为B=∑m0，j=1（z0-yi）2/2。
　　在前向傳播过程中，训练信息从输入层经隐含层变换最终至输出层，若输出没有达到期望目标，则转入误差反向传播，调整各神经元间的联系，循环重复上述过程直到误差收敛。 　　1.2 ARIMA模型
　　自回归积分滑动平均模型（autoregressive integrated moving average model，简称ARIMA），是对差分平稳序列拟合的一种时间序列预测方法。ARIMA将时间序列表述为一个数学模型，该模型考察了时间序列的动态和持续特征，揭示了时间序列内在关系，适用于短期的时间序列预测[14]。
　　ARIMA（p，d，q）模型的一般形式：
　　ut=a+1ut-1+…+put-p+εt+θ1εt-1+…+θqεt-q。（6）
　　式中：p为自回归模型的阶数，d为差分次数，q为移动平均阶数;ut为差分后的平稳序列;a为常数，为自回归模型系數，θ为移动平均模型系数，εt为零均值白噪声序列。
　　该方法建模步骤主要包括[15]：（1）时间序列平稳性检验。通过时序图检验时间序列的平稳性，未通过平稳性检验即为非平稳序列，采用差分运算转换为平稳序列，并进行平稳性检验。（2）模型初步识别。根据自相关系数图和偏自相关系数图，估计p、q的值，并利用AIC准则确定模型的最佳阶数。（3）参数估计和模型检验。采用极大似然函数估计模型的参数，同时将估计的参数在模型中进行检验。（4）模型预测。根据已确定的最合适参数，进行模型预测。
　　1.3 最小二乘支持向量机
　　20世纪90年代，俄罗斯数学家Vapnik提出了支持向量机（support vector machines，简称SVM）的概念[16]。20世纪90年代末，Suykens等提出了最小二乘支持向量机（least squares support vector machine，简称LSSVM）[17]，LSSVM是SVM的一种改进算法，具有较强的泛化性，以结构风险最小化为原则建立数据模型。该算法在很大程度上降低了样本点在训练过程中的复杂度，优于传统支持向量机的运算速度，是机器学习中应用较为广泛的一种建模方法。
　　LS-SVM模型将最小二乘线性系统作为损失函数，将凸二次规划问题转化成线性方程组求解问题，简化了计算的复杂性，其回归过程可以表示为[18]
　　对给定的数据集S={（x1，y1），（x2，y2），…，（xN，yN），其线性回归函数g（x）=wTφ（x）+k，其中xi表示第i个输入向量，yi为与xi相对应的输出值，i=1，2，…，N，N为样本容量，且w∈Rn，k∈R，φ（·）为解决非线性问题的核函数。
　　回归问题对应的优化问题目标函数为公式（7），与之对应的约束条件为公式（8）：
　　minw，k，eQ（w，k，e）=‖w‖2+γ∑Ni=1e2i2;（7）
　　yi=wTφ（xi）+k+ei。（8）
　　公式（7）中：w表示向量，k表示标量，e表示误差，γ表示正则化参数，ei是误差变量。
　　引入一个拉格朗日乘子αi则LS-SVM优化问题对应的拉格朗日函数为
　　L（w，k，e，α）=Q（w，k，e）-∑Ni=1αi[wTφ（xi）+k+ei-yi]。（9）
　　对公式（9）中每个参数求偏导并令其值为0，得到：
　　Lw=0w=∑Ni=1αiφ（xi）
　　Lk=0∑Ni=1αi=0
　　Lei=0αi=γei
　　Lαi=0wTφ（xi）+k+ei-yi=0。（10）
　　将公式（10）消去w和ei可以得到：
　　0ETED+I/γkα=0Y。（11）
　　式中：E=[1，1，…，1]，D为核函数矩阵，I为单位矩阵，α=[α1，α2，…，αN]，Y=[y1，y2，…，yN]。
　　令B=D+I/γ，可得到：
　　k=ETB-1yETB-1E
　　α=B-1（Y-kE）。（12）
　　因此，LS-SVM的预测函数为
　　y^（x）=∑Ni=1αiK（x，xi）+k。（13）
　　式中：K（x，xi）=exp-（x-xi）22σ2为径向基核函数，其中σ为核参数。
　　LS-SVM模型常采用的核函数有高斯径向基核函数（radial basis function，简称RBF）、线性核函数和多项式核函数，本研究选用包含正则化参数γ、核参数σ的RBF核函数，这2个优化参数对模型的泛化能力和预测精度影响极大[19]。
　　1.4 集成预测原理
　　集成预测模型可以克服单一模型的缺陷，优化由于模型设定不合理而导致的预测偏误，常用的有简单平均法和加权平均法[11]。笔者采用加权平均法对单一模型进行集成，即根据3个模型训练数据的平均相对预测误差确定各单一预测模型的权重，将预测值的加权结果作为最终的集成预测值。其单模型权重计算公式如下：
　　wj=S-1j/∑mj=1S-1j。（14）
　　式中：wj表示第j个模型的权重，Sj表示第j个模型的平均相对误差的绝对值，m表示模型的数量。
　　2 结果与分析
　　2.1 数据描述
　　本研究数据来源于《中华人民共和国国家统计局》《陕西统计年鉴2018》，其详细数据见表1（单位：万t），通过分析40年的数据，可看出陕西省苹果产量1978—2017年整体保持增长趋势。40年产量数据的序列走势见图2。
　　2.2 1978—2017年苹果产量数据的拟合与预测
　　2.2.1 基于BP神经网络模型的拟合与预测
　　采用BP神经网络对陕西省苹果产量预测时，为提高预测结果的准确性，将1978—2012年共35年苹果产量数据作为输入样本和测试样本数量 通过多次训练，最终将BP神经网络的隐含层设置为3层，输入和输出层各为1层。在运算过程中对输入层与隐含层和输出层与隐含层之间的权值和阈值进行多次修正，训练得到了预测精度高而且符合产量变化趋势的网络。 　　采用已训练好的网络对1978—2013年苹果产量进行拟合（图3-a），通过拟合效果可以看出训练的BP神经网络的输出值和苹果产量真实值基本吻合，可以用已训练好的网络对2013—2017陕西苹果产量进行预测（图3-b）。
　　2.2.2 基于ARIMA模型的拟合与预测
　　1978—2017年陕西省苹果产量序列呈上升趋势，可推断该序列为非平稳序列，并且根据该序列的自相关系数图和偏自相关系数图进一步检验了序列的平稳性，因此判断陕西省苹果产量为非平稳序列。对该序列进行一阶差分处理，一阶差分处理后的自相关和偏自相关系数见图4，可以看出一阶差分后序列平稳，且ADF检验结果表明，一阶差分后序列平稳，因此可对陕西省苹果产量序列构建ARIMA（p，d，q）模型。
　　根据一阶差分后的自相关系数和偏自相关系数的分布状态以及AIC准则对模型定阶，通过反复检验，最终将模型确定为ARIMA（1，1，0）。运用MATLAB软件对ARIMA（1，1，0）进行建模预测，图5-a为ARIMA模型对1978—2012苹果产量拟合结果，图5-b为该模型对2013—2017苹果产量预测结果。
　　2.2.3 基于LS-SVM模型的拟合与预测
　　本研究利用最小二乘支持向量机对2013—2017年陕西省苹果产量进行预测，借助MATLAB软件的LS-SVM工具箱进行辅助建模（工具箱下载地址为：https：//www.esat.kuleuven.be/sista/lssvmlab/）。选用径向基核函数 RBF代替高维空间向量的内积计算，回归函数设为function estimation，用十倍交叉验证方法来不断调整参数γ（正则参数，取决于对训练误差最小化和估计函数平滑的权衡）和σ（内核函数的参数），根据拟合值和预测效果，将参数γ确定为10，σ确定为5，使用函数simlssvm评估模型中新的点，最后得到基于苹果产量数据的预测模型和预测值。图6-a显示了LS-SVM模型对1978—2012年陕西省苹果产量的拟合效果，从图中可以看出，LS-SVM对产量的拟合趋势和真实值的变化趋势基本吻合，即该模型可以用来预测苹果产量，图6-b为采用该模型预测的2013—2017年苹果产量数值。
　　2.2.4 模型预测结果
　　BP神经网络、ARIMA、LS-SVM 模型对1978—2012年陕西省苹果产量数据拟合值的平均相对误差见表2，可以看出，BP神经网络对苹果产量的拟合效果优于ARIMA模型和LS-SVM模型。
　　3种模型对2013—2017年苹果产量的预测值以及相对预测误差见表3，可以看出，BP神经网络的相对误差最大值为5.26，最小值为1.64，且通过计算该模型相对误差的平均值为3.84;ARIMA模型的相对误差最大值为6.25，最小值为1.31，其相对误差的平均值为3.51;LS-SVM模型相对误差最大值为9.05，最小值为1.73，相对误差的平均值为5.02。
　　综上所述，3种单一预测模型存在预测误差波动范围比较大的问题，无法更准确地预测苹果产量，因此将各模型训练数据拟合值的平均相对误差值作为计算权重的基础，根据权重计算公式，确定各单一模型的权重，再利用2013—2017年各模型预测的苹果产量数值进行加权 其加权结果作为最终的集成预测值。
　　2.3 集成预测结果
　　由于单一的BP神经网络、ARIMA和LS-SVM预测模型对陕西省苹果产量2013—2017年的预测效果不佳，为提高预测精度，现将各单一预测模型的预测值进行集成。首先根据模型训练数据拟合值的相对误差计算出平均相对误差;然后根据公式（14），计算出单一模型的权重（表4）;最后根据2013—2017年各模型的预测值以及相对应的权重进行加权，将所求得的结果作为最终的集成预测值。
　　利用表4预测模型的权重进行加权计算，2013—2017年陕西省苹果产量的集成预测值以及集成预测值相对误差和平均相对误差见表5。从表5可看出，集成预测的平均相对误差为2.21%，小于各单一模型。
　　通过集成预测模型的预测值可以看出，集成后的效果更稳定，预测误差相比于单一各模型波动较小，平均相对误差在2.5%以内，预测效果较好，该集成预测方法避免了单一预测模型预测的局限性，提高了预测精度，可用于今后苹果产量的预测。
　　3 结论
　　本研究基于1978—2017年陜西省苹果产量数据，分别利用BP神经网络、ARIMA、LS-SVM预测模型对苹果产量进行预测。结果表明，BP神经网络预测值的平均相对误差较ARIMA和LS-SVM模型更小，但3种预测模型仍存在预测误差波动比较大的问题，无法更准确地预测苹果产量。为规避单一预测模型的缺陷，使得预测结果更加准确，本研究基于加权平均的思想，将3种模型的预测值依据权重的不同进行集成，实证分析表明，集成预测的结果更准确，预测性能更稳健，相对误差的波动性更小，且平均相对误差在2.5%以内，可有效地实现苹果产量的高精度预测。
　　参考文献：
　　[1]李艳花，薛江伟. 基于SWOT分析的陕西苹果国际竞争力提升策略[J]. 干旱区资源与环境，2008，22（9）：30-36.
　　[2]王卫东，李 净，张福存，等. 基于BP神经网络的太阳辐射预测——以兰州市为例[J]. 干旱区资源与环境，2014，28（2）：185-189.
　　[3]吴玉霞，温 欣. 基于ARIMA模型的短期股票价格预测[J]. 统计与决策，2016（23）：83-86.
　　[4]隗海林，包翠竹，李洪雪，等. 基于最小二乘支持向量机的怠速时间预测[J]. 吉林大学学报（工学版），2018，48（5）：1360-1365. 　　[5]翟 静，曹 俊. 基于时间序列ARIMA与BP神经网络的组合预测模型[J]. 统计与决策，2016（4）：29-32.
　　[6]潘和平，张承钊. FEPA-金融时间序列自适应组合预测模型[J]. 中国管理科学，2018，26（6）：26-38.
　　[7]龙 勇，苏振宇，汪 於. 基于季节调整和BP神经网络的月度负荷预测[J]. 系统工程理论与实践，2018，38（4）：1052-1060.
　　[8]张 侃，刘宝平，黄 栋. 基于EGA算法的小样本非线性残差灰色Verhulst计量组合预测模型[J]. 系统工程理论与实践，2017，37（10）：2630-2639.
　　[9]金 淳，曹 迪，王 聪，等. 汽车零部件第三方物流仓储需求量集成预测模型[J]. 系统管理学报，2018，27（6）：1157-1165.
　　[10]蔡超敏，凌立文，牛 超，等. 国内猪肉市场价格的EMD-SVM集成预测模型[J]. 中国管理科学，2016，24（增刊1）：845-851.
　　[11]李 蕾，李 超，丁雪辰，等. 我国执业（助理）医师需求集成预测——基于GM、ARIMA和VAR模型的实证研究[J]. 管理評论，2018，30（3）：171-178.
　　[12]张莉曼，张向先，李中梅，等. 基于BP神经网络的智库微信公众平台信息传播力评价研究[J]. 情报理论与实践，2018，41（10）：93-99.
　　[13]周开利，康耀红. 神经网络模型及其MATLAB仿真程序设计[M]. 北京：清华大学出版社，2005.
　　[14]潘 静，张 颖，刘 璐. 基于ARIMA模型与GM（1，1）模型的居民消费价格指数预测对比分析[J]. 统计与决策，2017（20）：110-112.
　　[15]陈 荣，梁昌勇，陆文星，等. 面向旅游突发事件的客流量混合预测方法研究[J]. 中国管理科学，2017，25（5）：167-174.
　　[16]Vapnik V N. The nature of statistical learning theory[M]. New York：Springer，2000：133-155.
　　[17]Suykens J，Vandewalle J. Least squares support vector machine classifiers[J]. Neural Processing Letters，1999，9（3）：293-300.
　　[18]张 慧，卢文冰，赵雄文，等. 基于最小二乘支持向量机和小波神经网络的电力线通信信道噪声建模研究[J]. 电工技术学报，2018，33（16）：3879-3888.
　　[19]Suykens J K，Brabanter J D，Lukas L，et al. Weighted least squares support vector machines：robustness and sparse approximation[J]. Neurocomputing，2002，48（1/2/3/4）：85-105.
转载注明来源:https://www.xzbu.com/1/view-15165079.htm