基于长短期记忆神经网络模型的空气质量预测

来源:用户上传      作者:

　　摘 要：隨着城市化和工业化的快速发展，空气污染问题日益突出，空气质量预测显得尤为重要。当前一些有代表性的研究对空气质量进行实时监测和预报，例如周广强等采用数值预报的方法对中国东部地区的空气质量进行分析，但其实验结果表明该方法难以预测非常重的污染;SANKAR等使用多元线性回归对空气质量进行预测，但其实验结果表明线性模型预测精度低、效率慢;PREZ等使用统计方法对空气质量进行预测，实验结果证明统计方法的预测精度比较低;WANG等采用改进的BP神经网络建立了空气质量指数的预测模型，其实验验证了BP神经网络收敛速度慢、容易陷入局部最优解的问题;YANG等利用相邻网格的空气质量浓度效应，建立了基于随机森林的PM2.5浓度预测模型，通过实验过程证明网格划分程序削弱了后续空气质量分析的质量和效率。这些方法都难以从时间角度建模，其中预测精度低是比较重要的问题。因为预测精度低可能会导致空气质量预测结果出现较大的误差。
　　针对空气质量研究中预测精度低的问题，提出了基于长短期记忆单元（long short-term memory，LSTM）的神经网络模型。该模型使用MAPE，RMSE，R，IA和MAE等指标来检测LSTM神经网络与对比模型的预测性能。由于Delhi和Houston是空气污染程度比较严重的城市，所以使用的实验数据集来自Delhi的Punjabi Bagh监测站2014—2016年的空气质量数据和Houston的Harris County监测站2010—2016年的空气质量数据。
　　LSTM神经网络与多元线性回归和回归模型（SVR）的比较结果表明，LSTM神经网络适应多个变量或多输入的时间序列预测问题，LSTM神经网络具有预测精度高、速度快和较强的鲁棒性等优点。
　　关键词：计算机神经网络;空气质量;长短期记忆单元;深度学习;多元线性回归;回归模型
　　中图分类号：TP389;O175.8   文献标识码：A   doi：10.7535/hbkd.2020yx01008
　　Abstract：With the rapid development of urbanization and industrialization， the problem of air pollution has become increas-ingly prominent， and air quality prediction is particularly important. Some representative studies currently monitor and forecast air quality in real time. For example， ZHOU Guangqiang et al. Used numerical prediction to analyze air quality in eastern China. However， experimental results show that this method is difficult to predict and is very important. SANKAR et al. Used multiple linear regression to predict air quality， but the experimental results showed that the linear model had low prediction accuracy and slow efficiency;PREZ et al. Used statistical methods to predict air quality， and the experimental results proved the prediction accuracy of the statistical method relatively low; WANG et al. Used an improved BP neural network to establish a prediction model for the air quality index， and their experiments verified that the BP neural network has a slow convergence rate and is prone to fall into the local optimal solution problem; YANG et al. Air quality concentration effect， a PM2.5 concentration prediction model based on random forests was established， and the empirical process proved that the meshing program weakened the quality and efficiency of subsequent air quality analysis; these methods are difficult to model from a time perspective， and the prediction accuracy is low is a more important issue. Because low prediction accuracy may lead to large errors in air quality prediction results.
　　
　　In this paper， a neural network model based on long -term memory （LSTM） is proposed to solve the problem of low prediction accuracy in air quality research.MAPE， RMSE， R， IA and MAE were used to test the predictive performance of LSTM neural network and the comparison model.Since Delhi and Houston are cities with high levels of air pollution， the experimental data sets used in this paper were from the air quality data of Punjabi Bagh monitoring station in Delhi from 2014 to 2016 and the air quality data of Harris County monitoring station in Houston from 2010 to 2016. 　　By comparing LSTM neural network with multiple linear regression and regression model （SVR）， the experimental results show that LSTM neural network is suitable for time series prediction with multiple variables or multiple inputs LSTM neural network has the advantages of high prediction accuracy， high speed and strong robustness.
　　Keywords：computer neural retwork; air quality; long short-term memory; deep learning; multiple linear regression （MLR）; regression model （SVR）
　　 空气污染是一个严重的环境问题，在全球范围内引起越来越多的关注。当前，研究热点集中在空气质量预测上，通常使用以下2种方法：确定性方法和统计方法[1]。确定性方法采用理论气象排放和化学模型，以模型，驱动的方式，利用有限数量的监测站的动态数据，模拟污染物的排放、迁移和扩散，以及清除的过程。统计方法只是简单地使用统计建模技术，以数据驱动的方式预测空气质量。如CHEN等[2]使用CMAQ模型模拟PM2.5的形成;ZHOU等[3]采用数值预报的方法对中国东部地区的空气质量进行分析，实验结果表明该方法难以预测非常嚴重的污染。由于污染物排放数据不可靠，理论基础不完整，确定性方法和统计方法模拟结果的预测精度较低，而且这些方法都没有考虑到时间缺失的问题。
　　 针对当前空气质量预测研究中的预测精度低、效率低、缺失时间因素等问题，提出了一种简单的空气质量预测方法——LSTM神经网络模型。LSTM神经网络可以高效地更新实验中的参数，可以允许多变量输入，考虑了站点间的高空间相关性。该模型是基于深度学习的一种方法，可以应用到其他不同任务中，例如情感分类[4]、语音建模[5]、文本分类[6]、对话生成、编码＼解码、图像识别[7]、问答系统[8]等。
　　1 相关工作
　　将与研究工作密切相关领域中流行的当代技术大致分为以下2类，以便进行时间预测。
　　1.1 基于特征的技术
　　空气质量预测常用的方法有灰色系统、多元线性回归（MLR）模型、隐马尔可夫模型（HMMs）和自回归移动平均（ARMA）模型等，这些空气质量预测的方法都是基于特征的技术。如：BEZUGLOV等[9]基于灰色系统理论模型对短期高速公路交通参数进行预测，灰色系统理论模型具有结构简单、对数据要求低的特点。由于这些方法无法对非线性模式进行建模，通常只能获得有限的精度，因此无法预测极端的空气污染物浓度。WANG等[10]采用改进的BP神经网络建立了空气质量指数的预测模型，实验结果证明神经网络具有较高的准确性。GANESH等[11]建立一个基于Mamdani模糊推理系统的非线性回归模型，基于相关性、一致性指数、平均绝对百分误差、平均绝对误差和均方根误差等各种指标检验了模型的性能。在文献[12]中，作者比较了各种神经网络模型，如极值学习机、小波神经网络、模糊神经网络等，用于预测短期持续时间的CTPM2.5浓度，实验结果证明了小波神经网络在较高的精度和自学习能力方面的有效性。GANESH等[13]提出了基于回归模型空气质量的预测，在Delhi和Houston的数据上对支持向量回归（SVR）方法与多元线性回归模型作了比较，实验结果表明SVR的预测精度高于多元线性回归模型。这些方法往往单独预测各站点的空气质量，忽略了站点间的高空间相关性。
　　与以上方法相比，本文所使用的LSTM神经网络模型可以对非线性的时间序列进行预测，并考虑数据间的长期时间依赖关系。
　　1.2 基于深度学习的技术
　　近年来，一种潜在的机器学习新方法——深度学习（deep learning）引起了学术界和工业界的广泛关注。YU等[14]提出了深度神经网络（DNN）模型来预测工业空气污染，对该模型与支持向量机和人工神经网络方法进行了比较，其实验结果证明DNN模型具有较高的预测精度。LI等[15]提出了一种基于地理相关性的智能深度学习模型（Geoi-DBN），用于PM2.5的预测，对该模型与BPNN和GRNN模型作了对比，其实验结果表明深度学习模型可以更好地估计PM2.5。LI等[16]利用基于深度学习的架构来预测高速公路的PM2.5浓度，并设计了一种新算法来处理中国香港等城市数据中缺失的值，遵循空气污染评估的深度学习范式，预测整个城市的空气质量，从而减少由于安装先进的空气质量监测器而可能产生的成本。文献[17]提出了一种长短期记忆（LSTM）网络，利用物联网智能城市数据来预测空气质量值，其实验结果表明，将基于LSTM的预测模型应用于物联网数据是有效的。QI等[18]采用了一种强调利用未标记时空数据中的信息来提高插值和预测性能的深度学习框架（DAL），其实验表明DAL在解决插值预测和空气质量特征分析方面优于最新文献中的同类模型。深度学习算法采用多层体系结构，从底层到顶层逐层提取数据的固有特征，能够识别数据中具有代表性的结构，可以在不需要先验知识的情况下提取出具有代表性的空气质量特征，对空气质量预测具有良好的性能。
　　本文基于LSTM模型对空气质量进行预测，该模型是一种基于深度学习的技术。
　　2 空气质量预测模型
　　2.1 循环神经网络（RNN， recurrent neural networks） 　　RNN是一种非常强大的算法，可以对数据进行分类、聚类和预测，特别是时间序列和文本。RNN可以看作是一个在体系结构中添加了循环的MLP网络。在图1中，可以看到有一个输入层（包含x1，x2等节点）、一个隐藏层（包含h1，h2等节点）和一个输出层（包含y1，y2等节点），这类似于MLP体系结构。不同之处在于隐藏层的节点是相互连接的，在普通RNN中，节点按一个方向连接，这意味着h2依赖于h1，h3依赖于h2。隐藏层中的节点由隐藏层中的前一个节点决定[19]。
　　RNN公式可表示为ht=σ（wxhxt+whhht-1+bh），（1）式中：wxh是输入到隐层的矩阵参数;whh是隐层到隐层的矩阵参数; bh为隐层的偏置向量（bias）参数;σ可以为Sigmoid，tanh或者ReLU函数。
　　2.2 長短期记忆网络（LSTM，long short-term memory）
　　RNN神经网络在处理长时间序列时容易产生爆炸梯度[20]问题，其正确性往往较差。为了解决这一问题，LSTM首先被HOCHREITER等[21]引入，并成为一种成功的架构。LSTM神经网络是RNN神经网络结构的一种变体，其主要思想是引入一种自适应门控机制，其决定了LSTM单元保持先前状态的程度，并记住当前数据输入的提取特征。
　　
　　3 实验数据与度量标准
　　3.1 数据的获取
　　实验数据分别选取了Delhi的Punjabi Bagh监测站自2014—2016年的空气质量数据和Houston的Harris County监测站自2010—2016年的空气质量数据。数据分别来源于印度中央污染控制委员会（CPCB）[25]（数据集链接：https：//www3.epa.gov/airquality/cleanair.html）和美利坚合众国环境保护局（EPA）[26]（数据集链接：http：//cpcb.nic.in/）。其中Delhi的空气污染物包括NO2，CO，O3和PM10;Houston的空气污染物包括NO2，CO，O3，PM10和SO2。印度和美国的空气质量（AQI）的规定标准[11]分别列于表2和表3;表4和表5分别给出Delhi和Houston的5条空气质量数据样本。
　　
　　3.2 空气质量数据的相关系数
　　本实验使用统计学中的皮尔森相关系数（pearson correlation coefficient，又称作PCCs或PPMCC，用R表示），分别在Houston和Delhi数据集上对AQI与各参数进行相关性分析，相关系数的绝对值越大，则表明X与Y相关度越高，如表6和表7所示。
　　
　　为评价各回归模型的性能，选取了平均绝对误差（MAE）、平均绝对百分误差（MAPE）、相关系数（R）、均方根误差（RMSE）和一致性（IA）等统计指标，各指标皆由式（7）-式（12）给出。
　　1）MSE（mean squared error，均方误差）
　　均方误差是指参数的估计值与参数的真实值之差的平方的期望。MSE可以评价数据的变化程度，MSE越小，说明模型的拟合实验数据能力越强。SMSE=1n∑nk=1（tk-yk）2 。（7）  2） RMSE（root mean square error，均方根误差）
　　 均方根误差是用来衡量观测值与真值之间的偏差。SRMSE=1n∑nk=1（tk-yk）2 。（8）  3） MAE（mean absolute error，平均绝对误差）
　　 平均绝对误差能更好地反映预测值误差的实际情况。SMAE=1n∑nk=1|tk-yk| 。（9）  4） MAPE（mean absolute percentage error，平均绝对百分比误差）
　　 平均绝对百分比误差常用来衡量历史误差。SMAPE=1n∑nk=1（tk-yk）yk×100% 。（10）  5） 相关系数（R）
　　相关系数用来衡量2个变量之间线性相关关系。R=∑nk=1（tk-）（yk-）∑nk=1（tk-）2∑nk=1（yk-）2 。（11）  6） IA（index of agreement，协议）SIA=1-∑nk=1（tk-yk）2∑nk=1（|tk-|+|yk-|）2 。（12）  其中n为数据点个数，yk为预测值，tk为观测值，为观测数据的平均值，为测试数据的平均值。SMAE，SMAPE，SRMSE的最小值和R，IA的最大值代表最佳模型。
　　4 实验和结果
　　4.1 实验设计
　　基于LSTM神经网络对数据进行划分：2014—2016年选出Delhi空气质量以460条数据为训练样本，对49条数据样本进行500轮;2010—2016年选出Houston以1 500条数据为训练样本，对500条数据样本进行500轮。其中实验设置隐藏层数为2层，当LSTM算法在Delhi和Houston数据集上分别选择学习率lr=0.000 9，lr=0.000 6时，效果最佳，该实验使用的Adam优化算法。
　　Delhi和Houston的空气质量预测的测试结果分别如图3和图4所示。
　　4.2 不同预测模型的性能对比
　　为了分析LSTM在空气质量预测的准确性，在本节实验中，将在Delhi和Houston的数据上使用LSTM算法和现有的一些方法进行对比，对比模型包括MLR（BGD），MLR（SGD），MLR（MBGD）和回归模型（SVR）。
　　本实验使用SMAPE，SRMSE，R，IA和SMAE作为模型对比的度量标准，表8和表9给出了Delhi和Houston两市所有模型的调查绩效指标。从2个表中可以看出LSTM模型的SMAPE，SRMSE和SMAE的值远远低于对比模型的SMAPE，SRMSE和SMAE的值，表8中MAPE降低了1.07%，RMSE减少了1.43，MAE减少了1.45;表9中MAE减少了4.26，MAPE降低了3.97%，RMSE减少了4.5;实验结果证明该方法是有效的。 　　5 结 语
　　为了解决当前空气质量预测研究中的预测精度低、效率低和缺失时间因素等问题，提出了一种简单的空气质量预测方法——LSTM神经网络模型;根据时间序列的特征，可以很好地解决多个输入时间变量的问题。分别利用2个城市的数据集证明使用LSTM神经网络模型可以有效提高空气质量预测的精度。该模式还可以用于其他多变量输入时间序列的预测问题。
　　基于LSTM模型的空气质量预测，虽然达到了预期目标，但是在同时考虑空间相关性和时间维度方面仍有待改进的空间，如应用LSTM神经元同时记忆过去与未来的信息。今后还要围绕空气质量预测任务对该方法进行完善，进一步得出某个时间段空间相关性和时间维度对空气质量的影响。
　　参考文献/References：
　　[1] PREZ V A，ARASA R，CODINA B，et al.Enhancing air quality forecasts over catalonia（spain）using model output statics[J]. Journal of Geoscience and Environment Protection，2015，3（8）：9-22.
　　[2] CHEN Jianjun， LU Jin， AVISE J C， et al.Seasonal modeling of PM2.5 in california′s san joaquin valley[J]. Atmospheric Environment，2014，92：182-190.
　　[3] ZHOU Guangqiang，XU Jianming，XIE Ying，et al.Numerical air quality forecasting over eastern china： an operational application of wrf-chem[J].Atmospheric Environment，2017，153：94-108.
　　[4] WANG Yequan，HUANG Minlie，ZHU Xiaoyan，et al.Attention-based lstm for aspect-level sentiment classification[C]//Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing.Austin：Association for Computational Linguistics，2016：606-615.
　　[5] GREFF K， SRIVASTAVA R K， KOUTNIK J， et al. LSTM： A search space odyssey[J]. IEEE Transactions on Neural Networks & Learning Systems， 2016， 28（10）： 2222-2232.
　　[6] 高成亮，徐華，高凯.结合词性信息的基于注意力机制的双向LSTM的中文文本分类[J].河北科技大学学报，2018，39（5）：448-454.
　　GAO Chengliang，XU Hua，GAO Kai.Attention-based bilstm network with part-of-speech features for Chinese text classification[J].Journal of Hebei University of Science and Technology，2018，39（5）：448-454.
　　[7] 陈宏彩，程煜，张常有.基于卷积神经网络的轿车车型精细识别方法[J].河北科技大学学报，2017，38（6）：564-569.
　　CHEN Hongcai，CHEN Yu，ZHANG Changyou.Fine-grained vehicle type recognition based on deep convolution neural networks[J].Journal of Hebei University of Science and Technology，2017，38（6）：564-569.
　　[8] TAY Y，TUAN L A， HUI S C. Cross temporal recurrent networks for ranking question answer pairs[C]//The Thirty-Second AAAI Conference on Artificial Intelligence.[S.l.]：[s.n.]，2018：5512-5519.
　　[9] BEZUGLOV A，COMERT G.Short-term freeway traffic parameter prediction： Application of grey system theory models[J].Expert Systems with Applications， 2016，62：284-292.
　　[10] WANG Z H，TIAN Z H. Prediction of air quality index based on improved neural network[C]//2017 International Conference on Computer Systems，Electronics and Control（ICCSEC）.Dalian：IEEE，2017：200-204.
　　[11] GANESH S S，REDDY N B，PACHIYAPPAN A.Forecasting air quality index based on mamdani fuzzy system[C]//International Conference on Trends in Electronics and Informatics（ICOEI） .Tirunelveli：IEEE，2017：338-341. 　　[12] ZHANG Shan， LI Xiaoli， LI Yang， et al. Prediction of urban PM2.5 concentration based on wavelet neural network[C]//In 2018 Chinese Control And Decision Conference （CCDC）.Shenyang：IEEE， 2018：5514-5519.
　　[13] GANESH S S， MODALLI S H， PALREDDY S R， et al. Forecasting air quality index using regression models： A case study on Delhi and Houston[C]// 2017 International Conference on Trends in Electronics and Informatics（ICEI） .Tirunelveli：IEEE，2017： 248-254.
　　[14] YU Pengfei， LIU Xiaoming， ZHANG Kai，et al. Industrial air pollution prediction using deep neural network[C]// In International Conference on Bio-Inspired Computing： Theories and Applications. Singapore ：Springer， 2018： 173-185.
　　[15] LI Tongwen， SHEN Huanfeng，YUAN Qiangqiang，et al. Estimating ground-level PM2.5 by fusing satellite and station observations： A geo-intelligent deep learning approach[J]. Geophysical Research Letters， 2017，44（23）：11985-11993.
　　[16] LI V O K， LAM J C K， CHEN Y， et al. Deep learning model to estimate air pollution using M-BP to fill in missing proxy urban data[C]// In GLOBECOM 2017-2017 IEEE Global Communications Conference.Singapore：IEEE， 2017：1-6.
　　[17] KK ，ZDEMR S， EK M. A deep learning model for air quality prediction in smart cities[C]// 2017 IEEE International Conference on Big Data.Boston：IEEE， 2017： 1983-1990.
　　[18] QI Zhongang， WANG Tianchun ，SONG Guojie， et al. Deep air learning： Interpolation， prediction， and feature analysis of fine-grained air quality[J]. IEEE Transactions on Knowledge and Data Engineering， 2018，30（12）：2285-2297.
　　[19] SILIBELLO C， D'ALLURA A， FINARDI S，et al.Application of bias adjustment techniques to improve air quality forecasts[J].Atmospheric Pollution Research， 2015，6（6）： 928-938.
　　[20] BENGIO Y， SIMARD P， FRASCONI P. Learning long-term dependencies with gradient descent is difficult[J]. IEEE Transactions on Neural Networks，1994，5（2）：157-166.
　　[21] HOCHREITER S， SCHMIDHUBER J. Long short-term memory[J]. Neural Computation， 1997， 9（8）： 1735-1780.
　　[22] ZHAO J L，QU H，ZHAO J H，et al. Towards traffic matrix prediction with lstm recurrent neural networks[J]. Electronics Letters，2018，54（9）：566-568.
　　[23] ZHANG Q，WANG H，DONG J Y，et al. Prediction of sea surface temperature using long short-term memory[J]. IEEE Geoscience and Remote Sensing Letters，2017，14（10）：1745-1749.
　　[24] ZHOU Peng，SHI Wei，TIAN Jun，et al.Attention-based bidirectional long short-term memory networks for relation classification[C]//Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics.Berlin：Association for Computational Linguistics，2016：207-212.
　　[25] EPA.United States Enviromental Protection Agency[EB/OL].https：//www3.epa.gov/airquality/cleanair.html，2016-06-09.
　　[26] Central Pollution Control Board.Ministry of Environment，Forest and Climate Change Government of India[EB/OL]. http：//cpcb.nic.in/，2019-02-07.
转载注明来源:https://www.xzbu.com/1/view-15136440.htm