基于模块化深度卷积神经网络的烟雾识别

来源:用户上传      作者:

　　摘 要：为提高烟雾识别准确率，构建模块化深度卷积神经网络，进行烟雾图像特征提取和识别。模块化结构使网络架构简单而灵活，首先利用常见的深度卷积运算设计基本模块网络结构，然后仅将模块网络与全连接层依次连接，即可构建深度卷积神经网络，使对烟雾图像的表达更加具体。利用数据增强技术扩充烟雾图像训练数据，从而缓解烟雾识别中常见的过拟合问题。实验结果表明，该方法在两个测试集上分别达到了96.56%和98.82%的检测率，验证了该方法的有效性。
　　关键词：烟雾识别;模块网络;卷积神经网络;数据增强
　　DOI：10. 11907/rjdk. 192553                                                                  開放科学（资源服务）标识码（OSID）：
　　中图分类号：TP301   文献标识码：A                 文章编号：1672-7800（2020）003-0083-04
　　Smoke Recognition Based on Modular Deep Convolutional Neural Network
　　CHENG Guang-tao1，GONG Jia-chang2， LI Jian1
　　（1. Research and Development Center， National Center for Fire Engineering Techonology， Tianjin 300381， China;2. Department of Audio-Visual Information Forensic Technology， Criminal Investigation Police University of China， Shenyang 110854， China）
　　Abstract： In order to improve the accuracy of smoke recognition， a modular deep convolutional neural network is proposed for simultaneous features extraction and recognition of the smoke image. The modular structure makes the deep network simpler and more flexible. Firstly， the basic module network structure is designed by using the common deep convolution operation， and then the deep convolutional neual network can be constructed only by connecting the modular networks with the full connection layers in turn to enhence the more abstract and concrete expression of the smoke image. The data augumentation technology is used to expand the training smoke images， so as to alleviate the common over-fitting phenomenon in smoke recognition. The experimental results show that 96.56% and 98.82% of the detection rates are respectively achieved in the two testing data sets， which proves the effectiveness of the method.
　　Key Words： smoke recognition;modular network;convolutional neural network;data augumentation
　　0 引言
　　随着我国安全城市、安全社区、智慧消防等全新理念的提出，各种视频监控系统在大中城市得到了大规模应用，利用视频图像分析技术解决烟雾检测问题受到多位学者关注[1- 2]。现有算法大多采用图像特征提取与分类器的流程框架，不但可克服传统烟雾检测设备的不足，而且适用性广、检测速度快、抗干扰能力强。
　　Chen等[3]通过分析烟雾色彩在RGB模型3个通道上的灰度值识别烟雾区域;Fujiwara等[4]采用分形理论提取烟雾自相似性分形特征，在图像中搜索烟雾目标;Yuan等[5]利用高阶局部二值化模式进行烟雾检测;Dubey等[6]为提取烟雾图像每个通道的LBP（Local Binary Pattern）特征，提出了基于多通道LBP特征编码（Multichannel Decoded Local Binary Patterns，MCLBP）的烟雾识别方法;张洁等[7]结合纹理特征和轮廓光流信息进行烟雾识别;姚太伟等[8]结合烟雾的模糊特征和运动特征，应用小波变换和稀疏光流进行烟雾识别;袁非牛等[9]提出一种基于Gabor滤波的层级结构，实现多尺度、多方向的多层纹理特征表达，提高烟雾识别的综合效果;Tian等[10]通过图像分离方法提出一种基于融合图像的烟雾检测方法，计算了烟雾和背景的融合图像，采用优化方法求解烟雾不透明度;Yuan等[11]采用规则划分检测窗口的方式，消除AdaBoost算法学习产生的形状依赖性，从而提出一种鲁棒的视频烟雾特征。然而，烟雾图像颜色、纹理、形状特征随着光照条件等因素变化而表现得异常不稳定，现有算法仍然面临着高漏报率和高误报率的困扰。 　　深度卷积神经网络在医学图像分析、行人识别、情感分析等方面有着优异表现[12-17]。借助卷积神经网络在图像特征表达上的优势，本文设计模块化深度卷积神经网络（Modular Deep Convolutional Neural Network，MDCNN）用于烟雾图像识别。它可以根据图像数据自动提取可靠特征，并与图像分类操作统一在一个框架中。模块化设计使网格构建更加灵活，通过减少超参数，改进网络训练效率。同时本文进一步利用数据增强技术缓解模型过拟合问题，提高训练模型泛化能力。
　　1 MDCNN架构
　　本部分从3个方面阐述烟雾识别模块化深度卷积神经网络结构：模块网络设计、基于模块网络的深度卷积神经网络构造、网络训练。
　　1.1 模块网络
　　将深度卷积神经网络模块化，使网络结构更加灵活，减少网络训练超参数数量，从而提高训练效率。本文设计的模块网络Module-[c]如图1所示，包含卷积层、批规范化层（Batch Normalization，BN）、ReLu（Rectified Linear Units）激活函数层和池化层。
　　（1）卷积层是卷积神经网络的核心构造，图像识别任务中的卷积通常是二维卷积，即离散二维滤波器（卷积核）与二维图像作卷积操作，使用二维滤波器在二维图像上所有像素点进行滑动，与该像素点及其邻域像素点作内积。在深度卷积神经网络中，通过卷积操作可提取图像边缘与纹理等低级特征到复杂的抽象特征中。模块网络采用的卷积核大小为[3×3×c]，滑动步长为1，空间填充参数为1，保持特征图经过卷积操作后分辨率不变，其中[c]为特征图通道数目。上述卷积操作在图1中使用Conv（3， 1， 1，[c]）标记。堆积[3×3]卷积核在增加特征表示能力的同时可降低参数数量。
　　（2）批量随机梯度下降法（Mini-Batch Gradient Descent，MBGD）被广泛应用于深度卷积神经网络训练。在训练过程中，随着网络深度加深，深度卷积神经网络中神经元产生的数据逐渐发生偏移或变动，导致数据漂移，从而降低学习效率[18]。为了解决该问题，批规范化（Batch Normalization，BN）被提出用以规范化神经元产生的数据，实现均值为0、标准差为1的标准正态分布，从而避免梯度消失问题、提高训练效率。目前，BN已经成为深度卷积神经网络中的基本构件。
　　（3）在神经网络中经常使用Sigmoid非线性激活函数[S（x）=11+e-x]和双曲正切非线性激活函数[tanh（x）=ex-e-xex+e-x]提高特征表达能力。在深度卷积神经网络中，需使用梯度下降法迭代更新网络中的学习参数，然而上述非线性激活函数容易产生梯度消失问题，进而导致网络参数更新缓慢或更新失效。为了解决该问题，ReLu激活函数[R（x）=max（0，x）]被广泛应用于深度卷积神经网络，作为非线性激活函数，它可以避免梯度消失问题，使训练模型更快收敛。
　　（4）经过卷积层提取的特征维数非常高，易造成过拟合问题且消耗计算资源。为解决该问题，池化层一般被连接在卷积层后以降低卷积特征图分辨率。常见的池化方法有最大池化与平均池化，它们分别在池化区域内取最大值和平均值。由于最大池化方法抗干扰与抗图像平移性能较强，因此选择最大池化方法，池化区域大小为[2×2]，滑动步长为2，这样池化层将特征图分辨率降低为原来的[14]。图1使用MaxPooling标记上述最大池化操作。
　　1.2 模块化深度卷积网络
　　如表1所示，构造的深度卷积神经网络包含3个模块网络，3个全连接层（Full connected layer，FC），网络输入是[48×48×3]的RGB图像，对图像进行的唯一预处理是减均值操作，其中均值由所有训练图像计算而得。顺次连接3个模块网络，其中卷积操作Conv（3， 1， 1，[c]）的特征图通道数目[c]分别为64、128、128;然后连接3个全连接层，前两个全连接层通道数为128，最后一个全连接层通道数为类别数2，因为烟雾数据样本产生过拟合频次较低，前两个全连接层后分别采用参数为0.5的Dropout操作[19]，以降低过拟合风险;最后使用Softmax函数将网络输出归一化为概率值，如式（1）所示。
　　1.3 网络训练
　　采用交叉熵损失函数计算训练深度卷积神经网络目标函数。
　　其中[n]表示训练样本个数，[y（i）]表示第[i]个样本的标签，[p（i）]表示第[i]个样本的预测结果。
　　使用批量梯度下降算法优化上述目标函数，训练深度卷积神经网络参数变量，批量大小設置为96，动量参数为0.9。训练过程利用权重下降进行正则化，其中[L2]惩罚乘子设置为[10-5]，学习率设置为[10-2]，整个训练过程循环遍历训练数据集300次，每经过100次时将学习率除以10进行更新，学习率共被除以2次。网络权重初始化采用Kaiming初始化方法[20]。
　　2 数据增强
　　深度卷积神经网络一般包含几百万个待学习的参数，达到高识别率需提供大量训练图像。进行烟雾图像识别时存在的一个问题是烟雾图像训练数据不充分，训练深度神经网络模型时易产生过拟合，泛化能力差，即训练的模型只对少量训练数据产生较好效果，而对验证集和测试集效果较差。数据增强技术是缓解过拟合的常用方法，它基于现有少量训练数据集通过几何变换等操作达到扩充训练图像数据集的目的。本文数据增强方法包括水平翻转、垂直翻转和尺度变化，通过数据增强技术产生的示例如图2所示。
　　3 实验结果与分析
　　本文使用Pytorch深度学习框架构建和训练模块化深度卷积神经网络。实验在Windows10操作系统中运行，PC机配置主频为3.40GHz的i7-3700 CPU处理器，16GRAM和Nvidia GTX 1080Ti GPU显卡。 　　3.1 數据集
　　表2显示了江西财经大学袁非牛教授[9]研究组公开的4个数据集，分别为Set1、Set2、Set3和Set4。Set1 包含1 383张图像，其中552张烟雾图像和831张非烟雾图像;Set2包含1 505张图像，其中688张烟雾图像和817张非烟雾图像;Set3包含10 712张图像，其中2 201张烟雾图像和8 511张非烟雾图像;Set4包含10 617张图像，其中2 254张烟雾图像和8 363张非烟雾图像。实验使用Set3作为训练数据集，Set4作为验证数据集，Set1 和 Set2为测试数据集。
　　3.2 评估指标
　　使用检测率（Detection Rate，DR）、误报率（False Alarm Rate， FAR）和准确率（Accuracy Rate，AR）[3]作为烟雾识别方法的量化评价指标。
　　其中[Qp]和[Qn]分别是正、负样本数目，[Pp]表示正样本中被正确检测的数目，[Np]表示负样本中被错分为正样本的数目，[Nn]表示负样本中被正确检测的数目。算法目的是提高AR指标和DR指标，同时使FAR指标更低。
　　3.3 数据增强
　　采用水平翻转、垂直翻转和尺度变化3种数据增强技术，SetA表示在Set3基础上增强原有训练集中烟雾正样本，保持原有负样本不变。增强的训练数据集如表3所示，增强后训练数据中烟雾样本和非烟样本达到平衡状态。
　　3.4 实验结果
　　不同烟雾识别算法的实验结果如表4所示，表中加粗数字表示各指标下的最优值。
　　从3个方面讨论实验结果。
　　（1）少量数据训练过拟合问题。表4中MDCNN-Set3表示MDCNN算法以原有训练数据集Set进行训练，由于训练图像集烟雾图像数据不充分，导致过拟合问题，训练的模型泛化能力差，因此测试集Set1和Set2上的实验结果指标还有待提高。
　　（2）数据增强技术对性能的影响。表4中MDCNN-SetA显示了MDCNN算法在增强后的数据集SetA上进行训练的实验结果。在Set1测试数据集上，DR从94.38%提高到96.56%， AR从97.11%提高到97.90%，FAR从1.08%降低到0.48%;在Set2测试数据集上，DR从94.33%提高到98.82%，AR从97.01%提高到98.55%，FAR从0.73%降低到0.37%。从实验数据可以看到，通过数据增强技术对训练数据集进行扩充可缓解过拟合问题，增强训练模型泛化能力。
　　（3）为展示利用深度卷积神经网络进行烟雾识别的优势，将MDCNN方法与传统方法进行比较。传统烟雾检测方法包括特征提取和分类流程。利用纹理特征表示烟雾已被证明是有效的方式，然后利用分类器支持向量机（Support Vector Machine， SVM）进行识别验证。与基于纹理的烟雾检测方法MCLBP[6]进行结果比较，MDCNN-SetA方法在Set1和Set2测试集上的DR、AR和FAR指标均表现更佳。
　　4 结语
　　本文利用卷积层、批规范化层、非线性激活函数层和池化层构造模块网络，然后将若干模块网络与全连接层顺次连接构成深度卷积神经网络，进行烟雾图像特征提取和识别。针对烟雾识别问题中由于烟雾图像数据不足产生的过拟合现象，采取水平翻转、垂直翻转和尺度变化数据增强技术扩充训练数据集，进而提高训练模型泛化能力。实验结果表明，数据增强处理后，模块化深度卷积神经网络可提高检测率、降低误报率。下一步将着力研究烟雾图像全局特征，提高烟雾识别性能。
　　参考文献：
　　[1]史劲亭，袁非牛，夏雪. 视频烟雾检测研究进展[J]. 中国图像图形学报，2018，23（3）： 303-322.
　　[2]许峰，于春雨，徐放. 视频图像火灾探测技术研究趋势[J]. 消防科学与技术，2012，31（11）：1185-1188.
　　[3]CHEN Y H，YIN Y H，HUANG SF，et al. The somke detection for early fire-alarming system base on video processing[C]. Proceedings of 2006 International Conference on Intelligent Information Hiding and Multimedia， 2006： 427-430.
　　[4]FUJIWARA N，TERADA K. Extraction of a smoke region using fractal co-ding[C]. 2004 IEEE International Symposium on Communications and Information Technology， 2004： 659-662.
　　[5]YUAN F N，SHI J T，XIA X，et al. High-order local ternary patters with locality preserving projection for smoke detection and image classification[J]. Information Sciences，2016，372（12）：225-240.
　　[6]DUBEY S R，SINGH S K， SINGH R K. Multichannel decoded local binary patterns for content-based image retrieval[J]. IEEE Transactions on Image Processing，2016，25 （9）： 4018-4032. 　　[7]张洁，吴爱国，赵萌，等. 基于纹理特征和轮廓光流矢量的烟雾识别[J]. 传感器与微系统，2016，35（6）：17-20.
　　[8]姚太伟，王慧琴，胡燕. 基于小波变换和稀疏光流法的火灾烟雾检测[J]. 计算机工程， 2012，38（6）： 210-212.
　　[9]袁非牛，夏雪，李钢，等. 面向烟雾识别与纹理分类的Gabor网络[J]. 中国图象图形学报，2019，24（2）： 269-281.
　　[10]VERSTOCKT S，VAN H S，BEJI T，et al. A multi-modal video analysis approach for car park fire detection[J]. Fire Safety Journal， 2013， 57： 44-57.
　　[11]YUAN F N. A double mappling framework for extraction of shape invari-ant features based on multi-scale partitions with AdaBoost for video smoke de-tection[J]. Pattern Recognition，2012，45（12）： 4326-4336.
　　[12]KRIZHEVSKY A，SUTSKEVER I，HINTO G E. ImageNet classification-with deep convolutional neural networks[C]. International Conference on -Neural Information Processing Systems，2012：1097-1105.
　　[13]王娜，傅迎华，蒋念平. 基于监督的全卷积神经网络视网膜血管分割[J]. 軟件导刊， 2018， 17（8）：45-48.
　　[14]高唤，李秀娟. 基于深度学习的肺结节诊断识别研究[J]. 软件导刊， 2019，18（9）： 47-50.
　　[15]徐斌，黎宁，朱含杉，等. 无人机平台下的行人目标检测[J]. 计算机与数字工程， 2019， 47（8）： 1935-1940.
　　[16]顾江鹏，袁和金. 基于HOG与卷积神经网络的人脸识别研究[J]. 软件导刊，2019， 18（3）： 26-30.
　　[17]苏灵松， 应捷， 杨海马， 等. 双通道卷积记忆神经网络文本情感分析[J]. 软件导刊， 2019，18（7）： 32-36.
　　[18]IOFFE S，SZEGEDY C. Batch normalization： accelerating deep network t-raining by reducing internal covariate shift[DB/OL].https：//arxiv.org/p-df/1502.03167.pdf.
　　[19]SMIRNOV E A，TIMOSHENKO D M，ANDRIANOV S N. Comparison of regularization methods for ImageNet classification with deep convolutional neural networks[J]. Aasri Procedia，2014，6（1）： 89-94.
　　[20]HE K， ZHANG X， REN S， et al. Delving deep into rectifiers： surpassing human-level performance on imagenet classification[EB/OL].https：//arxiv.org/pdf/1502.01852.pdf.
　　（责任编辑：江 艳）
　　收稿日期：2019-11-15
　　基金项目：应急管理部天津消防研究所基金项目（2018SJ20）
　　作者简介：程广涛（1983-），男，博士，国家消防工程技术研究中心研发部工程师，研究方向为图像处理、模式识别、深度学习;巩家昌（1983-），男，博士，中国刑事警察学院声像资料检验技术系讲师，研究方向为图像处理、模式识别;李建（1992-），女，硕士，国家消防工程技术研究中心研发部工程师，研究方向为数据挖掘、图像处理。
转载注明来源:https://www.xzbu.com/8/view-15217387.htm