基于三维残差网络和虚拟样本的高光谱图像分类方法研究

来源:用户上传      作者:

　　摘  要： 利用高光谱数据所包含的丰富信息，可以实现对地物的精细准确分类和目标检测。目前，深度学习方法已应用于高光谱图像的分类，但是高光谱图像的维度高和样本少，仍然是对目标精确分类的瓶颈。残差网络通过从输入到输出添加跳跃连接，可以更方便地优化参数并提取更多功能信息。文中提出一种基于三維残差网络的分类方法，利用三维卷积核同时获取高光谱图像的空间和光谱信息。为了减少网络对参数初始化的依赖并在一定程度上提高模型的泛化能力，文中使用批量归一化方法来优化网络。同时，为了解决训练样本不足的问题，还提出引入虚拟样本以增加样本数量。通过在真实的高光谱图像上进行实验验证，证明所提方法在高光谱图像分类方面具有一定的应用前景。
　　关键词： 高光谱图像; 图像分类; 深度学习; 参数优化; 三维残差网络; 实验验证
　　中图分类号： TN911.73?34                          文献标识码： A                      文章编号： 1004?373X（2020）12?0145?06
　　Abstract： The accurate classification of ground objects and target detection can be realized by means of the rich information contained in the hyper?spectral data. The deep learning method has been applied to the classification of hyper?spectral images， but the high dimension and few samples of hyper?spectral images are still the bottleneck of accurate classification of objects. The residual networks can more easily optimize parameters and extract more functional information by adding the jump connections from input to output. A classification method based on 3D residual network is proposed to obtain spatial and spectral information of hyper?spectral images simultaneously by using 3D convolution kernel. The batch normalization method is used to optimize the network o reduce the dependence of the network on parameter initialization and improve the generalization ability of the model to some extent. The virtual samples are introduced to increase the number of samples， so as to improve the insufficient training samples. The experimental verification performed on the real hyper?spectral images show that the proposed method has a certain application prospect in the hyper?spectral image classification.
　　Keywords： hyper?spectral image; image classification; deep learning; parameter optimization; 3D residual network; experimental verification
　　0  引  言
　　20世纪80年代以来，随着多光谱遥感技术的不断发展进步，进一步带动了高光谱遥感技术的不断发展[1]。随着传感器技术的不断提高，能够获取到更高质量的遥感图像，对图像的研究带来了极大的帮助。高光谱图像因其高维特性，以及特有的光谱特征，再结合具有的空间特征，能够对各种不同地理类别进行精确的分析、定位，以及对精细特征提取进行分类[2?3]。利用高光谱图像（Hyperspectral Image，HSI）独特的优势，能够提高对于地物的精细分类能力。高光谱遥感已广泛应用于当前许多遥感图像处理的研究领域中[3]。目前对HSI的分类研究已成为遥感图像领域的热点问题。
　　高光谱图像是一个具有高维度的图像，含有丰富的光谱特征信息和空间特征信息，因此与普通图像有很大不同[3]。通过将反射目标辐射的光谱波段信息与反映目标二维空间的图像信息整合在一起，能够获得统一的地物信息[4]。HSI数据空间中的每个波段都可以作为一个二维空间图像，光谱空间中的每个像素都可以反射为连续的光谱响应曲线[5]。目前，对HSI分类的常用方法主要有支持向量机（Support Vector Machine，SVM）[6]、深度信念网络（Deep Belief Network，DBN）、卷积神经网络（Convolutional Neural Network，CNN）[5]。 　　高光谱图像输入数据采用三维立体的形式，具有空间维度和光谱维度[7?8]。现有的基于光谱和空间融合的方法用于对HSI分类还较少，多数采用独立的处理空间特征或者光谱特征，或者对图像进行降维后采用融合的光谱和空间特征[9]。因此，它们无法利用联合的空间光谱信息[9]。目前，二维和三维CNN在许多问题上都表现出了良好的性能。一些深度学习的2D模型能够根据图像的空间特征信息或者光谱波段特征单独进行分类，会破坏图像不同像素点之间具有的相关性，进而破坏了光谱特征信息。但是，对HSI中光谱特征信息的获取是很重要的[10]。
　　基于残差网络（Residual Network，ResNet）在图像处理方面展示出的优势以及HSI分类当前存在的一些问题，提出3D?ResNet用于HSI分类。三维卷积层作为网络的基本单元，批量归一化在每一个卷积层的后面，归一化加快网络的训练速度，采用批量归一化对网络进行数据处理，从而也增加了网络的泛化能力，使模型更加稳定[11]。图像样本大小及其不平衡的HSI中，通过向具有少量目标的训练样本添加虚拟样本，增加样本总数。通过所提出的改进方法，减小了样本数目不足对网络分类结果带来的影响，从而保证了网络的分类效果。
　　1  残差网络
　　1.1  深度学习
　　对遥感图像的分类研究是当前图像处理方面的热门探讨问题[12]，由于深度学习方法的不断发展变化，基于深度学习的HSI分类方法得到快速发展，已经有许多学者将深度学习的方法应用到HSI的分类研究中，而且已经证实其具有准确的特征提取能力和高效的处理性能[10]。深度学习的优势在图像处理的过程中，减少了手工提取特征的过程，能够自动地从原始数据中学习、提取特征。它只关注输入和输出的内容，不考虑中间步骤。在图1中将传统方法与深度学习方法进行简明的比较。
　　CNN是目前最受欢迎的监督深度学习方法[13?14]，它在各类图像分类、检测中表现出了极强的特征提取能力[15]。然而在深度学习领域，为了实现更好的网络效果，网络层数的不断加深，会导致网络运算的错误率不断上升，这种现象称为过拟合现象[8]。为了解决由于网络深化所导致的性能下降的问题，提出了残差网络，通过添加一个捷径或者跳跃连接，构成残差块，在训练更深网络的同时，保证良好的性能[15?16]。
　　1.2  残差网络
　　ResNet由何凯明等人提出，它的提出在ImageNet竞赛中获得了巨大成功，对图像分类、检测、定位等方面都有突出表現[16]。ResNet相对于目前用于图像分类方面的网络来说具有更容易优化的特点，而且将网络增加到相当程度的深度时，还能够继续提高准确率。它通过连接每个卷积层进行身份映射，在多个计算机视觉任务中展现出良好的结果[16?17]。
　　普通的卷积神经网络，由于网络层数的不断加深，在误差反向传播的过程中梯度会不断的衰减，导致信息的丢失，造成误差不断增大。然而ResNet通过增加的跳跃连接可以减少反向传播过程中的衰减，便于梯度传播，具有较强的鲁棒性和较深的体系结构[15]。ResNet的特殊之处在于它比普通网络在结构上多了一个跳跃连接，构成残差块单元，在图2中展示了残差块的基本结构单元，输入值为x，经过第一层线性化并激活后的输出为F（x），在经过第二层线性变化之后，在激活函数ReLu之前，添加了短连接Identity，此时获得输出为F（x）+x，再利用激活函数ReLu激活，最后得到此残差块的输出值。
　　2  基于三维残差网络的高光谱图像分类
　　本文提出的基于三维残差网络的分类方法能够提取HSI的光谱特征和空间特征联合信息，因为HSI在空间上和光谱波段上都具有一定的相关性和联合性，对于地物的分类识别有一定的作用。所提方法对于HSI的分类有明显的优势，对其分类研究带来一定影响。为了加快网络的训练速度，减少网络参数变化对分类结果的影响，在网络中采用了批量归一化的方法，进而也增加了网络的稳定性。为了能够获得更好的图像分类结果，分析图像中每一个类别的样本数目，根据不同样本数目依次对应加入虚拟样本进行实验。
　　2.1  三维卷积核
　　三维卷积是通过将一个三维核与多个相邻帧叠加而成的立方体进行卷积来实现的[18]。由于独特的构造特点，卷积核对每一个波段的图像分别进行卷积，提取各自的信息[19]。将图像输入到网络中，三维卷积核的运算公式如下：                              [vxyzij=Gnh=0Hi-1l=0Li-1d=0Di-1whldijnv（x+h）（y+l）（z+d）（i-1）n+bij] （1）
　　式中：i为当前操作所在的层;j表示特征图的数量;[vxyzij]表示在第i层第j个特征图（x，y，z）处的输出;b是偏差;G代表激活函数;n表示在i-1层上与当前特征图相连的特征图集;[whldijn]表示在位置（h，l，d）处连接到第n个特征图的权值;Hi，Li，Di是卷积核的高度、宽度和深度。
　　2.2  批量归一化
　　批量归一化（Batch Normalization，BN）是神经网络的标准化方法，它具有非常强大的作用和效果，可以加快训练过程并提高性能、解决梯度消失的问题等等[11，15]。在网络训练过程中，各层输入的数据分布随前一层的变化而变化，而BN的作用就是为了解决在网络训练过程中，中间层数据分布发生改变的情况[20]。归一化的公式为：
　　2.3  虚拟样本
　　在HSI图像中，不同种类的样本像素个数一般是不同数目的，这在分类中往往会造成误差，为了减小误差的影响，通过引入虚拟样本来平衡此问题。通过对成像过程的仿真，得到了虚拟样本。在训练像素数据[mi]中加入随机噪声n，乘以随机因子β，得到虚拟样本[sn]，公式为： 　　2.4  参数调节
　　不同的分类方法涉及不同的神经网络，在这个过程中不同的参数设置会对结果产生很大的影响。在训练神经网络时，需要调整的参数很多，选取一组最适合自己模型的参数很重要。根据当前文献中已知的关于参数的设置问题，调整网络中的参数值以获得最优参数，此过程一般需要对网络进行多次调参处理。参数的调节往往根据单一变量原则处理各类参数的设定值。通过调参的过程可以获取到网络的最优参数，从而保留最优参数，进行网络的训练预测。
　　2.5  网络结构
　　通过以上对网络的改进获得最优的网络模型，将高光谱图像按20%和80%的比例分为训练样本和测试样本两个数据集。将训练数据输入到三维残差网络中，迭代多次，获得稳定的分类模型。在训练过程中网络通过测试集不断地反映分类效果，及时调整网络的参数，并保存最优模型用于预测图像。最后将需要预测分类的图像样本输入到已经获得的稳定模型中。三维残差网络结构图如图4所示。
　　高光谱图像的处理过程简述如下：
　　1） 通过对已获得的HSI数据进行简单的了解，整理图像的基本信息，采取简单的处理;
　　2） 将高光谱数据按比例分为训练数据和测试数据两部分，将训练数据输入到三维残差网络中进行训练;
　　3） 将生成的虚拟样本数据和预先选择出来的训练样本数据合并为一个整体的训练数据集，再进行数据样本随机处理，打乱数据的预先排列，然后输入到三維残差网络中训练;
　　4） 训练过程中，通过获得的测试数据的分类结果，不断调整网络结构，可以确定一个最优的网络结构;
　　5） 在最优的网络结构上，再依据单一变量原则，对网络参数进行调整，得到适合网络设置的最优参数;
　　6） 通过以上步骤，经过多次的网络结构调整和参数设置调整，获得一个最优的三维残差网络分类方法;
　　7） 将训练数据输入到最终获得的分类网络中，迭代多次，保存权重文件对图像进行分类。
　　3  实验分析
　　3.1  数据介绍
　　目前获得的HYDICE数据具有0.75 m的空间和10 nm的光谱分辨率，该数据集包括148个光谱波段（435～2 326 nm），图像大小为316像素×216像素。图5a）为HYDICE数据，具有7类不同的土地覆盖类别：草地、树木、道路、阴影和三个不同大小的目标，7种不同类别的地物分别以不同的颜色表示。如图5b）所示，光谱空间中的每个像素被反射为连续光谱响应曲线，并且不同物质在高光谱图像中显示出不同的辐射强度，以及各自特有的光谱特征信息。
　　3.2  实验过程
　　HYDICE数据分类的实验中，随机选取20%的像素作为训练集，其余用来测试。将从图像中直接获取到的训练数据和与随机产生1倍的虚拟样本数据随机混合的新的训练样本分别输入到三维残差网络中进行训练测试。所有样本类别的数目如表1所示。由于高光谱图像不同波段的图像对应的能量不同，能量表现出来的越大，该维度图像所包含的有用的信息也就越多，通过F?范数来表示高光谱图像中每一维图像能量的大小，原始图像数据为316×216×148大小的三维立体块，根据此原则选取了包含能量信息较多的第56～90期间的35个波段，人为舍弃了信息量较少的其余波段，获得316×216×35的立方块。为了尽可能多地获取到空间和光谱信息，在空间上选取每个样本点周围a×a大小的空间区域，获得a×a×35的三维数据块作为每一个小的输入样本。对于a的取值，分别为7，9，11，13，…，27，29，31。在实验的过程中得到7×7大小的空间域设定结果最好。网络参数设定如表2所示。
　　3.3  实验结果对比
　　通过与支持向量机（SVM）、深度信念网络（DBN）、卷积神经网络（CNN）、二维残差网络（2D?ResNet）进行对比，进一步证明三维残差网络的分类优势。
　　1） SVM是Vapnik等人提出的经典机器学习方法。多用来解决存在的一些实际问题，如样本数目较少、维数较高、非线性和局部最小点。在本文中，SVM的核函数是径向基函数（RBF），SVM的伽马值设置为100，惩罚因子为0.03。
　　2） DBN作为典型的深度学习模型，已经被许多学者应用于高光谱图像的研究中。DBN的形成是多个受限玻尔兹曼机依次叠加的结果，然后在网络的后面加入一个logistic回归层，组成分类器。选取27×27大小的图像空间域作为DBN的输入，迭代训练100次。
　　3） CNN的网络训练结构的重要部分为卷积层和池化层，在卷积层中，具有空间信息的图像域与卷积核进行卷积，然后输入到池化层用于减小输出特征图的大小，在获得特征的同时也极大地减少了输入到网络后面层中的参数量。表3列出CNN网络参数的设置，在表中，C用来表示卷积层，P用来表示池化层，F用来表示全连接层。
　　4） 2D?ResNet 网络设置与CNN网路设置大致相同，不同之处在于多了一个跳跃连接，在网络训练过程中，减少了信息的损失，使卷积层提取到更全面的图像特征。网络参数的具体设置数值如表4所示。
　　3.4  实验结果图
　　不同的分类方法得到的分类结果图如图6所示。
　　通过以上获得的分类结果图，以及不同分类方法得出的精度值，证明相对于传统的分类方法，深度学习的方法在图像分类方面具有明显的优势。在众多深度学习的方法中进一步对比发现残差网络在网络达到一定深度的情况下展现出其独特的优势。在残差网络的基础上，又分别对图像的空间特征和空间光谱联合特征两种不同方法进行实验对比，利用图像的空间光谱联合特征能够获得更好的分类结果，得到更高的精度值。因此，证明所提出的基于三维残差网络和虚拟样本的方法要优于目前存在的其他深度学习的分类方法。 　　4  结  语
　　本文提出的基于三维残差网络在HSI分类方面进行了研究，取得了不错的成果，能够获得比较好的分类精度值，从而验证了此方法的有效性。通过比较不同的模型分类结果，展现出了三维残差网络的优势;通过采用批量归一化进而加快了训练速度，提高了网络的稳定性。引入虚拟样本的方法，减小了样本数目的不足对分类结果造成的影响。通过在三维残差网络分类方法上的进一步改进，说明所提出的方法具有一定的研究价值。根据残差网络当前存在的优势，以及在图像分类方面所展现出的良好性能，用于对高光谱图像的分类是非常值得研究的问题，后面的研究可以将残差网络与其他图像的处理方法相结合来探讨研究。
　　注：本文通讯作者为付民。
　　参考文献
　　[1] LI S T， SONG W W， FANG L Y， et al. Deep learning for hyperspectral image classification： an overview [J]. IEEE transactions on geoscience and remote sensing， 2019（99）： 1?20.
　　[2] HYCZA T， STERENCZAK K， BALAZY R. Potential use of hyperspectral data to classify forest tree species [J]. New Zealand journal of forestry science， 2018， 48： 13.
　　[3] QURESHI R， UZAIR M， KHURSHID K， et al. Hyperspectral document image processing： applications， challenges and future prospects [J]. Pattern recognition， 2019， 90： 12?22.
　　[4] GANG Y H， LUO F L， LIU J H， et al. Feature extraction based multi?structure manifold embedding for hyperspectral remote sensing image classification [J]. IEEE access， 2017， 5： 25069?25080.
　　[5] CHEN Y S， ZHU L， GHAMISI P， et al. Hyperspectral images classification with gabor filtering and convolutional neural network [J]. IEEE geoscience and remote sensing letters， 2017， 14（12）： 2355?2359.
　　[6] MADRONAL D， LAZCANO R， SALVADOR R， et al. SVM?based real?time hyperspectral image classifier on a manycore architecture [J]. Journal of systems architecture， 2017， 80： 30?40.
　　[7] PATRA S， BHARDWAJ K， BRUZZONE L. A spectral?spatial multicriteria active learning technique for hyperspectral image classification [J]. IEEE journal of selected topics in applied earth observations and remote sensing， 2017， 10（12）： 5213?5227.
　　[8] ZHAN Y， HU D， XING H H， et al. Hyperspectral band selection based on deep convolutional neural network and distance density [J]. IEEE geoscience and remote sensing letters， 2017， 14（12）： 2365?2369.
　　[9] 刘冰，余旭初，张鹏强，等.联合空?谱信息的高光谱影像深度三维卷积网络分类[J].测绘学报，2019，48（1）：53?63.
　　[10] JIANG J J， CHEN C， YU Y， et al. Spatial?aware collaborative representation for hyperspectral remote sensing image classification [J]. IEEE geoscience and remote sensing letters， 2017， 14（3）： 404?408.
　　[11] IOFFE S， SZEGEDY C. Batch normalization： accelerating deep network training by reducing internal covariate shift [J]. International conference on international conference on machine learning， 2015（8）： 161?167.
　　[12] HUANG F， ASH J， LANGFORD J， et al. Learning deep resnet blocks sequentially using boosting theory [J]. Computer science， 2017（14）： 201?210. 　　[13] 姜含露.基于卷积神经网的高光谱数据特征提取及分类技术研究[D].哈尔滨：哈尔滨工业大学，2016.
　　[14] WANG L Z， ZHANG J B， LIU P， et al. Spectral?spatial multi?feature?based deep learning for hyperspectral remote sensing image classification [J]. Soft computing， 2017， 21（1）： 213?221.
　　[15] ZHONG Z L， LI J， MA L F， et al. Deep residual networks for hyperspectral image classification [J]. IEEE international geoscience & remote sensing symposium， 2017（5）： 101?114.
　　[16] HE K M， ZHANG X Y， REN S Q， et al. Identity mappings in deep residual networks [J]. Lecture notes in computer science， 2016（7）： 630?645.
　　[17] 席志红，侯彩燕，袁昆鹏，等.基于深层残差网络的加速图像超分辨率重建[J].光学学报，2019（2）：89?98.
　　[18] HAMIDA A B， BENOIT A， LAMBERT P， et al. 3D deep learning approach for remote sensing image classification [J]. IEEE transactions on geoscience and remote sensing， 2018， 56（8）： 4420?4434.
　　[19] LIU X F， SUN Q Q， MENG Y， et al. Hyperspectral image classification based on parameter?optimized 3D?CNNs combined with transfer learning and virtual samples [J]. Remote sensing， 2018， 10（9）： 1425.
　　[20] ZHONG Z L， LI J， LUO Z M， et al. Spectral?spatial residual network for hyperspectral image classification： a 3?D deep learning framework [J]. IEEE transactions on geoscience and remote sensing， 2017， 56（2）： 847?858.
转载注明来源:https://www.xzbu.com/8/view-15248547.htm