基于深度学习的高分辨率遥感图像海陆分割方法

来源:用户上传      作者:

　　摘 要：将高分辨率遥感图像进行像素级海陆分割是遥感应用领域的一项基础性工作，对海岸线提取和海洋近岸目标检测具有重要意义，但传统阈值方法往往由于高分辨率遥感图像覆盖范围广、地物纹理复杂等特点而难以取得预期效果。为了提升高分辨率遥感影像海陆分割精度，改善传统阈值方法的不足，基于深度神经网络模型利用编码器—解码器架构，并在编码层中引入残差块，以更好地对特征图进行高级语义信息提取，通过解码层将编码层生成的特征图还原成与输入尺寸相同的特征图，最后通过Sigmoid层对图像进行像素级海陆分割。在高分辨率遥感图像数据集上的实验结果表明，该网络模型取得良好了分割效果，准确率和Kappa系数分别达到了94.3%和93.7%。与传统方法相比，海陆分割精确度得到了有效提升。
　　关键词：深度学习;高分辨率遥感图像;海陆分割;深度神经网络;编码—解码架构
　　DOI：10. 11907/rjdk. 192771
　　中图分类号：TP301   文献标识码：A                 文章编号：1672-7800（2020）003-0095-04
　　Land and Sea Segmentation Method of High-Resolution Remote Sensing Image Based on Deep Learning
　　CUI Hao
　　（School of Computer Science & Engineering，Shandong University of Science & Technology，Qingdao 266590，China）
　　Abstract： Pixel-level sea-land segmentation of high-resolution remote-sensing images is a basic work in remote sensing applications. It is of great significance for coastline extraction and marine near-shore target detection. However， However， the traditional threshold method is often difficult to obtain the expected results due to the wide coverage of high-resolution remote sensing images and the complex texture of the ground features. In order to improve the accuracy of sea land segmentation of high-resolution remote sensing image and improve the shortcomings of traditional threshold methods， based on the depth neural network model， the encoder decoder architecture is used， and residual blocks are introduced into the coding layer to better extract the high-level semantic information of the feature map. Through the decoding layer， the feature map generated by the coding layer is restored to the feature map with the same size as the input. Finally through the Sigmoid layer， the sea land segmentation of images is made at the pixel level. The experimental results on the high-resolution remote sensing image dataset show that the network model achieves good segmentation results， and the accuracy rate and Kappa coefficient reach 94.3% and 93.7%， respectively. Compared with the existing traditional methods， this method improves the accuracy of land and sea segmentation.
　　Key Words： deep learning;high-resolution remote sensing image;sea and land segmentation;deep neural network; encoding-decoding architecture
　　0 引言
　　近年来，随着我国遥感卫星技术的快速发展，高分辨率遥感图像在海洋开发应用与权益保护监督等方面获得广泛应用。高分辨率遥感图像具有覆盖范围广、地物纹理信息丰富、成像光谱波段多、重访时间短等多种特征。高分辨率遥感图像解译也是数字图像分析的重要组成部分，已廣泛应用于土地测绘、环境监测、城市建设等领域。其中，语义分割在遥感图像解译中扮演重要角色，是低高层遥感图像处理及分析的重要衔接[1]。对高分辨率遥感图像进行海陆分割的目的是将遥感近岸图像准确地分割成海洋和陆地区域。提升高分辨率遥感图像海陆分割精确度，有利于对近海区域目标进行检测，并且获取的海岸线等信息对海岸演化分析[2] 、潮间带性质和分布信息提取[3]等具有重要意义。 　　传统高分辨率遥感图像海陆分割方法主要分为基于阈值分割、边界检测[4]、区域提取[5]、小波变换[6]、聚类分析等。阈值分割是一种简单、有效的图像分割方法，具有易于理解、实现简便、效果显著的特点[7]。阈值选择对于分割结果具有决定性作用，实际应用中使用较多的阈值分割方法是NDWI方法[8]，该方法利用图像的绿光波段和近红外光波段值计算出图像的NDWI值，然后利用NDWI直方图选择合适的海陆分割阈值，最后对图像二值化，达到海陆分割目的。Liu等[9]提出了一种基于活动轮廓的分割方法，该方法首先利用Ostu分割结果初始化，然后基于光学遥感图像海陆区域灰度分布特性构造能量函数，最后最小化能量函数实现海陆分割;蔡姝等[10]对遥感图像首先利用 Canny 算子提取图像梯度信息，再结合形态学操作运算进行图像海陆分割;Liu等[11]提出了一种结合边缘检测和高斯曲线拟合确定局部区域阈值的LATM法。随着遥感技术的发展，遥感图像分辨率不断提高，高分辨率遥感图像不仅覆盖范围越来越大，而且陆地海洋区域的纹理特征更加清晰，陆地地物类型与海洋环境更加复杂，在这种场景下，如果使用传统单一特征进行海陆分割，分割效果往往不理想，造成海陆边界不清晰或分类错误，势必对高分辨率遥感图像解析工作带来挑战。
　　针对传统海陆分割方法的不足，近几年卷积神经网络在图像分类、语义分割等计算机视觉识别领域得到了快速发展。CNNs在遥感影像中也得到了广泛应用，如土地利用分类和卫星图像场景分类。CNNs网络模型主要包括卷积层、池化层、全连接层，通过采用梯度下降法最小化损失函数，进而对网络中的权重参数逐层反向调节，通过频繁的迭代训练学习特征图高级语义特征，提高网络精度。胡等[12]利用CNNs卷积神经网络对遥感图像进行分类;Long等[13]提出了用于解决图像像素级语义分割任务的全卷积神经网络（Full Convolutional Neural Network，FCN）。FCN将传统CNN中的全连接层转化成一个个卷积层，可以接受任意尺寸的输入图像，采用反卷积层对最后卷积层的特征图进行上采样操作，使其恢复到与输入图像相同尺寸，从而对上采样得到的特征图进行像素分类。但FCN对上采样的结果仍然比较模糊和平滑，对图像中的细节不敏感，对各像素进行分类，没有充分考虑像素与像素之间的关系，缺乏空间一致性。此外，还有其它语义分割网络结构如U-Net[14]、SegNet[15]、PSPNet[16]等。
　　本文提出的神经网络模型利用编码器-解码器架构，并在编码层中引入残差块用以解决随着网络深度增加而面临的梯度消失问题，以更好地对特征图进行高级语义信息提取，并优化海陆分割结构，进而提高高分辨率遥感图像海陆分割精度。
　　1 方法与模型
　　1.1 编码器—解码器架构
　　编码器—解码器架构是一种对应性架构，其过程主要分为编码和解码两个步骤。在编码阶段，卷积神经网络主要包括卷积层和池化层，通过对输入图像的卷积和池化操作，获得不同分辨率大小的特征图，神经网络学习特征图的高级语义信息。在解码器阶段，卷积神经网络包括卷积操作和上采样操作，通过上采样方式恢复特征图分辨率，使网络模型输出与输入图像分辨率相同的特征图，进而利用Softmax层实现每个像素的类别标注，也即像素级海陆分割。
　　1.2 残差块构建
　　随着神经网络层数不断增加，计算资源消耗、模型容易过拟合、梯度消失或梯度爆炸等問题也随之而来，网络产生了退化（Degradation）现象，即增加网络深度，训练集损失反而会增加。当发生网络退化现象时，浅层网络能够达到比深层网络更好的训练效果，这时通过构建残差块，将低层的特征传到高层特征图，并将两者信息融合，尽可能得保证信息的完整性。残差块结构如图1所示。
　　如图1所示，[x]表示输入，[F（x）]表示残差块在第二层卷积层激活函数之前的输出，则最后残差块的输出为[σ（F（x）+x）]，其中[σ]表示ReLU激活函数。假设第二层卷积层在激活函数之前的输出为[H（x）]，则有[H（x）=F（x）+x];如果在第二层最优输出就是输入[x]，那么对于残差块结构只需将[F（x）=H（x）-x]优化为0即可。该结构比原优化[F（x）=x]的难度低很多。
　　1.3 本文网络模型结构
　　为了更好地对高分辨率遥感图像实现像素级的海陆分割，本文提出了一种基于编码器—解码器架构并结合残差块结构的神经网络模型。
　　图2展示了本文模型具体结构。采用编码器-解码器结构，编码器使用4组卷积核大小为3×3、步长为1的卷积操作提取高分辨率遥感图像的高级语义特征，并在每组卷积操作中间加入池化核为2×2的池化操作，以减少模型参数量，提升模型运行速度。在网络构建过程中，为了避免随着网络深度增加而出现的梯度消失等现象，在编码层引入残差块结构，对分辨率大小相同的特征图低级层次语义信息与高级层次语义信息相融合。
　　在神经网络解码器结构中，网络使用3组上采样操作将特征图的大小分别增大1倍，每组上采样后，都使用卷积核大小为3×3的两个卷积层对上采样后的特征图进行特征图特征信息整合。模型最后使用1×1卷积对特征图的通道信息进行整合，并使用Sigmoid函数得到最后的高分辨率遥感图像海陆分割结果。
　　2 实验
　　2.1 实验图像及数据集
　　本文实验使用近3年高分一号卫星拍摄的江苏省连云港市范围内海岸带假彩色图像，分辨率为2m。为了提高训练效率，选择靠近海陆分割线的陆地海岸带与海洋区域，手动标记图像真值图，并将其裁切成256*256大小的数据集。在30景高分辨率遥感图像中，生成了24 000个样本，其中80%为训练样本，20%为验证样本。
　　2.2 实验模型训练
　　本文实验代码基于Python语言，模型采用Keras框架实现。实验使用了NVIDIA Tesla K80GPU服务器，批处理大小设置为2，训练周期为100，学习率为0.000 1，使用Adam作为优化器。 　　2.3 实验评价
　　为了定量评估所提模型在高分辨率遥感影像中进行海陆分割的效果，引入3个指标，分别为准确率（P）、召回率（R）和F1分数（F1）。计算形式如下：
　　其中，TP代表样本为正，预测结果为正;FP代表样本为负，预测结果为正;FN代表样本为正，预测结果为负。
　　2.4 实验结果分析
　　为了验证本文构建的深度学习模型在高分辨率遥感图像海陆分割任务中的有效性，将实验结果与传统LATM方法以及图像语义分割领域经典的深度学习网络模型FCN、PSPNet进行高分辨率遥感图像海陆分割效果对比，实验中使用相同的训练样本和验证样本，结果如图3、表1所示。
　　由图3可知，传统方法LATM对于纹理和强度变化复杂的高分辨率遥感图像，不仅容易对陆地地物进行错误分类，而且在海陆分割处呈现明显不规则性，分割效果较差;FCN网络更容易对土地像素进行错误分类;海陆分割在PSPNet得到了较好结果，但仍然在港口处存着错误分类。与这些方法相比，本文方法（Ours）可以获得更一致的空间结果，海陆分割效果最好。
　　由表1可知，传统方法LATM和FCN网络对高分辨率遥感图像海陆分割能力相对较弱，PSPNet能取得较好结果，本文网络模型在测试数据集上各项指标均表现出最优结果。
　　3 结语
　　为了更好地实现高分辨率遥感图像海陆分割，本文利用编码器—解码器架构，在编码层中引入残差块构建了一个新型网络，实现了高分辨率遥感图像端到端的海陆分类。为了验证网络架构的有效性，手动标记高分辨率遥感图像真值图，并在此数据集上与PSPNet等方法进行比较。 实验结果表明，本文提出的网络结构取得了最好结果。但其海陆分割结果精度还有待进一步提升，尤其是海陆交界边缘部分，仍有一定误差，整个网络模型尚有改进空间。未来将重点对架构进行优化，以进一步提高分割准确性。
　　参考文献：
　　[1]苏健民，杨岚心，景维鹏. 基于U-Net的高分辨率遥感图像语义分割方法[J]. 计算机工程与应用，2019，55（7）：207-213.
　　[2]ZHANG S P，ZHANG C T.Image analysis for wave swash using color feature extraction[C]. Proceedings of the 2nd International Congress on Image and Signal Processing （CISP），2009：1-4.
　　[3]QIN P.Waterline information extraction from radial sand ridge of south Yellow Sea[C]. Proceedings of the 6th International Congresson Imageand Signal Processing（CISP），2013：459：463.
　　[4]LIU H，JEZEK K C.Automated extraction of coastline from satellite imagery by integrating canny edge detection and locally adaptive thresholding methods[J]. International Journal of Remote Sensing，2004，25（5）：037-958.
　　[5]ZHANG H W，ZHANG B M，GUO H T， etal.An automatic coastline extraction method based on active contour model[C]. Proceedings of the 21st International Conference on Geoinformatics，2013：111-115.
　　[6]NIEDERMEIER A，ROMANEESSEN E，LEHNER S.Detection of coastlines in SAR images using wavelet methods [J]. IEEE Transactions on Geoscience and Remote Sensing，2000，38（5）：2270-2281.
　　[7]吳一全，刘忠林. 遥感影像的海岸线自动提取方法研究进展[J]. 遥感学报，2019，23（4）：582-602.
　　[8]MCFEETERS S K.The use of the normalized difference water index （NDWI） in the delineation of open water features[J].  International Journal of Remote Sensing，1996，17（7）：1425-1432.
　　[9]LIU G，ET AL.A new method on inshore ship detection in high-resolution satellite images using shape and context information[J]. Geoscience and Remote Letter，IEEE，2014.11（3）：617-621.
　　[10]CAI S，WU H M.Study on change detection of ship target based on sea-land segmentation[J]. Video Engineering，2010，34（5）：109 -112. 　　[11]LIU H， JEZEK K C.Automated extraction of coastline from satellite imagery by integrating Canny edge detection and locally adaptive thresholding methods[J]. International Journal of Remote Sensing，2004，25（5）：937-958.
　　[12]HU F，XIA G S，HU J W，et al.Transferring deep convolutional neural networks for the scene classification of high-resolution remote sensing imagery[J]. Remote Sensing，2015，7（11）：14680-14707.
　　[13]LONG J，SHELHAMER E，DARRELL T.Fully convolutional networks for semantic segmentation[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence，2014，39（4）：640-651.
　　[14]RONNEBERGER O，FISCHER P，BROX T.U-Net：Convolutional networks for biomedical image segmentation[J]. Medical Image Computing and Computer-Assisted Intervention（MICCAI），2015，9351：234-241.
　　[15]BADRINARAYANAN V，KENDALL A，CIPOLLA R. SegNet：a deep convolutional encoder-decoder architecture for scene segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（12）：2481-2495.
　　[16]ZHAO H，SHI J，QI X，et al. Pyramid scene parsing net-work[DB/OL]. https：//arxiv.org/abs/1612.01105，2016.
　　（責任编辑：孙 娟）
　　收稿日期：2020-01-03
　　作者简介：崔昊（1993-），男，山东科技大学计算机科学与工程学院硕士研究生，研究方向为智能信息处理、机器学习。本文通讯作者：崔昊。
转载注明来源:https://www.xzbu.com/8/view-15217859.htm