基于信道注意力机制卷积神经网络的图像超分辨率

来源:用户上传      作者:

　　摘  要： 在图像超分辨率中，现有的卷积神经网络的方法较传统方法有明显的优势。然而，图像超分辨率的更深层卷积神经网络难以训练。同时，由于低分辨率图像包含丰富的低频特征信息，而这些信息在信道上与高频信息一起被平等地对待，因此阻碍了卷积神经网络的表达能力。文章提出了基于信道注意力机制的卷积神经网络，充分考虑信道之间的相互依赖性，自适应地重新调整信道的特征。实验表明，该算法较以前的算法可以实现更好的性能和更清晰的视觉效果。
　　关键词： 图像处理; 图像超分辨率; 卷积神经网络; 信道注意力机制
　　中图分类号：TP391          文献标识码：A     文章编号：1006-8228（2020）04-26-03
　　The super-resolution method based on the neural convolutional networks
　　of channel attention mechanism
　　Duanmu Chunjiang， Yao Songlin
　　（College of Physics and Electronic Information Engineering， Zhejiang Normal University， Jinhua， Zhejiang 321004， China）
　　Abstract： In the image super-resolution， current convolutional neural network methods have better performance than the traditional ones. However， the deep convolutional neural networks are difficult for training in the image super-resolution. And the low-resolution images generally have more low-frequency information， and it is treated evenly with the high frequency information in the channels of the networks， which hinders the expression ability of the whole convolutional neural network. A new method which utilizes the channel attention mechanism is proposed in this paper， it fully considers the mutual reliance of channels， and adaptively readjusts the channel features. Experiment results show that the proposed method has better performance and visual quality than previous ones.
　　Key words： image processing; image super-resolution; convolutional neural network; channel attention mechanism
　　0 引言
　　针对仅由一幅低分辨率图像（LR）重建对应的高分辨率图像（HR）的问题，通常称为单幅图像超分辨率（Super Resolution，SR）。单幅图像超分辨率可应用于计算机视觉的各方面，包括安全和监控成像，医学影像，模式识别等。然而，图像超分辨率是一个病态的问题，因为对于任何低分辨率图像，产生其高分辨率图像可以有无穷多的解。为了解决这样的病态逆问题，许多学者提出了很多基于學习的方法来学习LR和HR图像对之间的映射关系。
　　基于学习的图像超分辨率技术是当前超分辨率技术的研究热点。最近，基于卷积神经网络（Convolutional Neural Network，CNN）的方法[4-5]相比传统的超分辨率方法[1-3]已经取得了显著的进步。
　　注意力机制将可用的处理资源分配给最具信息性和最有用的输入。最近，注意力机制逐渐应用于深度神经网络[6-7]。Fei等[6]提出了用于图像分类的残差注意网络，具有注意力机制。注意力机制也应用于图像的定位和理解、基于序列的网络图像等[7]。然而，很少有人将注意力机制应用到低级视觉任务（如图像超分辨率处理）中。
　　基于CNN的方法将从原始LR图像输入中提取特征并平等地处理每个通道的特征，这样的过程将浪费不必要的计算以获得丰富的低频特征，缺乏跨特征通道的判别性学习能力，并最终阻碍深度网络的代表性能力。为了实际解决这些问题，我们提出了一个基于通道注意力机制的网络来获得不同的特征，并同时自适应地学习更有用的信道特征。
　　1 信道注意力网络
　　1.1 所提出方法的网络架构
　　如图1所示，所提出的方法的网络结构主要由三部分组成：浅特征提取，深度特征提取和重建模块。我们将ILR和ISR表示为网络的输入和输出。首先，只使用一个卷积层从LR输入图像中提取浅层特征F0。
　　 ⑴
　　其中HSF表示卷积运算。
　　然后使用信道注意力层对浅层特征进行深度特征提取：
　　 ⑵
　　其中HA表示深层特征提取操作。
　　信道注意力层由一个卷积层和信道注意力机制组成。信道注意力机制可以让卷积层自适应学习更有用的信道特征，以提取更有用的深层特征。因此将其输出FDF视为深层特征，最后通过重建模块进行特征的放大和图像的重建： 　　 ⑶
　　其中HREC表示特征的放大和重建操作。重建模块包含两个卷积层和一个亚像素卷积层。首先使用一个卷积层对深层特征进行扩展，为特征的放大做预处理，然后通过一个亚像素卷积层对特征进行放大，最后通过一个卷积层重建放大后的特征。
　　1.2 引入注意力机制
　　如何针对每个信道特征产生不同的注意值是关键步骤。这里主要有两个问题。①LR图像特征中具有丰富的低频信息和有价值的高频信息。低频信息比较平滑，高频信息通常是区域性的，包含边缘、纹理和其他细节等。②卷积层中的每个滤波器都使用相同的感受野进行操作。因此，卷积后的输出特征无法充分利用自身区域之外的其他信息。
　　基于对上述问题分析，通过使用全局平均池化，来将信道的全局空间信息转换为信道描述符。如图2所示，设输入特征X=[x1，…，xc，…，xC]，C个特征图的尺寸为H×W。通过压缩X可以获得信道的统计向量z，z的第c个元素由下式确定：
　　 ⑷
　　其中，xc（i，j）是第c个特征xc在位置（i，j）处的值，HGP表示全局池化函数。
　　为了从聚合信息中完整获得信道的依赖性，引入了一个门控机制，这里选择利用Sigmoid激活函数的来进行门控机制：
　　 ⑸
　　其中，F和δ分别表示S形门控、和ReLU函数。W1是信道缩减层的权重，在被ReLU函数激活后，低维信号通过信道扩展层以比率r增加，其权重设置为W2。然后便可以获得最终的信道统计值S，对输入xc进行缩放：
　　 ⑹
　　其中，S和xc分别表示第c个信道中的缩放因子和特征映射。通过信道注意力机制，图像特征被自适应地重新缩放。
　　1.3 网络模型架构的细节
　　信道缩减层和信道扩展层的内核大小为1×1。除了信道缩减层和信道扩展层外，其他所有卷积层的内核大小都为3×3。内核大小为3×3的卷积层均使用零填充来保持特征大小固定。浅层特征提取和深层特征提取的卷积层中，滤波器的数量为64个。信道缩减层有所不同，其卷积层有4个滤波器，缩减率r为16。重建模块中，第一个卷积层有32n个滤波器，n为超分辨率需要放大的倍数。最终的重建层的滤波器数量只有3个，因为网络输出的是彩色图像。同时，该网络也可以处理灰度图像。
　　损失函数将采用L1损失函數：
　　 ⑺
　　其中，θ表示网络的参数。利用随机梯度下降法对损失函数进行优化。
　　2 实验结果
　　2.1 实验设置
　　本论文采用DIV2K数据集的800张高清训练图像作为训练集。测试集采用两个标准数据集：Set5和Set14。实验结果在YCbCr颜色空间的Y信道（即亮度）上用PSNR（峰值信噪比）和SSIM（结构相似度）进行评估。
　　2.2 实验结果与讨论
　　在表1、表2、表3、表4中，展示了本论文的方法与以前的方法（A+、SRCNN）进行比较的实验结果。从这些表格中，可以看出，与以前的方法相比，本文方法在放大倍数为2、3、4时，在Set5和Set14数据集上，其实验结果均好于之前的方法。
　　在图3中，放大因子为3时，对各种方法的重建图像进行了视觉比较。对于图像“butterfly”，可以观察到以前的方法不能很好地恢复边缘细节，并且有模糊、伪影等现象。相比之下，本文提出的算法可以更好地缓解模糊的伪影，并恢复更多细节。因此，实验结果表明，本算法提出的网络具有不错的表征能力，可以从LR图像中提取更复杂的特征。
　　3 结束语
　　本论文提出了一个基于注意力机制的卷积神经网络的架构，用于对单幅图像进行超分辨率放大。通过加深网络的深度，使所提出的网络可以提取图像中更深层的特征信息。同时把注意力机制引入到所提出的网络中，利用信道之间的相互依赖性来自适应地重新调整信道特征。实验表明，所提出的方法在标准测试集中所重构的高分辨率的图像的质量更高，在PSNR和SSIM指标上超过了之前的方法，同时提出的方法的重构图像具有更清晰和更丰富的纹理信息。利用更深层次的网络来进行图像的超分辨率放大，并取得更好的效果，将是未来的研究方向。
　　参考文献（References）：
　　[1] W. W. Zou ， P. C. Yue. Very low resolution facerecognition problem[J]. IEEE Transactions on Image Processing，2012.21（1）：327-40
　　[2] J.D. Van Ouwerkerk. Image super-resolution survey [J]. Image & Vision Computing，2006.24（10）：1039-1052
　　[3] J. Yang ， J. Wright， T.S. Huang， et al. Image super-resolution via sparse representation[J]. IEEE Transactions on Image Processing，2010.9（11）：2861-2873
　　[4] C. Dong ， C.C. Loy ， K. He， et al. Image super-resolutionusing deep convolutional networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2014.38（2）：295-307
　　[5] W. S. Lai， J.B. Huang， N. Ahuja， et al. Fast and AccurateImage Super-Resolution with Deep Laplacian Pyramid Networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2019 41（11）：2599-2613
　　[6] W. Fei， M. Jiang， Q. Chen， et al. Residual AttentionNetwork for Image Classification [C]. Honolulu， HI， United states： Proceedings of 30th IEEE Conference on Computer Vision and Pattern Recognition， CVPR 2017：6450-6458
　　[7] K. Li， Z. Wu， K.C. Peng， et al. Tell me where to look：guided attention inference network [C]. Salt Lake City， UT， United states： Proceedings of 31th IEEE Conference on Computer Vision and Pattern Recognition， CVPR 2018：9215-9223
转载注明来源:https://www.xzbu.com/8/view-15228844.htm