不可分拉普拉斯金字塔构造及其在多光谱图像融合中的应用

来源:用户上传      作者:

　　摘 要：针对拉普拉斯塔形（LP）变换在图像融合中具有高频信息损失严重且缺乏平移不变性的问题，利用不可分小波具有平移不变性和能够准确描述图像细节信息的特点，提出一种新的非采样不可分拉普拉斯金字塔构造方法，并将该构造方法应用于多光谱图像融合中。首先，构造六通道不可分低通滤波器，利用该滤波器构造多光谱图像和全色图像的非采样不可分小波塔形分解，进而对图像进行非采样不可分拉普拉斯塔形分解;然后，针对不同的分解层采用不同的融合规则进行融合;最后，根据不可分拉普拉斯重构算法进行重构，即可得到融合后的图像。实验结果表明，与离散小波变换（DWT） 的融合方法、基于Contourlet变换（CT）的融合方法以及基于直方图中轴化（MHE）的融合方法对比，所提方法在保持原全色图像空间分辨率的评价指标空间相关系数上分别提高了1.84%、1.56%和11.06%，在光谱信息保持程度的评价指标相对整体维数综合误差上分别降低了49.26%、48.15%和89.19%。该方法所得图像在获得好的光谱信息的同时有效地提高了空间分辨率，较好地保留了图像的边缘信息与结构信息。
　　关键词：多光谱图像融合;不可分小波;低通滤波器;不可分拉普拉斯金字塔;平移不变性
　　中图分类号： TP391;TP751.1
　　文献标志码：A
　　Abstract： In order to solve the problem that classical Laplacian Pyramid （LP） transformin image fusion losses high frequency information of the fused image seriously and has no translation invariance， with the use of non-separable wavelet which has translation invariance and accurate description of image details， a new construction method of non-sampling non-separable LP was proposed and applied to the multi-spectral image fusion. Firstly， a six-channel non-separable low-pass filter was constructed and used to construct non-sampling non-separable wavelet pyramid for multi-spectral image and panchromatic image， and then the image was processed by non-sampling non-separable LP decomposition. Then， different fusion rules were used for the fusion of different decomposition layers. Finally， the fused image was obtained by using non-separable LP reconstruction algorithm. The experimental results show that compared with the algorithms based on Discrete Wavelet Transformation （DWT）， Contourlet Transformation （CT）， and Midway Histogram Equalization （MHE）， the spatial correlation coefficient of the proposed method was increased by 1.84%， 1.56%， and 11.06% respectively， and the relative global dimensional synthesis error of the proposed method was reduced by 49.26%， 48.15%， and 89.19% respectively. The proposed method can effectively improve the spatial resolution while obtaining good spectral information of image， well preserve the edge information and structure information of the image.
　　Key words： multi-spectral image fusion; non-separable wavelet; low-pass filter; non-separable Laplacian Pyramid （LP）; translation invariance
　　0 引言
　　圖像融合是指将多传感器所采集到的关于同一目标的图像数据经过处理，最大限度地提取各自信道中的有利信息，最后综合成高质量的图像，以提高图像信息的利用率[1]。在遥感应用中，多光谱（Multi-Spectral，MS）图像具有较好的光谱特性，但空间分辨率较低，空间细节和结构纹理表达能力较弱;全色（PANchromatic，PAN）图像一般空间分辨率较高，但图像的光谱信息少，通常显示为灰度图像[2]。通过将MS图像和PAN图像融合，获得具有好的光谱信息又具有高分辨率的融合图像[3-4]。 　　目前常見的关于多光谱图像与全色图像的融合方法主要有亮度色度饱和度（Intensity-Hue-Saturation，IHS）变换的融合方法[5]、基于主成分分析的融合方法、基于高通滤波的融合方法;当前应用最广泛的是基于多尺度变换的融合方法[6]，主要有离散小波变换（Discrete Wavelet Transformation，DWT）的融合方法[7]、基于Contourlet变换（Contourlet Transformation，CT）的融合方法[8]、基于拉普拉斯金字塔（Laplacian Pyramid，LP）变换（也称作拉普拉斯塔形变换）的融合方法[9]等，这些方法在某些特定方面取得了良好的效果，但是它们各自都有缺点。IHS变换能较好地保留全色图像的高分辨率信息，但会引入较严重的光谱畸变[10];DWT获得的融合图像具有好的光谱信息，但其空间分辨率低，且在对图像进行分解和重构的过程中采用了下采样和上插值，因此获得的融合图像具有方块效应[11];CT变换可以分析不同方向的细节信息，可是其滤波器设计具有很大难点，且由于CT变换采用的是张量积小波，同样在分解过程中存在上下采样，缺少平移不变性[12];基于LP变换的融合方法虽然计算量简单，实现容易，但多数只讨论灰度图像，而且在拉普拉斯变换系数处理过程中不可避免地引入了较大的噪声[13]，同时融合过程中高频信息损失较大，在金字塔重建时可能出现模糊、不稳定现象[14]。
　　由此可见，单一的融合方法获得的融合图像很难令人满意，故可以采取一定策略将某些融合方法结合起来。Zhang等[15]提出了基于IHS变换和小波变换（IHS-DWT）的融合方法，该方法将IHS变换和小波变换这两种方法的优点结合起来，获得的融合结果图像既具有较好的光谱信息，也具有较高的空间分辨率，但由于采用的小波变换为基于下二抽样的张量积小波变换，使得融合结果图像不可避免地产生了人工痕迹和方块效应[16];张大明等[17]提出了将金字塔变换和IHS变换相结合的融合方法，但其获得的融合图像保持原PAN图像的高分辨率信息比较差。
　　二维不可分小波在图像融合中具有良好的特性：不同于张量积小波，它在图像处理的过程中，直接用二维曲面去逼近图像，可以更加准确地描述图像的轮廓和边缘信息;二维不可分小波具有平移不变性，故进行图像分解后可以完全重构[16]。针对以上分析，本文利用拉普拉斯塔形分解具有计算量简单、实现容易，可在不同空间分辨率上有针对性地突出各图像的重要特征和细节信息的特点，以及二维不可分小波的优良特性，将两者相结合，提出了不可分拉普拉斯金字塔的构造方法，并将其应用于多光谱图像的融合中。该方法将拉普拉斯塔形分解过程所使用的高斯低通滤波器替换为本文所构造的六通道不可分小波低通滤波器，并且，为了使图像的整个处理过程中具有平移不变性，在进行拉普拉斯塔形分解以及重构的过程中，不进行下抽样和上插值，并在此基础上对金字塔的每层按相关的融合规则进行融合。实验结果的主观以及客观评价表明，本文方法的融合图像保持原PAN图像的高分辨率信息更好，并且图像整体光谱信息也优于其他方法。
　　1 六通道不可分小波滤波器的构造
　　由于小波变换具有自适应的时频窗，能对时域和频域进行局部化分析，通过信号逐步进行多尺度细化，可以达到高频x处时间细分、低频处频率细分，充分突出图像中某些方面的细节特征，因此小波分析成为近年来图像处理与分析的一个突出工具。二维不可分小波是小波理论发展的一个重要方向，首先在滤波器的构造上，不可分小波将高维信号作为整体来处理，因此其不仅具有更大的自由度，并且更有利于分析高维信号各个方向的信息。其次，二维不可分小波的尺度函数和小波函数不可分且各向同性，即不可分小波对图像分解时，能够同时对图像中每个像素的八邻域进行细节信息提取，而可分小波对图像进行分解时，是分别对图像的每一行、每一列进行高频信号提取，即可分小波只能得到水平方向和垂直方向的高频信息。同时不可分小波具有更细的渐进尺度，更好的紧支撑特性，各个子带有清晰的频率特征及重建特性[18]。
　　5 结语
　　本文研究了一种伸缩矩阵为[3，3;-1，1]的六通道不可分小波的构造方法，构造了六通道不可分小波低通滤波器，并在此基础上，针对拉普拉斯金字塔在图像融合中存在的缺点，提出了一种新的图像多尺度分析方法——不可分拉普拉斯金字塔，并将该方法应用于多光谱图像融合中。实验结果表明：由于不可分小波可以更加准确地描述图像的轮廓和边缘信息以及不可分拉普拉斯塔形分解可以对图像进行多尺度、多分辨率分析，所以从视觉判读效果来看，本文方法所得融合结果图像光谱信息保持更好，图像更清晰、自然;从客观评价指标看，本文方法所得图像具有更好的光谱信息和更高的空间分辨率，且边缘信息以及结构信息的保持程度都比较高。本文只是针对多光谱图像进行了相关研究，也可将本文方法推广应用于多聚焦图像、红外图像等其他图像融合领域。
　　参考文献：
　　[1] 吴艳，杨万海，李明.基于小波分解和进化策略的图像融合方法[J].光学学报，2003，23（6）：671-676. （WU Y， YANG W H， LI M. Image fusion based on wavelet decomposition and evolutionary strategy [J]. Acta Optica Sinica， 2003， 23（6）：671-676.）
　　[2] KUMAR S J， HUAN T L， LI X， et al. Panchromatic and multispectral remote sensing image fusion using machine learning for classifying bucolic and farming region [J]. International Journal of Computational Science & Engineering， 2018， 15（5/6）： 340-370. 　　[3] THOMAS C， RANCHIN T， WALD L， et al. Synthesis of multispectral images to high spatial resolution： a critical review of fusion methods based on remote sensing physics [J]. IEEE Transactions on Geoscience & Remote Sensing， 2008， 46（5）： 1301-1312.
　　[4] LIU Y， CHEN X， WANG Z， et al. Deep learning for pixel-level image fusion： Recent advances and future prospects [J]. Information Fusion， 2018， 42： 158-173.
　　[5] TU T-M， SU S-C， SHYU H-C， et al. A new look at IHS-like image fusion methods [J]. Information Fusion， 2001， 2（3）： 177-186.
　　[6] ZHANG J X. Multi-source remote sensing data fusion： status and trends [J].International Journal of Image & Data Fusion， 2010， 1（1）： 5-24.
　　[7] YOVKY D A. Image merging and data fusion by means of the discrete two-dimensional wavelet transform [J]. Journal of the Optical Society of America A， 1995， 12（9）： 1834-1841.
　　[8] 李光鑫，王珂.基于Contourlet变换的彩色图像融合算法[J].电子學报，2007，35（1）：112-117. （LI G X， WANG K. Color image fusion algorithm using the contourlet transform [J]. Acta Electronica Sinica， 2007， 35（1）： 112-117.）
　　[9] 玉振明，高飞.基于金字塔方法的图像融合原理及性能评价[J].计算机应用研究，2004，21（10）：128-130. （YU Z M， GAO F. Laplacian pyramid and contrast pyramid based image fusion and their performance comparison [J]. Application Research of Computers， 2004， 21（10）：128-130.）
　　[10] 李振华，敬忠良，孙韶媛，等.基于方向金字塔框架变换的遥感图像融合算法[J].光学学报，2005，25（5）：598-602. （LI Z H， JING Z L， SUN S Y， et al. Remote sensing image fusion based on steerable pyramid frame transform [J]. Acta Optica Sinica， 2005， 25（5）： 598-602.）
　　[11] 刘斌，彭嘉雄.基于二通道不可分加性小波的多光谱图像融合[J].光学学报，2007，27（8）：1419-1424. （LIU B， PENG J X. Multi-spectral image fusion based on two-channel non-separable additive wavelets [J]. Acta Optica Sinica， 2007， 27（8）： 1419-1424.）
　　[12] 肖新耀，许宁，尤红建.一种基于àtrous小波和联合稀疏表示的遥感图像融合方法[J].遥感技术与应用，2015，30（5）：1021-1026. （XIAO X Y， XU N， YOU H J. A method on remote sensing image fusion based on àtrous wavelet transform and joint sparse representation [J]. Remote Sensing Technology and Application， 2015， 30（5）：1021-1026.）
　　[13] 苗启广，王宝树.基于改进的拉普拉斯金字塔变换的图像融合方法[J].光学学报，2007，27（9）：1605-1610. （MIAO Q G， WANG B S. Multi-sensor image fusion based on improved laplacian pyramid transform [J]. Acta Optica Sinica， 2007， 27（9）： 1605-1610.）
　　[14] 胡钢，刘哲，徐小平，等.像素级图像融合技术的研究与进展[J].计算机应用研究，2008，25（3）：650-655. （HU G， LIU Z， XU X P， et al. Research and recent development of image fusion at pixel level [J]. Application Research of Computers， 2008， 25（3）： 650-655.） 　　[15] ZHANG Y， HONG G. An IHS and wavelet integrated approach to improve pan-sharpening visual quality of natural colour IKONOS and QuickBird images [J]. Information Fusion， 2005， 6（3）： 225-234.
　　[16] 刘斌，祝青，胡福强，等.基于采样二通道不可分小波的多光谱图像融合[J].电子学报，2013，41（4）：710-716. （LIU B， ZHU Q， HU F Q， et al. Multi-spectral image fusion method based on sampled two channel non-separable wavelets [J]. Acta Electronica Sinica， 2013， 41（4）：710-716.）
　　[17] 张大明，阮祥伟，胡茂林，等.基于金字塔方法的SAR图像与光学图像的融合[J].雷达科学与技术，2005，3（6）：350-355. （ZHANG D M， RUAN X W， HU M L， et al. SAR/optical images fusion based on gaussian-laplacian pyramid algorithm [J]. Radar Science and Technology， 2005， 3（6）：350-355.）
　　[18] 刘斌，孙斌，余方超，等.基于不可分小波分解的图像配准方法[J].计算机工程，2014，40（10）：252-257. （LIU B， SUN B， YU F C， et al. Image registration method based on nonseparable wavelet decomposition [J]. Computer Engineering， 2014， 40（10）： 252-257.）
　　[19] CHEN Q， MICCHELLI C A， PENG S， et al. Multivariate filter banks having matrix factorizations [J]. SIAM Journal on Matrix Analysis & Applications， 2003， 25（2）： 517-531.
　　[20] 刘贵喜.多传感器图像融合方法研究[D].西安：西安电子科技大学，2001.（LIU X G. Study of multisensor image fusion methods [D]. Xian： Xidian University， 2001： 39-46.）
　　[21] 赵丽玲，孙权森.通过直方图中轴化提高融合图像光谱保真度[J].计算机应用，2017，37（2）：559-563.（ZHAN L L， SUN Q S. Increasing fusion image spectral fidelity by using midway histogram equalization [J]. Journal of Computer Applications， 2017， 37（2）： 559-563.）
　　[22] 魏宁.多源图像融合的理论与方法研究[D].西安：西安电子科技大学， 2013. （WEI N. Research on theory and method of multi-source image fusion [D]. Xian： Xidian University， 2013： 12-15.）
　　[23] 尹雯，李元祥，周则明，等.基于稀疏表示的遥感图像融合方法[J].光學学报，2013，33（4）：259-266. （YI W， LI Y X， ZHOU Z M， et al. Remote sensing image fusion based on sparse representation [J]. Acta Optica Sinica， 2013， 33（4）： 259-266.）
　　[24] 强赞霞.遥感图像的融合及应用[D].武汉：华中科技大学，2005.（QIAN Z X. Remote sensing image fusion and applications [D]. Wuhan： Huazhong University of Science and Technology， 2005： 36-44.）
　　[25] 杨勇，童松，黄淑英.快速离散Curvelet变换域的图像融合[J].中国图象图形学报，2015，20（2）：219-228. （YANG Y， TONG S， HUANG S Y. Image fusion based on fast discrete Curvelet transform [J]. Journal of Image and Graphics， 2015， 20（2）： 219-228.）
　　[26] 张小利，李雄飞，李军.融合图像质量评价指标的相关性分析及性能评估[J].自动化学报，2014，40（2）：306-315. （ZHANG X L， LI X F， LI J. Validation and correlation analysis of metrics for evaluation performance of image fusion [J]. Acta Automatica Sinica， 2014， 40（2）： 306-315.）
转载注明来源:https://www.xzbu.com/8/view-14941671.htm