基于迭代型形态成分分析的多聚焦图像融合

来源:用户上传      作者:

　　摘 要：为了提高多幅多聚焦图像的融合质量，提出一种基于迭代型形态成分分析的特征加权融合算法。该方法利用形态成分分析正交性和稀疏性的特点，改进形成能够有效对源图像进行多尺度分解的迭代型形态成分分析方法;然后采用移动窗口计算方法对分解后的多尺度子图提取四维特征向量，用以反映子图的亮度、纹理规则性、光滑程度和随机性。此外，提出以四维特征向量的特征值作为权值，设计适用于两幅及以上多幅源图情况下的以特征权重作为判别依据的融合规则，并运用这一规则对复合子图进行逐层融合，最终通过多尺度逆变换得到融合图像。实验结果证明，与已有多尺度融合算法相比，新方法融合得到的图像具有更好的主观感受和更高的客观评价指标值。
　　关键词：多幅多聚焦图像融合;迭代型形态成分分析;特征提取;特征权重
　　DOI：10. 11907/rjdk. 192035 开放科学（资源服务）标识码（OSID）：
　　中图分类号：TP317.4 文献标识码：A 文章编号：1672-7800（2020）005-0230-04
　　0 引言
　　随着成像技术的日趋成熟，图像在人们生产、生活中发挥着越来越重要的作用，已经成为表示、存储信息的重要手段。图像处理及机器视觉相关研究成为热点问题[1-3]。然而实际视觉图像采集过程中，光学成像系统因受景深的限制，在镜头聚焦范围以外的物体不能清楚地成像，会影响图像后续处理。一种方案是通过一系列深度计算解决这一问题，如对焦深度法[4]和离焦深度法等，但这些方法需要大量人工，用于反复对相机各机位及拍摄参数进行校准;另一种方案是多焦距图像融合，即通过对同一场景以不同焦点部位进行多次拍摄，从诸多拍摄结果中取得清晰部分，融合成新的各處都清晰的新图像。
　　目前，多焦距图像融合算法根据图像处理域不同可分为两类：空间域算法和变换域算法。第一类算法直接从源图像获取信息，将图像分成若干区域，通过区域特征量度量对比度，选取对比度较高的区域形成融合结果。此类方法包括SF空间频率算法（Spatial Frequency）[5]、EOG图像梯度能量算法（Energy of Image Gradient）[6]、SML拉普拉斯能量和算法 （Sum-modified Laplacian）等，其优势在于计算量小、效率高，但易导致融合结果的块边缘产生裂痕。第二类算法首先对源图像进行域变换（多数变换方式具有多分辨率属性），然后在不同层次的系数上选取清晰部分形成变换域上的融合结果，再通过逆变换还原融合图像。常用的图像变换方法有LP拉普拉斯金字塔算法 （Laplacian Pyramid）[7]、GRP梯度金字塔算法（Gradient Pyramid Transform）[8]、DWT离散小波变换算法（Discrete Wavelet Transform）[9]等。金字塔类算法的共性缺陷包括：无方向性、不稳定以及时常丢失高频信息，这些缺陷导致多尺度子图在重构结果中出现模糊现象。小波算法具有方向性、正交性等优势，优于金字塔算法，但是也会存在混叠等问题，且小波基的选择比较困难。
　　本文为了改善多聚焦融合算法结果质量，提高融合精度和准确度，提出了一种基于形态成分分析（MCA）的AMCA迭代型形态成分分析方法（Alternately Morphological Component Analysis）。该方法解决了原形态成分分析分解后纹理层信息缺乏的问题，利用子图像特征权重作为判别依据的融合规则也比常用的均值规则、最大值规则等更符合图像融合要求，更多地保留了细节信息，减少了对比度的缺失。
　　1 融合算法
　　1.1 算法概述
　　本文针对两幅及以上多聚焦图像融合问题提出了WFAMCA基于迭代型形态成分分析的特征加权融合算法 （Fusion Algorithm Based on Weighed Features Alternately Morphological Component Analysis）。该算法作为多尺度变换域融合算法的一种，主要包括解耦源图获得子图集、从子图集提取特征向量集、根据特征向量加权融合各层子图、重构融合后的各层子图还原融合图像等4个步骤，如图1所示。
　　首先，对若干张源图片应用改进后的迭代型形态成分分析算法AMCA，将Q幅源图分解为Q个K层子图集;然后对各层子图集进行特征提取，得到[Q？K？4]的特征矩阵;再将特征矩阵作为融合规则的判别依据，完成不同源图同层子图的融合，得到K个融合后的子图;最后，重构K层融合后的子图，得到最终融合结果。
　　1.2 图像分解
　　多尺度图像分解通常采用金字塔算法或小波变换算法等，但是此类算法对于源图像的分解过程都是用同一基函数分离并表示所有子信号，因此只有少量信号落在表示函数的坐标轴上，不利于信号分类处理。形态成分分析算法通过结合匹配追踪算法[10]和基追踪算法[11]，针对不同类型的子信号用不同的基函数模拟表示，使得大部分信号信息落在坐标轴上，产生稀疏的原子表示集。MCA用一个迭代的阈值化解耦算法稀疏表示源信号分解后的若干子信号，能够极大地提高分解质量[12]。
　　形态成分分析算法用[L=Lt+Ln]线性表示源图像，其中[Ln]为源图像平滑层，[Lt]为源图像纹理层。通过寻找能够稀疏表示[Ln]的超完备字典[φn∈MN*qi]，同时该[φn]对信号[St]求解式（1）无稀疏解，可以认为字典[φn]能够从源图像所有子信号中区别出信号[Ln]。同理，可找出能够区分出纹理信号[Lt]的超完备字典[φt]。至此，MCA分解源图像L信号层的问题转化为式（2）求极稀疏解的问题。
　　迭代型形态成分分析将源图像假设为子信号线性迭代表示情况下的信号分解，实施过程主要包括：在下一级形态成分分析过程中使用上一级形态成分分析分解出的平滑层作为本级源图像输入，并保留各级分解的纹理层信息及最后一级分解出的平滑层信息作为后续图像特征提取时的输入。多级分解后的信号可表示为[（Lt？，Ln）][（？=1，2，3，？，K）]，其中[？]为分解层数，[Ln]为第K层分解的平滑层子图，即[LnK]。至此，源图像信号被分解为K+1层子信号图层。图3展示了一组分解尺度K为4的迭代型形态成分分析分解实例。可以看到，与图3（b）相比，图3（f）的自然层更加平滑，纹理信息更少，边缘和线条更为柔和，同时c、e、g层又比单独的c层更完整地保留了大量高频纹理信息。说明迭代型形态成分分析能够将源图像分解纹理层和平滑层剥离得更加彻底，从而取得待融合图像的更多纹理信息，提升融合结果的准确性。 　　1.3 图像融合
　　分解后的子图如果仅根据像素值应用于融合规则将存在较大误差，因此对于多级分解得到的子图集，在融合前需要进行特征提取工作。采用N*N的取样窗口，从子图左上角第一个像素点起作为窗口中心起点，按照由左至右、由上至下的顺序遍巡整幅子图。取样窗口中心每移动一个像素点，则计算一次特征向量值作为该中心像素点的特征向量，最终可得一个二维特征矩阵，用于后续融合。本文以窗口中心像素为基准，选择窗口内像素点灰度均值、窗口内像素点像素值平方差、窗口内像素的像素方差及灰度熵4个特征作为特征向量元素。其中，灰度均值对应图像亮度指标;像素平方均值反映了窗口区域内图像纹理的规则性;像素方差对应所选区域内图像能量和光滑程度;灰度熵反映取样窗口内像素的随机性。如式（4）所示。
　　传统的变换域图像融合算法对源图像信号进行分解后，将绝对值最大/最小算法、均值算法等数学运算直接应用于子信号图层的像素值上，这样得到的融合结果缺乏具体的针对性，对图像边缘等特征的处理和对平滑自然信息的处理采用同一种方法不符合图像的形成原理。本文对其进行改进，对包含不同类型信号的图层采用基于特征矩阵的不同融合规则。
　　平滑层包含信息量较多，因此本文对于平滑层的自然信息设计了以特征向量作为权值的加权图像融合规则。以平滑层子图特征向量和决定该平滑层子图的像素最终融合比例，如式（5）所示。
　　最后通过分解的逆过程重构，将融合后的子图层[pt？x，y，pnx，y][？=1，2，3，？，K]重构得到融合结果。本文融合规则适用于两幅及多幅源图情况下的多聚焦图像融合问題，突破了早期融合规则适用于AB两幅源图融合的局限性。
　　2 实验结果
　　本文算法参数设置取分解系数K=3，源图像个数R=2，取样窗口N=3，实验环境选择MATLAB R2009a，取以下4组多聚焦图像组合并用本文WFAMCA算法融合结果进行展示，如图4所示。这4组图均是对同一场景的不同物体进行对焦，图4（a）组相机聚焦在画面左侧景物，图4（b）组聚焦在画面右侧景物，未对焦的部分因物理相机景深限制呈现模糊状态，分别将图4中的（a）（b）两组图像作为本文融合算法的源文件输入，得到图4（c）为本文算法融合效果直观图。为了表述清晰，4组图像分别命名为热气球、教室、盆栽、杂志，可以看到对比（a）（b）组中各自模糊部分，（c）组左右两侧都能清晰呈像。
　　图4展示了本文算法在主观标准方面的融合优势，为进一步对比本文算法优势，选取4个具有代表性的算法融合结果与之比较，以展现本文算法客观指标方面的优势。用于比较的4种融合算法分别是：GRP梯度金字塔算法、MP形态金字塔算法（Morphological Pyramid based Algorithm）[13]、FSD抽样滤波器层次金字塔算法（Hierarchical Pyramid based Algorithm）[14]和DWT D样条曲线小波变换算法（Discrete Wavelet Transform with Daubechies Spline Wavelet based algorithm） [15] 。本文选择5个用于量化客观图片融合效果好坏的比较指标，分别是PSNR峰值信噪比[16]、MI互信息、SSIMF结构相似指标、（Q，[QW]）Piella指标[17]。
　　3 结语
　　本文提出了一种用于两幅及以上多聚焦源图的基于迭代型形态成分分析的图像融合算法。迭代型形态成分分析作为建立在形态成分分析之上的盲源信号分解方法，既避免了图像域方法会产生块效应的缺点，又克服了变换域方法基函数单一、固定的缺点。同时改善了形态成分分析分解图像信号分离不彻底、纹理层信息不全的情况，使得对源图像分解后的信息之间耦合度更低。本融合算法的另一个特点在于融合过程不是使用传统的绝对值最大法、平均法等，而是先从分解后的多尺度子图上提取重要的图像特征，再根据子图特点进行融合，该融合规则更符合人眼的视觉机制，并适用于多幅源图的融合场景。实验结果也证明该方法具有较好的融合表现。在未来研究中希望能提高算法的分解与融合速度，并将融合算法扩展至其它涉及图像融合的领域。
　　参考文献：
　　[1] 石桂名，魏庆涛，孟繁盛. 基于Canny 算子的图像边缘检测算法[J]. 现代电子技术， 2015，38（12）： 92-93.
　　[2] 袁小翠，吴禄慎，陈华伟. 基于Otsu 方法的钢轨图像分割[J]. 光学精密工程， 2016，24（7）： 1772-1781.
　　[3] 崔笑宇，赵越，范群安，等. 单目立体视觉系统的棱镜位置估计[J]. 东北大学学报（自然科学版）， 2015，36（6）： 765-768.
　　[4] 陈健，王灵阳，陈德全，等. 基于对焦深度法的光学显微镜系统设计[J]. 应用光学，2017，38（6）：979-984.
　　[5] JINJU J， SANTHI N， RAMAR K，et al.Spatial frequency discrete wavelet transform image fusion technique for remote sensing applications[J].  Engineering Science and Technology， an International Journal， 2019.
　　[6] TANG H， XIAO B， LI W， et al. Pixel convolutional neural network for multi-focus image fusion[J]. Information Sciences， 2018， 433： 125-141.
　　[7] DU J， LI W， XIAO B， et al. Union Laplacian pyramid with multiple features for medical image fusion[J]. Neurocomputing， 2016，194： 326-339. 　　[8] MAHFOOZ O， SHAH A. Revisiting far/near infrared pyramid-based fusion types for night vision using Matlab[J]. Pakistan Journal of Engineering， Technology & Science， 2015， 1（1）.
　　[9] GURUPRASAD S， KURIAN M Z， SUMA H N. A medical multi-modality image fusion of CT/PET with PCA， DWT methods[J]. Journal of Dental Materials & Techniques， 2013，4（2）：677-681.
　　[10] 廖瑞华，李勇帆，刘宏. 基于稳健主成分分析与核稀疏表示的人脸识别[J]. 计算机工程，2016，42（2）：200-205.
　　[11] 申婧妮，王慧琴，吴萌，等. MCA 分解的唐墓室壁画修复算法[J]. 计算机科学与探索，2017，11（11）：1826-1836.
　　[12] LI X，WANG L，WANG J，et al. Multi-focus image fusion algorithm based on multilevel morphological component analysis and support vector machine[J]. IET Image Processing，2017，11（10）： 919-926.
　　[13] ZHANG Y，BAI X，WANG T. Boundary finding based multi-focus image fusion through multi-scale morphological focus-measure[J].  Information fusion， 2017， 35： 81-101.
　　[14] CHEN Y，SANG N. Attention-based hierarchical fusion of visible and infrared images[J]. Optik， 2015，126（23）： 4243-4248.
　　[15] MISHRA D， PALKAR B.Image fusion techniques： a review[J]. International Journal of Computer Applications， 2015，130（9）： 7-13.
　　[16] 楊艳春，李娇，王阳萍. 图像融合质量评价方法研究综述[J]. 计算机科学与探索，2018，12（7）：1021-1035.
　　[17] 张小利，李雄飞，李军. 融合图像质量评价指标的相关性分析及性能评估[J]. 自动化学报，2014，40（2）： 306-315.
　　（责任编辑：孙 娟）
转载注明来源:https://www.xzbu.com/8/view-15254806.htm