改进匹配块的Criminisi修复算法

来源:用户上传      作者:曹齐 汤汶 朱耀麟

　　摘要：图像修复技术在图像处理中有着非常重要的作用，它在图像拼接，图像编辑和目标移除等方面有着广泛的应用。针对原始Criminisi算法中图像修复之后出现图像修复效果不佳的问题提出了一种改进的Criminisi算法。改进算法针对原始Criminisi算法中修复块大小固定，提出一种利用峰值信噪比来寻找最佳修复块。通过大量实验验证，改进的算法能够有效解决图像修复中的连续性问题，提高修复的质量与效率。
　　关键词： 图像修复; Criminisi算法; 目标移除; 最佳修复块; 峰值信噪比
　　中图分类号：TP391        文献标识码：A        文章编号：1009-3044（2019）02-0160-03
　　An Improved Criminisi Repair Algorithm for Matched Blocks
　　CAO Qi1， TANG Wen1，2， ZHU Yao-lin1
　　（1. Xi'an Polytechnic University ， Xi'an 710600， China;  2. Bournemouth University， UK）
　　Abstract：Image restoration technology plays a very important role in image processing. It has a wide range of applications in image mosaic， image editing and object removal. An improved Criminisi algorithm is proposed to solve the problem of poor image restoration effect after image restoration in the original Criminisi algorithm. Aiming at the fixed size of the repair block in the original Criminisi algorithm， the improved algorithm proposes a peak signal-to-noise ratio （PSNR） to find the best repair block. Experiments show that the improved algorithm can effectively solve the continuity problem in image restoration and improve the quality and efficiency of image restoration.
　　Key words：image restoration; criminisi algorithm; object removal; best repair block; peak signal-to-noise ratio
　　圖像修复[1]是基于图像中完整信息还原图像中缺失部分。图像修复的方法可分为两类：基于结构的图像修复技术和是基于样本块匹配的纹理合成技术。
　　基于结构的图像修复技术是利用偏微分方程（partial differential equation，PDE）[2]核心思想是利用待修复区域的边缘信息来确定扩散信息和方向，从区域边界各向异性的向边界内扩散。Bertalmio等[3]提出将图像用作具有不同基本特征的两个函数的组合，提出了具有相应值填充算法的重构函数。Shen等[4]提出了总体变差（TV）模型和曲率推动扩散模型（CDD）。基于结构的图像修复技术用于修复破损区域较小的图像。
　　基于样本块的纹理合成技术在2004年由Criminisi等[5]提出，是一种修复大区域破损图像的经典算法。针对Criminisi算法中优先权的计算方式不合理问题，池悦[6]等在置信度中引入指数，李爱菊[7]等在优先权公式中增重了数据项的占比，张申华[8]等在数据项中加入曲率和梯度来改进优先权的计算方式。Criminisi算法中修复块的大小是固定的，汪方正等[9]根据图像区域纹理结构信息自适应改变模板块的尺寸。Criminisi算法中搜索方式是全局搜索会占用较长时间，李尊等[10]采用蝙蝠算法进行最佳模块搜索。Criminisi算法中待修复区域由人为主观确定，李尊等[11]用腐蚀和膨胀算子对待修复区域边缘进行处理，减少错误信息的累积。刘奎等[12]将结构张量应用于图像修复中，增强图像的结构信息。
　　Criminisi算法是基于样本的纹理合成技术，原始算法中修复块是固定的。因此，本文在经典Criminisi算法的基础上根据峰值信噪比确定最佳修复块，获得最佳的修复效果。实验结果表明，本文改进算法可提高图像的修复质量。
　　1 Criminisi算法介绍
　　图1是Criminisi算法的原理图，其中[I]是待修复的破损图像，[Ω]是破损区域，[Φ]是样本区域，[?Ω]表示破损区域和样本区域的边缘，蓝色方块中黑点[P]是待修复块的中心点，[φp]是以[P]为中心点大小是[9*9]的待修复块，[np]为[P]法线方向，[?I⊥p]为[P]等照度线方向。
　　Criminisi算法的核心思想是：计算修复块的优先权，根据优先权决定修复区域，根据SSD准则寻找最佳匹配块并进行填充，最后更新置信度，直至待修复区域修复完成。Criminisi算法有以下三个步骤：
　　1.1 优先权计算
　　修复块的优先权计算公式如下： 　　[Pp=Cp*Dp]                      （1）
　　式中，[Cp]为点[P]的置信项;[Dp]为点[P]的数据项。式中，[Cp]和[Dp]的计算公式如下：
　　[Cp=q∈φp?ΦCqφp]                               （2）
　　 [Dp=?I⊥p·npα]                     （3）
　　式中，[α=255]是归一化参数 。
　　1.2 最佳匹配块的选择与填充
　　最佳匹配块的选择是根据像素平方差之和SSD（Sum of Squared Differences，SSD）准则，计算公式如下：
　　 [SSD=argmindφp，φq]       （4）
　　式中，[dφp，φq]的计算公式如下：
　　[dφp，φq=rp-rq2+gp-gq2+bp-bq2]
　　（5）
　　式中[r，g，b]表示圖像的颜色值，[p]和[q]分别表示破损区域的点和样本区域的点。在样本区域寻找最佳匹配块，将最佳匹配块填充到破损区域。
　　1.3 置信度更新
　　完成填充之后，需要更新图像的置信度[Cp]，公式如下：
　　[Cp=Cp，?p∈φp?Ω]            （6）
　　2 改进的Criminisi算法的图像修复
　　在原始Criminisi算法中，修复块是固定的。然而破损区域大小不同时，图像包含的信息也不同，固定大小的修复块造成修复效果不佳，因此改变修复块的大小得到最佳修复效果。
　　原始Criminisi算法中，修复块大小为9*9。Criminisi算法针对的是破损区域不同的图像，应在修复过程中寻找合适大小的修复块。对于图像的修复效果的评价一般采用的是主观评价和客观评价。主观评价存在人为因素，每个人对修复效果的评价不同，没法客观说明修复效果的好坏;而客观评价主要有图像的峰值信噪比（Peak Signal to Noise Ratio，PSNR），结构相似性（Structural Similarity Index，SSIM），以及信号噪声比（Signal to Noise Ratio， SNR）。一般采用的都是PSNR来评价图像的修复效果。
　　峰值信噪比（Peak Signal to Noise Ration， PSNR）[13]是一种客观的评价准则，它的定义如下：
　　 [PSNR=10*log102552MSE]                 （7）
　　式中，MSE是均方误差，它的计算公式如下：
　　[MSE=1m*ni=0m-1j=0n-1Ii，j-Ki，j2]            （8）
　　式中，m和n分别表示图像的行数和列数，i和j分别表示图像中某个具体像素点，[Ii，j]和[Ki，j]分别为原始图像和修复图像中的某个像素点。
　　本文使用不同修复块对图像进行修复，每次修复完成之后使用PSNR来评判图像的修复质量，最终寻找最大值的PSNR和最佳修复块，得到最佳的修复效果。图2为本文算法的流程图：
　　3 仿真结果分析
　　为证明提出算法的有效性，本文在Windows10，Matlab2016a语言编程环境下对不同类型的破损图像进行计算机仿真实验。本文算法与经典Criminisi算法，文献[8]，文献[12]进行比较。修复结果的评判采用主观观察和客观观察，客观观察通过峰值信噪比（peak signal to noise ration， PSNR）和结构相似度（structural similarity index， SSIM）进行数据评判。
　　图3（c）中修复结果较差，文献[12]的方法相对于Criminisi算法有一定的改进，但修复结果中仍出现小区域的匹配错误，本文的算法整体修复效果较好，客观数值有较大增长。由表1知，图3中PSNR值本文算法相对于Criminisi算法，文献[8]以及文献[12]算法分别增加了2.7939%，3.0641%，10.8346%;SSIM值本文算法相比于Criminisi算法，文献[8]和文献[12]算法分别增加了8.0904%，7.8725%，8.0632%。无论从主观方面讲还是客观方面本文算法均有改进。图4进行的是划痕的移除，观察图4知使用Criminisi算法进行修复之后，图像中多处出现了结构断裂等情况，使用文献[8]和[12]的方法虽然有改进，但是仍然有结构断裂的情况。本文算法对图像进行修复之后，图像的修复效果较好，符合人类视觉。
　　4 结论
　　本文针对Criminisi算法中修复块大小进行了改进，在原始Criminisi算法的基础上采用计算PSNR得到最佳修复块来获得最佳修复效果，本文使用不同图像修复的实验来表明本文算法的优越性。
　　参考文献：
　　[1] 陈钱. 红外图像处理技术现状及发展趋势[J]. 红外技术， 2013， 35（6）：311-318. 　　[2] Bertalmío M， Sapiro G， Caselles V， et al. Image inpainting[C]// Conference on Computer Graphics and Interactive Techniques. DBLP， 2000：417-424.
　　[3] Bertalmio M， Vese L， Sapiro G， et al. Simultaneous structure and texture image inpainting.[J]. IEEE Transactions on Image Processing， 2003， 12（8）：882-889.
　　[4] Shen J. and Chan T. Mathematical Models for Local Non-texture Inpaintings.[J]. Siam Journal on Applied Mathematics， 2002， 62（3）：1019-1043.
　　[5] Criminisi A， Pérez P， Toyama K. Region filling and object removal by exemplar-based image inpainting[J].IEEE Transactions on Image Processing， 2004， 13（9）： 1200-1212.
　　[6] 池悦， 何宁， 张琪，等. 一种改进的基于Criminisi算法的目标移除方法[J]. 北京联合大学学报， 2017， 31（1）：67-74.
　　[7] 李爱菊， 钮文良. 基于改进Criminisi算法的图像修复[J]. 计算机工程与应用， 2014， 50（18）：167-170.
　　[8] 张申华， 王克刚， 祝轩. 局部特征信息约束的改进Criminisi算法[J]. 計算机工程与应用， 2014， 50（8）：127-130.
　　[9] 汪方正， 吴建鑫. 基于纹理结构引导自适应的改进Criminisi算法[J]. 武汉科技大学学报， 2016， 39（2）：150-155.
　　[10] 李尊， 吴谨， 刘劲. 目标移除的Criminisi图像修复算法[J]. 红外技术， 2016， 38（1）：28-32.
　　[11] 李尊， 吴谨， 刘劲. 数学形态学在Criminisi图像修复算法中的应用[J]. 红外技术， 2015， 37（7）：574-578.
　　[12] 刘奎， 苏本跃， 赵晓静. 基于结构张量的图像修复方法[J]. 计算机应用， 2011， 31（10）：2711-2713.
　　[13] Lore K G， Akintayo A， Sarkar S. LLNet： A deep autoencoder approach to natural low-light im-age enhancement[J]. Pattern Recognition， 2017， 61：650-662.
转载注明来源:https://www.xzbu.com/8/view-15270485.htm