基于图像分块和改进Criminisi算法的图像修复方法

来源:用户上传      作者:

　　摘  要： 图像在采集和传输过程中，由于多种因素的干扰，图像会受到一定的损伤，导致图像质量下降。针对目前图像修复方法存在修复时间长，修复效果有限等不足，提出基于图像分块和改进Criminisi算法的图像修复方法。首先将原始图像划分为多个子块，然后采用Criminisi算法對每一子块图像进行修复，并针对传统Criminisi算法存在的局限性进行相应的改进，最后通过具体的图像修复实验分析所提方法的有效性和优越性。结果表明，所提方法减少了图像修复时间，可以加快图像修复的速度，图像修复后的质量要远优于对比方法，是一种速度快、效果好的图像修复方法。
　　关键词： 图像修复; 图像子块; Criminisi算法; 修复效率; 修复效果; 实验分析
　　中图分类号： TN911.73?34; TP181                   文献标识码： A                  文章编号： 1004?373X（2020）01?0063?04
　　Image inpainting method based on image partition and
　　improved Criminisi algorithm
　　QI Juhui
　　Abstract： In the process of image acquisition and transmission， the image may be damaged to a certain extent due to the interference of many factors， resulting in the degradation of image quality. There are some shortcomings in the current image inpainting methods， such as long inpaiting time and limited repair effect. Therefore， an image inpainting method based on image segmentation and improved Criminisi algorithm is proposed. In the method， the original image is divided into several sub?blocks， and then each image sub?block is renovated with the Criminisi algorithm. The corresponding timing is changed for the limitations of the traditional Criminisi algorithm. Finauy， the effectiveness and superiority of the proposed method are analyzed by specific image inpainting experiments. The results show that the proposed method can shorten the duration of image restoration， accelerate the speed of image restoration， and the quality of image restoration is much better than that of contrast method. It is a fast and effective image restoration method.
　　Keywords： image inpainting; image sub?block; Criminisi algorithm; restoration efficiency; restoration effect; experimental analysis
　　0  引  言
　　随着多媒体技术、数字摄像设备的不断发展，图像处理和分析处理技术在多个领域得到了成功应用，每天都有许多新的图像产生，并在网络上进行传输。图像在采集过程中，由于受到外界环境、天气以及采集设备、摄像人员水平的限制，图像质量没有达到实际应用要求。同时在传输过程中，受到人为因素、网络干扰等，使得图像出现损坏或者部分缺失，这样严重影响图像的完整性。因此如何保持图像完整性，提高图像的清晰度，使其可以更好地描述图像所要表达的内容成为大家关注的焦点[1?3]。
　　当前改善图像质量的方法众多，如图像增强技术、图像复原技术和图像修复技术。相对图像增强技术、图像复原技术，图像修复技术主要针对缺失或受损图像，可以对图像缺失进行修补，实际应用价值更高，因此图像修复技术的研究成为当前一个重要的研究方向[4?6]。几十年来，图像修复技术一直被学者们所关注，国外对图像修复技术研究的起步比较早，图像修复技术十分成熟，国内图像修复技术研究时间比较短，但是发展速度相当快，己经有了长足的进步，在许多方面已经达到了国外图像修复水平[7]。当前，图像修复技术主要包括：基于偏微分技术的图像修复方法、基于纹理信息的图像修复方法、基于结构信息的图像修复方法[8]。其中，基于偏微分技术的图像修复方法主要是对待填充区域进行不断的扩展，使得修复区域不断缩小，到最后使得修复区域完全消失，最具代表性的方法是全变分原理的图像修复，该方法的图像修复效果好，但是图像修复时间长，不能进行图像网络的在线修复[9?10]。基于结构信息的图像修复方法，当损坏或者缺失的区域较小时，图像修复效果好，但是当图像缺陷的区域比较大，图像修复效果急剧下降[11]。基于纹理信息的图像修复方法对图像进行划分，得到纹理部分和结构部分，对于纹理部分和结构部分分别进行修复，图像修复结果更加自然和完整，经典方法为Criminisi算法的图像修复方法，无论在图像修复质量或者修复速度方面，均优于其他图像修复方法。但是Criminisi算法同样存在一定的缺陷，如重要信息丢失严重，修复区域的亮度不够等[12?13]。 　　针当目前图像修复方法存在修复时间长，修复效果有限等不足，提出基于图像分块和改进Criminisi算法的图像修复方法。该方法对原始图像进行分块，然后采用改进Criminisi算法对子块图像进行修复，最后通过图像修复仿真实验测试本文方法的性能。结果表明，本文方法的圖像修复质量好，图像修复效率高，具有比较明显的优越性。
　　1  本文提出的图像修复方法
　　1.1  图像分块
　　对于一幅待修复的原始图像，将其划分为多个子块图像，子块图像之间不存在重复区域，具体划分思想如图1所示。图像经过分块后，可以对每一下子块进行修复操作，这些操作可以并行实现，能够有效减少图像修复的时间，加快图像修复的速度。
　　1.2  传统Criminisi算法
　　2003年，有学者提出图像修复的Criminisi算法，突破了传统图像修复的框架，相对以前的图像修复方法，Criminisi算法主要从两个方面做了比较大的改进，具体为：图像修复顺序的改善;采用区域的方式进行填充和修复。
　　传统方法从外往内进行修复，是一个典型的收缩过程，这样外面图像的像素优先级别就高;而Criminisi算法采用优先权的修复方式，认为待修复像素点的周围像素优先级别更高，应该提前进行修改操作，较好地克服了传统方法无法有效修复图像边缘的缺陷。同时，传统方法修复采用像素点方式进行修复，修复的时间比较长，而Criminisi算法采用区域方式进行修复，大幅度降低了图像的修复时间。
　　设原始待修复图像为[I]，其待修复的区域为[Ω]，[Φ]表示有效区域，[Ω]和[Φ]的边界为[?Ω]，[p]表示边界上优先权最大的像素点，[φp]表示以[p]为中心的区域，该区域信息一部分已知，一部分未知待填充，[?Ip]表示[p]的等照度线方向，[np]表示[p]法向量。Criminisi算法的工作原理为：不断对待修复区域进行填充，直到待修复区域面积为零，具体如图2所示。
　　Criminisi算法的工作过程具体如下：
　　Step1：输入图像，并对图像进行一定的处理，如尺寸大小的修改等。
　　Step2：将原始图像待修复区域标记为[Ω]，这样图像有用区域为：[Φ=I-Ω]，确定图像中待修复区域边界优先权最大像素点，并估计[φp]，计算边界上像素点的优先权[P（p）]，具体为：
　　[P（p）=C（p）×D（p） ] （1）
　　式中：[D（p）]表示置信度，用于描述[φp]的信息量的多少，[D（p）]越大，那么其越早被修复;[C（p）]表示数据项，用于描述[p]点的亮度变化程度，具体为：
　　[C（p）=q∈φp?ΦC（1）φpD（p）=?Ip*npa] （2）
　　式中：[φp]表示[φp]的面积;[a]表示归一化因子;[np]表示[?Ω]和[p]的正交向量。
　　Step3：在边界上像素点中找到优先权最大的点[p]后，然后搜索最优先的修复块，设[φp]表示优先级最高的待修复块，那么完好区域的最佳样本块[φ′q]确定方式为：
　　[φ′q=arg min dφ′q∈Ω（φq，φ′q）]     （3）
　　式中：[d（φq，φ′q） ]表示[φq]和[φ′q]之间的距离，计算公式具体为：
　　[d（φq，φ′q）=i jφq（i，j）-φ′q（i，j）2]    （4）
　　Step4：采用完好区域的最佳样本块[φ′q]像素值填充到[φp]的像素点，[φp]的边界就会发生变化，这样[φp]置信度就会发生改变，具体改变方式为：
　　[C（p）=C（p），   ?p∈φp?Ω]  （5）
　　Step5：不断重复Step2～Step4，直至受损区域修复完整为止。
　　1.3  Criminisi算法的不足及改进
　　在标准Criminisi算法的实际应用中，发现其存在一些问题，具体表现为：到了修复后期，优先权值不太可信，使图像修复的顺序发生错误;最佳样本块不是真正的最优，修复效果差。因此，本文对标准Criminisi算法进行改进，具体如下。
　　1.3.1  优先权值计算公式的改进
　　从式（1）可以看出，当[C（p）=0]时，无论置信度[D（p）]有多高，只要优先权[P（p）=0]，就会对该区域进行优先修复，因此，对优先权[P（p）]的计算公式做如下修改：
　　[Pp=Cp，    Dp=0αCp+βDp，    Dp≠0，  and  Cp≥0.5CpDp，    Dp≠0，  and  Cp<0.5] （6）
　　式中[α]和[β]分别为一常数。
　　从式（6）可知，即使[Cp]=0，只要[Dp]比较大，那么该区域也能够得到优先修复，较好地解决了Criminisi算法存在的缺陷。
　　1.3.2  最佳样本块的确定
　　在标准Criminisi算法的图像修改过程中，要搜索到和边缘上优先权值最大的最佳样本块，需要对整个图像源完好区域进行搜索，这样搜索空间大，搜索时间长。事实上，最佳样本块仅存在于一个固定区域内，基于马尔可夫随机场原理，本文将最佳样本块限定在待修补像素点为中心的正方形邻域内，该邻域大小为[S×S]，如果受损区域最大为[m×n]，那么[S=2max+1]，这样加快了最佳样本块的确定时间，加快图像修复速度。
　　1.4  本文方法的图像修复步骤
　　基于图像分块和改进Criminisi算法的图像修复方法的工作步骤具体为： 　　1） 收集待修复的图像，并对图像进行一定的处理，如去噪、尺寸大小的归一化操作等。
　　2） 对待修复的图像进行分块操作，得到不同大小的子块图像。
　　3） 对每一个子块图像采用改进Criminisi算法进行修复。
　　4） 对修复后的子块图像进行组合，得到最终的图像修复结果。
　　2  图像修复效果的测试与分析
　　2.1  测试环境
　　为了测试基于图像分块和改进Criminisi算法的图像修复方法的性能，选择的测试平台为：Intel 奔腾G4560 CPU，威刚XPG Z1 DDR4 2400 16 GB RAM，三星970 EVO NVMe M.2 250 GB固态硬盘，影驰GeForce RTX 2080 GAMER 显卡的计算机，操作系统为WIN 10，采用Visual C++ 6.0作为编程方法，选择图像修复对象如图3，图4所示。
　　2.2  图像修复结果的主观评价
　　为了使本文方法的图像修复结果具有可比性，本文选择传统Criminisi算法进行对比测试，它们对鸵鸟图像和猩猩图像的修复结果如图5，图6所示。
　　由图5和图6的鸵鸟图像和猩猩图像的修复结果可知：Criminisi算法的修復结果出现了明显的断裂现象，同时一些不合理的信息也进行了过度延伸，如纹理信息，出现了许多错位的现象;而本文方法可以对损坏区域进行较好地修复，修复后图像更加完整，视觉效果更优，图像区域间的过渡效果更加自然，这主要是因为本文方法对Criminisi算法进行了有效的改进，鸵鸟图像和猩猩图像的修复结果才会更加理想。
　　2.3  图像修复结果的客观评价
　　采用峰值信噪比（PSNR）[14]对图像修复结果进行客观评价，结果如表1所示。从表1可知，鸵鸟图像或者猩猩图像，本文方法修复后图像的PSNR更大，修复后图像与理想图像间的误差小，这表示图像中有用信息量更多，相对于Criminisi算法，本文方法明显提升了图像质量。
　　统计两种方法对鸵鸟图像或者猩猩图像修复的时间，结果如表2所示。
　　
　　从表2可知，本文方法的图像修复时间短，Criminisi算法的图像修复时间较长，因此本文方法图像修复速度要快于Criminisi算法，改善了图像修复效率。
　　3  结  语
　　由于图像经常受到外界的干扰，出现许多损失区域，一些重要信息丢失，为了改善图像质量，提出基于图像分块和改进Criminisi算法的图像修复方法。与当前其他图像修复方法进行了对比测试，结果表明，本文方法的图像修复时间短，提高了图像修复效率，图像修复后视觉效果更优，更加有利于后续的图像处理和分析研究。
　　参考文献
　　[1] LUO K， LI D X， FENG Y M. Depth?aided inpainting for disocclusion restoration of multi?view images using depth image?based rendering [J]. Journal of Zhenjiang University （Science A）， 2009， 10（12）： 1738?1749.
　　[2] 耿卫江.结构相似度索引耦合最优稀疏表示的大规模损坏图像动态修复[J].科学技术与工程，2014，60（25）：107?114.
　　[3] 康佳伦，唐向宏，张东，等.特征分类学习的结构稀疏传播图像修复方法[J].计算机辅助设计与图形学学报，2015，27（5）：864?872.
　　[4] 谢琼，张红英，彭博.基于模式相似性的图像修复算法[J].现代电子技术，2013，36（2）：94?96.
　　[5] 孟春芝，何凯，焦青兰.自适应样本块大小的图像修复方法[J].中国图象图形学报，2012，17（3）：337?341.
　　[6] 来毅，任莉，刘颖.空间差异度量约束的图像修复[J].电讯技术，2018，58（8）：900?906.
　　[7] 杨歆，孙俊航.动态调节耦合纹理差异量化的图像修复算法[J].计算机工程与设计，2018，39（7）：2015?2019.
　　[8] 杜闪闪，韩超.基于总变分模型的改进图像修复算法[J].激光与光电子学进展，2018，55（7）：175?180.
　　[9] 朱婉霞，王国栋，潘振宽，等.基于多通道非线性扩散项的运动模糊图像盲复原[J].激光与光电子学进展，2018，55（7）：191?199.
　　[10] 谢斌，丁成军，刘壮.基于图像分解的图像修复算法[J].激光与红外，2018，48（5）：651?658.
　　[11] 刘继忠，吴文虎，程承，等.基于像素滤波和中值滤波的深度图像修复方法[J].光电子[?]激光，2018，29（5）：539?544.
　　[12] 李梦雪，翟东海，孟红月，等.划分特征子区域的图像修复算法[J].计算机应用，2017，37（12）：3541?3546.
　　[13] 张从飞，邵利平，师军.结合自适应梯度分类匹配的改进Criminisi图像修复算法[J].小型微型计算机系统，2018，39（2）：379?385.
　　[14] 何凯，牛俊慧，沈成南，等.基于SSIM的自适应样本块图像修复算法[J].天津大学学报（自然科学与工程技术版），2018，51（7）：763?767.
　　作者简介：齐巨慧（1978—），男，山西原平人，硕士，工程师，研究方向为计算机应用。
转载注明来源:https://www.xzbu.com/8/view-15122182.htm