基于PyTorch的图像修复技术研究

来源:用户上传      作者:贺丹

　　摘要：图像修复技术是利用计算机技术将图像中的多余部分去除或者填补图像中的缺失部分，该技术广泛应用于医学图像处理、文物修复、人脸识别等领域。早期的图像修复技术在小区域缺失图像处理中取得了良好的效果，但面对大区域缺失图像，修复效果往往不够理想。随着深度学习、人工智能技术的发展，深度学习技术为图像修复提供了新的解决方案。文中重点介绍了基于深度学习的图像修复模型，以PyTorch深度学习框架为基础，以PASCAL VOC2012数据集为实验对象。实验表明，基于深度学习的图像修复模型在图像修复问题上取得了良好效果。
　　关键词： PyTorch; 图像修复; 深度学习; 人工智能; 神经网络
　　中图分类号：TP311 文献标识码：A
　　文章编号：1009-3044（2022）09-0075-03
　　1 引 言
　　随着多媒体技术和信息技术的发展，图像作为最重要的信息载体之一，在医学图像处理、遥感影像处理、人脸识别等领域发挥着越来越重要的作用。与此同时，人们对图像质量提出了更高的要求，在图像内容和图像完整度上都有较高的要求，从而促使如何提高图像质量问题成为当前计算机视觉领域重点研究问题之一。图像修复[1]的概念最早由Bertalmio等人于2000年提出，图像修复就是利用图像处理算法将原始图像中多余的部分去除，得到修复后的图像，或者是在原始图像中的缺损区域填充合理信息，让图像信息更完整的过程[2-5]。但在图像修复过程中往往面临着如下问题：首先，原始图像中能利用的有价值信息十分有限，不能单纯地利用已有信息填a缺损区域;其次，图像修复算法的性能直接决定了修复后图像在视觉上的真实合理性，尤其是涉及人脸图像的修复，细微的差距就将影响图像整体的视觉效果;最后，原始图像中缺失区域的大小、形状、位置等都将影响图像修复的难度。因此，图像修复是计算机视觉和图像处理领域一个经典且具有挑战性的研究课题。
　　2 图像修复技术
　　2.1 图像修复问题描述
　　图像修复问题主要包括两种类型：第一种是去除原始图像中多余的部分，让图像中的核心内容更清晰，这种类型主要应用在图像遮挡物去除、无关物去除等场景，如图1所示。第二种是填充原始图像中的缺失部分，让图像更完整，这种类型主要应用在图像缺失填补的场景，如图2所示。
　　2.2 图像修复技术国内外研究现状
　　根据研究内容的侧重点不同，可以将传统的图像修复技术分成两类：基于结构的图像修复技术、基于纹理的图像修复技术。其中基于结构的图像修复技术以基于偏微分方程的修复算法[1，6]为代表，这种算法主要面向小尺寸的图像缺失问题，以单个像素作为图像修复的基本单元，利用像素扩散的方式完成缺失图像的填充，但这种方式的鲁棒性较差，容易造成图像模糊。基于纹理的图像修复技术以基于样本块纹理合成算法[7-8]为代表，这种算法是从原始图像的已知区域中寻找目标块，并将目标块的信息复制到缺失区域中，达到图像修复的目的。在处理场景图像的修复问题上，虽然基于结构的图像修复技术和基于纹理的图像修复技术取得了良好的修复效果，但是这两种算法只能对简单的、纹理特征明显的图像进行修复，在实际应用中具有较大的局限性。
　　近年来，人工智能技术取得飞速发展，深度学习算法日新月异，深度学习算法在计算机视觉、图像处理等领域的应用越来越广泛的同时，也取得了巨大的研究进展和良好的研究成果。基于深度学习的图像修复技术在生产实践中广泛应用的同时，也得到越来越多学者的关注，并提出了基于深度学习的图像修复模型，深度学习的修复方法通过从大规模的数据集中学习图像中的语义信息，大幅度提升图像修复效果。纵观国内外现有研究成果，基于深度学习的图像修复模型可以总结为下述三种[9]：基于自编码的图像修复方法[10]、基于生成模型的图像修复方法[11]和基于网络结构的图像修复方法[12]。
　　基于自编码的图像修复方法主要用到了自编码器结构（Autoencoder， AE），自编码器由编码器和解码器两部分组成，其结构如图3所示。从图3中可知编码器由卷积神经网络构成，从而实现对原始图像的降维编码操作，解码器由反卷积神经网络组成，利用编码阶段提取的原始图像特征实现图像的解码重构。在编码阶段，利用编码器将原始图像压缩并映射到特征空间，随着卷积层级的不断加深，通道数逐渐增加，特征图尺寸逐渐减小。在解码阶段，通过从多个通道的深层特征实现图像重构，随着通道数逐渐减小，图像尺寸逐渐增大，直至恢复至原始图像的尺寸。
　　基于生成模型的图像修复方法主要用到了生成对抗网络（Generative Adversarial Networks， GAN），GAN网络中包括了两套独立的网络，分别是生成器网络G网络、判别器网络D网络，这两套网络用来作为相互对抗的目标。生成器网络用来生成类似于真实样本的随机样本，并作为假样本数据，判别器网络是需要训练的网络，用来分辨是真实数据还是假样本数据。当生成器网络生成的图像内容不合理，或者图像内容与真实图像不符时，判别器网络会将图像判别为假，从而计算出生成图像与真实图像之间的差距，并将差距作为反馈传回生成器网络，指导生成网络不断提高生成图像的质量，直到判别器网络无法分辨生成图像的真假为止。
　　基于网络结构的图像修复方法是以一个未被训练的生成网络为基础，对该生成网络进行随机初始化处理，一方面利用初始化的网络拟合待修复图像，另一方面对单张缺失图像的已知部分进行训练，以生成网络结构作为先验信息，执行迭代操作反向推导出图像缺失区域的图像内容，迭代操作需要根据推导出缺失区域的图像内容来确定。基于网络结构的图像修复方法较好地利用了深度生成网络的捕获大量低级图像统计信息的能力，在学习之前就能从深度生成网络的结构中捕获，从而避免从大量数据集中获取统计信息。这种方式在难以获得大量的图像训练集时十分有效，但是图像修复的计算量较大，迭代次数较多，影响算法执行效率。

nlc202205171924

转载注明来源:https://www.xzbu.com/8/view-15431574.htm