自适应与非自适应图像插值算法比较分析

来源:用户上传      作者:陈浩 郭欣欣

　　摘   要：图像插值是从已知像素值计算未知像素值的过程，可用于数字图像的放大和对比。图像插值技术在遥感、医学诊断、农业、地质、军事等众多领域都有着广泛的应用。有多种算法可用于图像缩放，这些技术主要分为自适应和非自适应图像插值两类，这两种插值技术可进一步分为各种类型。本文从峰值信噪比（PSNR）这一性能参数出发，对这些不同的自适应和非自适应图像插值技术进行了阐述和比较。选择合适的插值方法是一项非常严谨的研究，也是进行插值分析的首要要求。
　　关键词：图像插值  非自适应  自适应  峰值信噪比
　　中图分类号：TP391                                 文献标识码：A                        文章编号：1674-098X（2020）04（c）-0128-03
　　Abstract： Image interpolation is the process of calculating unknown pixel values from known pixel values， and can be used to zoom in and compare digital images. Image interpolation technology has been widely used in many fields such as remote sensing， medical diagnosis， agriculture， geology， and military. There are a variety of algorithms available for image scaling. These techniques are mainly divided into adaptive and non-adaptive image interpolation. These two interpolation techniques can be further divided into various types. Based on the performance parameter of PSNR， this paper describes and compares these different adaptive and non-adaptive image interpolation algorithms. Choosing a suitable interpolation method is a very rigorous study and the first requirement for interpolation analysis.
　　Key Words： Image interpolation; Non-adaptive; Adaptive; PSNR
　　图像插值在图像处理领域有着广泛的应用，比如可以应用于计算机图形学、绘制、编辑、医学图像构建和轮廓图像查看等各个领域。图像插值就是在不丢失原始图像的视觉信息的情况下，从原始低分辨率图像分辨率生成另外一个高分辨率分辨率的图像[1]。图像缩放是将图像从一个比例转换为另一个比例的过程，而插值是一个图像放大的过程，这个过程是通过在离散输入样本区间的值拟合一个连续函数来实现[2]。图像放大技术已广泛应用于计算机设备、打印机、数字电视、媒体播放器等领域。另一方面，图像缩小技术在应用中也很有用，例如将高分辨率图像转换为低分辨率图像，以适应小型液晶显示系统。图像插值是数字图像处理中一个具有挑战性的重要问题。
　　插值算法可分为自适应和非自适应两类。非自适应算法将固定模式应用于每个像素，而不考虑其他参数作为图像的特征、边缘。这种插值技术可能会在插值图像中产生锯齿效应等[2]。自适应算法利用邻域像素的光谱和空间特征，使未知像素尽可能接近原始像素。为了获得高质量的图像，人们开发了空间和光谱相关技术。根据相邻像素的特征，预测新像素的值，使其更有效地插值。在自适应插值技术中减少或消除了锯齿效应。但是，一些自适应插值技术可能需要更多的时间来转换图像，因此有时它可能无法应用于实时应用。插值方法有两空域插值和频域插值[3]两种。近年来，空间域技术因其复杂度低而被应用于实时应用中。另一种方法使用各种变换，如离散余弦变换（DCT）、离散傅立叶变换（DFT）或小波变换在频域中缩放图像。频域技术获得了更高的复杂度和存储需求，因此不适合实时或低成本的应用。使用现场可编程门阵列（FPGA）或专用集成电路（ASIC）可以实现这些插值技术[2]。
　　1  非自适应图像插值算法
　　在各种提出的实现图像缩放的非自适应插值算法中，主要有最近邻、双线性、双三次图像插值等。最简单的是最近邻算法，时间复杂度低，并且比较容易实现[4]。使用此算法创建的图像包含块化和锯齿化算法，为了减少这种阻塞和混叠效应，最常用的方法是双线性算法，该算法使用线性插值模型来计算未知像素。双三次插值是比较复杂但更精确的方法，通过二维规则网格的加权和插值圖像像素，可以得到高质量的图像[5]。
　　1.1 最近邻插值
　　最近邻插值是最简单的插值算法，因为只考虑一个最接近插值点的像素，所以在所有插值算法中，这种算法处理时间最短，但这会使每个像素变大。在图像像素分辨率过高的情况下，该算法具有很好的效果。最近邻插值的插值核为 　　
　　1.2 双线性插值
　　双线性插值使用4个邻域像素的加权平均值来计算其最终插值值。结果得到的图像比原始图像平滑得多。当所有已知的像素距离相等时，插值值实际上是它们的平均值。该算法比最近邻插值具有更好的计算效果，比双三次插值计算时间短。Wang等人[6]在红、绿、蓝（RGB）交叉点（RGBI）的基础上，提出了一种基于RGB交叉点的彩色伪影校正方法。同时，将目标信息与加权双线性插值相结合，在恢复真实颜色的同时保持了图像的连续性。实验表明，该方法适用于全彩色图像，即使图像存在严重的颜色失真或彩色伪影面积小且离散，也能准确地检测出各种类型的彩色伪影，且伪影残留量小。双线性插值的插值核为
　　
　　1.3 双三次插值
　　双三次插值在所有的非自适应插值算法中经常被用到。双三次插值取16个邻域像素（4×4）的加权平均值来计算其最终插值值。这些像素与未知像素有不同的距离，在计算中，越接近的像素被赋予越复杂的权重。与最近邻插值和双线性插值相比，双三次插值可以得到更清晰的图像，但需要更多的计算时间。双三次插值的插值核为
　　2  自适应图像插值技术
　　非自适应插值技术存在边缘模糊或边缘伪影的问题，它只存储源图像的低频分量。如果想获得更好的视觉质量，必须保留高频分量，这些都可以通过自适应插值技术来实现。自适应技术需要考虑图像的边缘信息、纹理和像素强度等因素。这些年，很多研究者提出了许多高质量的自适应插值算法，如基于上下文的图像插值、自适应二维自回归模型、方向自适应插值、双边滤波器、混合核、NEDI、曲率插值、HVS定向神经网络和边缘定向滤波器等。
　　2.1 新的边缘定向插值（NEDI）
　　保持边缘结构的锐度是图像插值的一大挑战。新的边缘定向插值是一种基于边缘训练集的面向边缘的两步插值方法[7]。对于边缘插值，使用训练集将LR边缘映射转换为HR边缘映射。然后，利用HR边缘映射将图像分为平滑区域和边缘区域，分别对两个区域进行插值。对于边缘区域，利用训练得到的细节边缘结构进行自适应边缘插值。该方法与传统的基于边缘的方法进行了性能比较，不仅可以利用训练集重建边缘缺失信息，而且通过分别对平滑区域和边缘区域进行插值，可以显著减少边缘的模糊和锯齿伪影。Chen等人[8]提出了一种复杂度低的自适应边缘增强算法，该算法由线性变异边缘检测器、低复杂度锐化空间滤波器和简化双线性插值构成。为了减少双线性插值产生的模糊效果，在预滤波中加入锐化空间滤波器。采用双线性插值自适应技术，通过自适应选择输入像素来提高边缘检测的效果。该算法能够实现具有较低复杂度和较少代数运算的高质量图像。
　　2.2 基于曲率的迭代插值（ICBI）
　　基于曲率的迭代插值（ICBI）[9]以二阶导数的方向估计为主要研究对象，与其他插值算法（如线性和非线性）相比，插值后图像中阴影缩小，计算复杂度下降。ICBI算法分两个阶段构建，在第一阶段中，新像素沿输入图像的曲率进行插值。在第二阶段，利用迭代过程和聚焦于用于边缘保持的能量项来改变插值像素。Hwamog等人[10]研究了一种有效的基于偏微分方程的迭代求精曲率插值算法。该方法迭代利用非均匀数据中间曲面估计的曲率相关信息，对重建可靠的图像曲面起到了驱动作用。
　　2.3 基于局部不对称和梯度特征
　　基于梯度特征的图像插值算法，首先估计低分辨率图像中每个像素的梯度方向。然后利用样条插值方法构造高分辨率图像的梯度图。最后可以通过预先定义的窗口中像素的加权和来计算缺失像素的强度。为了在插值过程中保留边缘信息，权值由估计的梯度向量和从丢失像素到已知数据点的向量的内积确定。仿真结果表明，该方法比其他非整数时间尺度方法具有更高的性能，有助于实现超分辨率[11]。Zhu等人[12]提出了一种基于隶属度函数的距离校正算法来完成图像插值。利用模糊逻辑得到具有梯度和相位角局部特征的隶属函数。首先根据局部非对称特征和隶属度函数对插值像素沿一维的特殊距离进行校正，然后将校正后的一维距离转换为二维距离，将校正后的距离应用到传统的图像插值算法中。实验结果表明，该算法在信噪比方面取得了较好的效果，并成功地保留了不同方向的插值图像边缘
　　2.4 基于小波变换的插值
　　Dong等人[13]提出了一种基于小波的自适应插值方法。该方法用一种新的二维不可分离自适应内插滤波器，取代了传统的内插滤波器用于具有分数像素精度的方向预测。为了减小预测误差的能量，对每一个分数像素方向上的滤波器进行自适应计算。此外还可以利用小波变换提取低分辨率图像的突变信息，然后隐式地对图像进行插值，以适应图像的局部光滑性和奇异性特征[14]。
　　2.5 正则化局部线性回归（RLLR）插值
　　正则化局部线性回归（RLLR）插值[15，16]给出了一个线性回归模型，然后用移动最小二乘（MLS）误差范数代替OLS误差标准，从而给出了一个强有力的局部图像结构估计。这种策略通过最先进的插值算法实现了极其激进的执行，特别是在保持图像边缘结构方面。
　　3  几种插值技术的比较
　　为客观比较不同图像插值算法的效果，使用均方误差（MSE）和峰值信噪比（PSNR）作为评价参数，MSE定义为
　　
　　以cameraman图像为对象，先将图像缩小1/2，再分别采用最近邻、双线性、双三次、NEDI、ICBI、基于局部不对称和梯度特征 、基于小波变换的插值、正则化局部线性回归（RLLR）插值，将图像放大2倍，并计算放大图像各自的PSNR，结果如表1所示。
　　4  结语
　　数字图像插值算法在图像处理和视频处理中有着广泛的应用。本文简要介绍了几种图像插值算法及其PSNR性能。在非自適应算法中，双三次插值具有更好的性能，但与其他非自适应技术相比，它的计算复杂度较高。另一方面，与一些自适应算法相比，双三次规划具有较少的复杂性。在自适应算法中，基于曲率的迭代插值（ICBI）、基于局部不对称和梯度特征、基于小波变换的插值和正则化局部线性回归（RLLR）插值，在PSNR比的基础上取得了良好的效果。 　　自適应插值方法在图像视觉质量方面得到了提升，但它需要更多的计算投入。当时间不是决定性因素时，我们一般选择自适应策略，但非自适应策略更简单。所以，在实际应用中，根据不同的图像处理对象，选择不同的插值算法。
　　参考文献
　　[1] Mahajan S H ， Harpale V K . Adaptive and Non-adaptive Image Interpolation Techniques [C]// Computing Communication Control and Automation Conference（ICCUBEA）， 2015 IEEE. IEEE， 2015.
　　[2] Jaiswal S P ， Jakhetiya V ， Kumar A ， et al. A low complex context adaptive image interpolation algorithm for real-time applications[C]// Instrumentation and Measurement Technology Conference （I2MTC）， 2012 IEEE. IEEE， 2012.
　　[3] 高翔. 基于DCT域的图像插值技术研究[D].哈尔滨工业大学，2012.
　　[4] Patel V， Mistree K. A Review on Different Image Interpolation Techniques for Image Enhancement[J].  International Journal of Emerging Technology and Advanced Engineering， 2013， 3（12）：129-133
　　[5] Yunshan Zhang， Yuhui Li， Jie Zhen， Jionghao Li， Ran Xie. The Hardware Realization of the Bicubic Interpolation Enlargement Algorithm Based on FPGA[P]. Information Processing （ISIP）， 2010 Third International Symposium on，2010.
　　[6] Wang Xiuhua，Jia Xinyue，Zhou Wei，Qin Xiaoyun，Guo Hanming. Correction for color artifacts using the RGB intersection and the weighted bilinear interpolation.[J]. Applied optics，2019，58（29）.
　　[7] Lee J H ， Kim J O ， Han J W ， et al. Edge-Oriented Two-Step Interpolation Based on Training Set[J]. IEEE Transactions on Consumer Electronics， 2010， 56（3）：1848-1855.
　　[8] Chen S L . VLSI Implementation of an Adaptive Edge-Enhanced Image Scalar for Real-Time Multimedia Applications[J]. IEEE Transactions on Circuits and Systems for Video Technology， 2013， 23（9）：1510-1522.
　　[9] Karpagam A V ， Manikandan M . Interpolation tool： Qualitative and quantitative analysis for machine vision applications[C]// Fourth International Conference on Signal Processing. IEEE， 2017.
　　[10]Hwamog Kim， Jeffrey L. Willers， Seongjai Kim. Curvature Interpolation Method for Surface Reconstruction for Geospatial Point Cloud Data[J]. International Journal of Remote Sensing， 2019：1-30.
　　[11]房琰. 基于梯度轮廓和非局部自相似性的单幅图像超分辨率方法研究[D].山东大学，2019.
　　[12]Zhu S， Zeng B， Zeng L， et al. Image Interpolation Based on Non-local Geometric Similarities and Directional Gradients[J]. IEEE Transactions on Multimedia， 2016， 18（9）：1-1.
　　[13]Dong W， Shi G， Xu J. Adaptive Nonseparable Interpolation for Image Compression With Directional Wavelet Transform[J]. IEEE Signal Processing Letters， 2008（15）：233-236.
　　[14]汪成峰. 基于自适应关节权重和插值小波的体感动作评价方法研究[D].中国农业大学，2016.
　　[15]李小燕. 基于广义图像先验的图像超分辨率重建算法研究[D].西南交通大学，2015.
　　[16]Liu X ， Zhao D ， Xiong R ， et al. Image Interpolation Via Regularized Local Linear Regression[J]. IEEE Transactions on Image Processing， 2012， 20（12）：3455-3469.
转载注明来源:https://www.xzbu.com/1/view-15255500.htm