融合2D和3D卷积神经网络的无参考 立体图像质量评价

来源:用户上传      作者:�O丽霞　李朝锋

　　摘要：为将图像处理技术更好地应用在智能交通中，发挥立体图像质量评价方法的作用，提出一种融合2D和3D卷积神经网络（convolutional neural network， CNN）的立体图像质量评价方法。该模型结合2DCNN与3DCNN两个通道;将独眼图输入2DCNN通道，提取双目竞争相关特征;将左视图、右视图、和图像和差图像输入3DCNN通道，通过3D卷积提取双目之间联系的相关特征;应用全连接层，将两个通道提取的特征融合并进行回归分析构建关系模型。在公开的LIVE 3D Phase Ⅰ和LIVE 3D Phase Ⅱ上的实验结果表明，所提方法与人类的主观感知保持高度一致。
　　关键词： 无参考立体图像; 质量评价; 卷积神经网络（CNN）; 和图像; 差图像; 独眼图
　　中图分类号： U495; TP31941文献标志码： A
　　Noreference stereoscopic image quality assessment based on
　　2D and 3D convolutional neural network
　　Abstract： In order to better apply the image processing technology to intelligent transportation and play the role of the stereoscopic image quality assessment method， a stereoscopic image quality assessment method integrating 2D and 3D convolutional neural network （CNN） is proposed. In the model， the two channels of 2DCNN and 3DCNN are combined; the cyclopean images are input into the 2DCNN channel to extract the related binocular competition features; the left view， right view， summation and difference images are input into the 3DCNN channel to extract the related binocular connection features through 3D convolution; the full connection layer is applied to fuse the features extracted from the two channels and conduct regression analysis to construct the relationship model. Experimental results on the open LIVE 3D Phase I and LIVE 3D Phase II show that the proposed method is highly consistent with human subjective perception.
　　Key words： noreference stereoscopic image; quality assessment; convolutional neural network （CNN）; summation image; difference image; cyclopean image
　　引言
　　越来越多的学者提出通过智能交通来缓解城市交通压力，而图像处理技术在智能交通系统中发挥着重要作用。利用图像处理技术再现性强、处理精度高、适用面广、灵活性高等优点，实时采集路况信息、识别车牌、跟踪车辆动态、抓拍违章现象等，能够实现对交通的科学化、现代化、高效化管理。当前基于双目视觉的图像技术（也就是立体图像）已经开始用到交通领域，如车辆间距的测量、车辆尺寸的测量、智能导航定位、障碍物识别与定位、交通标识测距等，而智能交通系统需要更为先进的立体图像处理技术。对于这些技术而言，立w图像质量评价（stereoscopic image quality assessment， SIQA）方法的运用是不可或缺的，但是SIQA方法还存在较多的问题。立体图像在采集、传输、处理和显示过程中，会发生各种失真，这就迫切需要对3D图像和视频内容的质量进行监控[1]。立体视觉体验是衡量人类对立体图像内容感知的重要指标之一，可以分为主观评价和客观评价。主观评价虽然准确有效，但耗时费力，难以应用于实时场景[2]，因此，研究对立体图像质量的客观评价非常有必要。
　　全参考立体图像质量评价（full reference stereoscopic image quality assessment， FRSIQA）使用参考图像得全部信息，通过比较两组图像之间的相似性等，可以更准确获得失真立体图像对的质量。[37]相比较而言，无参考立体图像质量评价（no reference stereoscopic image quality assessment， NRSIQA）不使用原始图像，更符合实际需要，更具有实际应用前景，也更具有挑战性。[811]AKHTER等[12]提出一种将人工设计的局部特征和视差信息相结合的NRSIQA方法。CHEN等[13]利用独眼图的2D特征和深度图的3D特征建立模型，用于预测立体图像对的感知质量。ZHOU等[14]设计了一个基于双目融合和极限学习机的NRSIQA方法。YANG等[15]使用深度感知图量化立体图像的深度特征，并考虑双目特征，使用深度信念网络对图像质量进行评价。LI等[16]提出一种基于视觉感知和注意力机制的NRSIQA方法。该模型将图像显著性与临界可见偏差（just noticeable distortion，JND）相结合，对从左视图和右视图中提取的全局和局部特征进行加权，然后基于支持向量回归（support vector regression，SVR）模型来学习立体图像的质量。LIU等[17]提取与图像质量相关的特征，包括和差信号熵的双目特征和颜色统计等单目特征，利用SVR模型构建特征与质量得分之间的映射模型。

nlc202206292032

转载注明来源:https://www.xzbu.com/4/view-15435003.htm