基于三维虚拟现实技术的图像重建方法研究

来源:用户上传      作者:

　　摘  要： 由于传统图像重建方法获取到的重建图像比较模糊，为了提高重建图像的质量，提出基于三维虚拟现实技术的图像重建方法。在三维虚拟现实技术的基础上，根据相机的成像原理，计算相机光学部分可以识别的最大距离，通过计算场景画面的最小识别距离实现图像的降质分析;利用三维虚拟现实技术训练图像的检测样本，预测出样本图像的像素值，通过公式描述了图像的提取过程，完成了图像边缘信息的提取;最后在三维虚拟现实技術的基础上，构建了图像重建算法，实现了基于三维虚拟现实技术的图像重建。实验结果表明，基于三维虚拟现实技术的图像重建方法得到的重建图像质量较高。
　　关键词： 图像重建; 三维虚拟现实技术; 图像降质分析; 样本训练; 像素值预测; 信息提取
　　中图分类号： TN911.73?34; TP391                  文献标识码： A                   文章编号： 1004?373X（2020）17?0064?05
　　Abstract： The image reconstruction method based on 3D virtual reality technology is proposed to improve the quality of reconstructed image because the image reconstructed by traditional image reconstruction method is fuzzy. On the basis of 3D virtual reality technology， the maximum distance that the optical part of the camera can recognize is calculated according to the imaging principle of camera. The image degradation analysis is realized by calculating the minimum recognition distance of scene image. The detection sample of image is trained with 3D virtual reality technology to predict the pixel value of the sample image. The extraction process of image is described by means of the formula to fulfill the edge information extraction of the image. On the basis of 3D virtual reality technology， an image reconstruction algorithm is established and the image reconstruction is realized. The experimental results show that the quality of the reconstruction image obtained by the image reconstruction method based on 3D virtual reality technology is high.
　　Keywords： image reconstruction; 3D virtual reality technology; image degradation analysis; sample training; pixel value prediction; information extraction
　　0  引  言
　　人们生活的三维立体环境是由三维信息组成的，人类之所以可以感受到三维信息，是因为人的视觉系统具有感知图像整体深度的特性。图像作为三维场景的重要载体，反映了场景中画面在相机的成像效果[1]。根据三维虚拟现实技术，人们可以感知到场景画面的三维立体成像，从而使人们产生一种立体感。在三维虚拟现实技术的基础上，图像是获取场景画面结构的必要信息，在三维虚拟场景重建、三维虚拟现实等计算机视觉的应用中起到了非常关键的作用[2]。
　　在三维虚拟现实技术的基础上，图像的物理意义决定了它无法通过光学采集设备来获取，一般情况下都是通过计算机计算或者测量的方式得到[3]。采用图像立体匹配的方法计算图像的获取方式，具有较大的计算量且复杂度高，很难将其应用到实际的图像重建中。数码相机等测量设备的陆续出现，为图像信息获取提供了更加快速、方便、直接的方式，但是由于图像重建过程中的物理限制和外界环境的干扰，相机在获取图像时存在分辨率低、缺失图像信息等问题，这些问题严重地限制了图像的应用[4]。
　　基于上述分析，本文采用三维虚拟现实技术对图像的降质进行分析，通过图像边缘的提取、重建得到高质量的图像。
　　1  基于三维虚拟现实技术的图像重建方法设计
　　1.1  基于三维虚拟现实技术的图像降质分析
　　图像降质分析之前先考虑限制图像分辨率的因素。决定图像质量的因素主要是相机光学部分的衍射分辨率和图像探测器的分辨率，在图像重建之前进行降质分析可以提高重建图像的信噪比，从而提高重建图像的质量。
　　假设相机所观测到的三维虚拟目标都是点光源，两个点光源进入到相机光学部分后会形成艾里斑，如果其中一个艾里斑的边缘零点与另一个艾里斑的中心重合，那么两个艾里斑之间的间隔就是相机光学部分可以识别的最大距离[5]，即： 　　式中：[l]表示三维虚拟目标与相机之间的距离;[λ]表示光进入到相机的波长;[D]表示光通直径。
　　从式（1）中可以看出，光波的波长越长，相机光学部分识别到的最大距离就会越大，导致图像的分辨率降低，达到图像降质的目的[6]。
　　作为限制图像分辨率的另一个重要因素，图像探测器在识别最小目标时也存在极限。场景画面信息通过相机的光学部分，被图像探测器接收并转化为电信号[7]。假設图像探测器观测到的两个三维虚拟目标仍然是点光源，图像探测器的像元大小为[d]，只有两个点光源目标存在一定距离，才能被图像探测器接收，从输出的图像中将其分辨出来。
　　经过上述的分析可知，图像探测器的分辨率会大于场景画面光学衍射的分辨率，因此，图像的降质研究通常是从提高图像探测器的分辨率方向进行。基于三维虚拟现实技术的图像重建是通过从图像中提取先验知识点的方式来复原图像的技术，通过计算场景画面的最小识别距离实现图像的降质分析。
　　1.2  提取图像边缘信息
　　图像的重建要在降质的基础上，修正图像边缘点的位置，那么就需要提取图像的边缘信息来引导图像的边缘修正，从而提高重建图像的质量。传统的图像边缘提取方法是利用图像的边缘来确定提取的外框[8]，首先采用某一彩色分量的图像来提取图像的边缘，再将每一个独立分量的图像边缘结合，形成一个彩色的图像边缘，这种传统的方法忽略了人眼的视觉感知，导致提取出来的图像边缘效果不佳[9]。
　　本文在三维虚拟现实技术的基础上，提取人眼视觉特性的图像边缘，先采用三维虚拟现实技术采集固定大小的图形块，随机选取一个图像训练样本，并记录图像的结构标签，然后学习含有结构标签的区域特征，来训练检测图像，最后利用结构化预测的方式，得到最终的图像边缘提取结果[10]。
　　图像结构训练示意图如图1所示。
　　图像的边缘通常都代表着对象的边界，图像的边缘不仅在对象的边界产生，对象的内部也会产生图像边缘[11]。需要采用对象的边界来引导图像初始化错误边缘的修正过程，因此，得到图像边缘后，要结合图像在三维虚拟现实空间提供的距离信息，将存在于图像内部的纹理边缘去除，保留图像的边缘[12]。
　　具体的做法是对于每一个图像的边缘点，判断以边缘点为中心，大小为[w×w]的图像窗口内边缘值的差值，如果边缘值的差值小于某一特定的阈值，那么就认为图像提取的区域为平滑区域，窗口内的边缘必须要去除;否则图像提取的区域就是边缘区域。
　　1.3  构建图像重建算法
　　以提高重建图像的信噪比为目的，先给待重建的图像赋予一个估计的初始值，经过三维虚拟现实技术的迭代重复过程，直到迭代收敛为止。
　　与传统图像重建算法相比，基于三维虚拟现实技术的图像重建算法具有良好的噪声抑制能力和截断投影数据的能力，其是一种联合代数迭代算法，此算法保留了传统图像重建算法的收敛速度，还具有噪声抑制能力强的优势，在图像处理中的应用是非常广泛的[13]。
　　基于三维虚拟现实技术的图像重建算法公式如下：
　　图像重建算法流程图如图2所示。
　　图像重建步骤如下：
　　步骤1：确定某一投影角度下的投影射线[i]，经过待重建图像的初始值计算，得到第[i]条投影射线的投影值，即[n=1NainfKn]。
　　步骤2：根据投影射线计算得到的图像投影值与实际测量得到的投影值作差[14]，得到一个理论图像投影值与实际图像投影值的误差[Δi=pi-n=1NainfKn]。
　　步骤3：将步骤2中的误差值[Δi]储存。
　　步骤4：计算某一投影角度下的第[i+1]条射线的投影值，重复上述三个步骤，直到完成所有射线的误差修正。
　　步骤5：采用步骤4中得到的误差值修正重建图像的像素。
　　对于其他不确定的投影角度，重复上述五个步骤，直到所有角度下的图像都完成重建图像的校正，完成重建图像的第[K]次迭代[15]。基于三维虚拟现实技术的图像重建算法的迭代公式如下：
　　为了提高重建图像的质量，缩短基于三维虚拟现实技术的图像重建算法的图像重建时间，尽量达到图像重建的要求。
　　综上所述，在三维虚拟现实技术的基础上，先考虑限制图像分辨率的因素，根据相机的成像原理，计算相机光学部分可以识别的最大距离，由于图像探测器的分辨率会大于场景画面光学衍射的分辨率，通过计算场景画面的最小识别距离实现图像的降质分析;利用三维虚拟现实技术训练图像的检测样本，预测出样本图像的像素值，并去除图像内部的纹理边缘，通过公式描述图像的提取过程，完成了图像边缘信息的提取;最后在三维虚拟现实技术的基础上，构建图像重建算法，实现了基于三维虚拟现实技术的图像重建。
　　2  实验对比分析
　　2.1  实验图像采集
　　为了验证本文设计的基于三维虚拟现实技术的图像重建方法可以提高图像质量，必须先采集图像信息，图像采集结果如图3所示。
　　2.2  实验方法及步骤分析
　　基于三维虚拟现实技术的图像重建方法经过多次迭代后，会获取到一个最优解，在每一次的迭代过程中，图像重建算法会为每一个图像节点计算一个图像的最佳深度值，当所有的图像节点都遍历完成后，将能量最小的图像深度值更新给图像节点，并作为下一次迭代的初始值。随着图像节点迭代值的不断收敛，求出来的解就是最优解。
　　实验的具体操作步骤如下：
　　步骤1：将待重建的图像采用三维虚拟现实技术初始化。
　　步骤2：遍历每一个图像的像素，并计算出当前图像的能量。
　　步骤3：赋予每一个图像像素一个新的像素值，像素值的取值范围设置为0～255，计算新像素值的能量，如果大于前一个图像的像素值，就重新选择;反之，则选择新的像素值作为当前像素。 　　步骤4：不断重复步骤3，直到所有图像的像素更新完毕，完成一次迭代，再判断是否达到了迭代次数，满足则结束，不满足则重复步骤2和步骤3。
　　步骤5：统计实验结果。
　　2.3  实验结果分析
　　利用上述的实验方法及实验步骤，得到了下列实验结果，如图4所示。
　　在查阅相关文献的基础上，图像的信噪比在35～45 dB之间，图像的质量最高。从实验结果可以看出，采用传统图像重建方法，虽然随着感光度的升高，重建图像的信噪比比较稳定，但是图像的信噪比一直在7～23 dB之间震荡，重建后的图像质量并不高;而采用基于三维虚拟现实技术的图像重建方法，随着感光度的升高，图像的信噪比在39～41 dB之间震荡，只是偶尔会出现信噪比忽高忽低的现象，得到的重建图像质量较高。
　　2.4  应用性能分析
　　为了分析本文方法的应用性能，采用本文方法、基于非常稀疏随机投影的图像重建方法、基于亚高斯随机投影的图像重建方法实施对比测试，测试三种方法重建图像时，图像像素特征的查全率与查准率，结果如图5，图6所示。
　　分析图5，图6可知：三种方法重建图像时，本文方法对图像像素特征的查全率与查准率最大值均为0.99，基于非常稀疏随机投影的图像重建方法的查全率与查准率最大值依次是0.91，0.94;基于亚高斯随机投影的图像重建方法的查全率与查准率最大值依次是0.78，0.79。经对比可知，三种方法对比之下，本文方法重建图像时，能够高精度、全面地获取图像像素特征实施重建。
　　设定所需重建的图像存在噪声，测试三种方法重建具有噪声的图像时，重建后图像的峰值信噪比、标准信噪比，结果如图7，图8所示。
　　分析可知，本文方法重建图像的峰值信噪比与标准信噪比均高于基于非常稀疏随机投影的图像重建方法、基于亚高斯随机投影的图像重建方法。表明本文方法对存在噪声的图像重建后图像质量最佳。
　　3  结  语
　　本文提出了基于三维虚拟现实技术的图像重建方法。实验结果表明：基于三维虚拟现实技术的图像重建方法与传统图像重建方法相比，重建图像的质量得到了有效提高，且基于差异感光度的环境中，本文方法对图像像素特征的查全率与查准率均高达0.99，对存在噪声的图像实施重建时，本文方法重建后的图像峰值信噪比与标准信噪比均高于基于非常稀疏随机投影的图像重建方法、基于亚高斯随机投影的图像重建方法，由此验证了本文方法的应用价值。
　　参考文献
　　[1] 蔡艳，林迅.基于虚拟现实技术的激光多普勒图像三维重建系统设计[J].激光杂志，2017，38（8）：122?126.
　　[2] 王卓.基于视觉传达效果的三维图像虚拟重建[J].现代电子技术，2019，42（1）：62?64.
　　[3] 孙正，孙立爽.光声超声联合图像重建方法研究进展[J].中国医学影像技术，2019，35（3）：467?470.
　　[4] 彭静，冷飞.基于视觉传达效果的传统艺术图像重建方法研究[J].现代电子技术，2017，40（24）：118?120.
　　[5] 巫乾军，孙艳丰，赵璐.稀疏表示的深度图像超分辨率重建研究与仿真[J].计算机仿真，2017，34（5）：234?237.
　　[6] 马敏，李明，何小芳，等.基于压缩传感和自适应Lp范数的ECT图像重建算法研究[J].机床与液压，2018，46（12）：25?31.
　　[7] 杨建鸣，陆家山，严鹏贺.工程图的三维重建方法研究[J].机械设计与制造，2017（12）：216?219.
　　[8] 王江明，余烨，金强.多梯度融合的RGBD图像边缘检测[J].电子测量与仪器学报，2017，31（3）：436?442.
　　[9] 吴诗婳，吴一全，周建江.基于NSST和改进数学形态学的遥感图像目标边缘提取[J].图学学报，2017，38（4）：523?530.
　　[10] 顾雨迪，梁久祯，吴秦，等.基于覆盖分割和活动轮廓模型的图像边缘提取算法[J].数据采集与处理，2017，32（5）：948?957.
　　[11] 牛耕.基于激光扫描的残缺指纹图像特征提取技术研究[J].激光杂志，2017，38（11）：109?112.
　　[12] 陈宇，夏宗基，周雨佳.基于修正稀疏拟牛顿的电容层析成像重建算法[J].系统仿真学报，2019，31（5）：819?827.
　　[13] 龚皓，干彬.基于大数据分析技术的激光三維图像重构研究[J].激光杂志，2019，40（6）：83?87.
　　[14] 贾婷婷，王济浩，郑雅羽.一种拉普拉斯金字塔结构的团网络超分辨率图像重建算法[J].小型微型计算机系统，2019，40（8）：1760?1766.
　　[15] 王旸.超分辨率图像重建效果优化算法研究[J].控制工程，2018，25（5）：740?745.
转载注明来源:https://www.xzbu.com/8/view-15313901.htm