基于视觉传达技术的三维图像重建系统研究

来源:用户上传      作者:

　　摘  要： 三维图像重建是当前图像处理领域的研究热点，为了解决传统重建系统存在重建效率、精度均低的问题，以提高三维图像重建效果为目标，设计了基于视觉传达技术的三维图像重建系统。首先分析了三维图像重建的系统功能框架，然后对系统的主要子模块：图像解析模块、图像预处理模块、三维可视化模块进行了详细设计，最后在相同环境与传统三维图像重建系统进行了仿真对比实验。实验结果表明，基于视觉传达技术的三维图像重建精度高，而且提高了三维图像重建效率，三维图像重建整体效果要明显优于传统三维图像重建系统，具有更高的实际应用价值。
　　关键词： 三维图像重建; 视觉传达技术; 图像解析; 图像预处理; SMC算法; 重建效率
　　中图分类号： TN911.73?34; TP391                  文献标识码： A                   文章编号： 1004?373X（2020）17?0039?04
　　Abstract： At present， the 3D image reconstruction is a research hotspot in the field of image processing. In view of the low reconstruction efficiency and accuracy in the traditional reconstruction system， a 3D image reconstruction system based on visual communication technology is designed to improve the effect of 3D image reconstruction. The functional framework of 3D image reconstruction system is analyzed， and then the main submodules of the system are designed in details， named the image analysis module， image preprocessing module and 3D visualization module. Simulation experiments were carried out in the same environment to make comparison between the proposed system and the traditional 3D image reconstruction system. The experimental results show that the accuracy of 3D image reconstruction system based on visual communication technology is higher than that of the traditional 3D image reconstruction system. In addition， the proposed system has higher efficiency of 3D image reconstruction， and its overall effect of 3D image reconstruction is obviously better than that of the traditional 3D image reconstruction system. Therefore， it has a higher application value in the practice.
　　Keywords： 3D image reconstruction; visual communication technology; image analysis; image preprocessing; SMC algorithm; reconstruction efficiency
　　0  引  言
　　三维图像重建是基于三维物体外部采集的图像信息，采用数字化处理技术获取三维物体形状信息的方法[1]。三维图像重建方法可解决图像单角度信息获取，缺乏深度信息的问题[2]，该方法最初主要应用于医疗领域中，通过放射医疗设备显示人体组织图像，后经过逐渐发展，在军事、测绘、航空等不同领域中被广泛使用。
　　视觉传达技术涵盖了多媒体技术和图像技术等[3]，已经被广泛应用于不同领域中[4]。基于此，本文设计基于视觉传达技术的三维图像重建系统，在图像处理系统的基础上构建三维图像重建系统，利用视觉传达技术处理图像，选取图像内与三维图像相关的特征点，从而实现三维图像重建。
　　1  三维图像重建系统
　　1.1  开发工具的選取
　　以Microsoft Visual C++开发工具和VTK三维可视化工具包为基于视觉传达技术的三维图像重建系统设计平台[5]。利用VC++开发工具可设计系统界面、编写系统集成与系统核心算法。VTK三维可视化工具包内核由Microsoft Visual C++开发工具开发，可在大多数平台中实施操作，VTK三维可视化工具包作为视觉传达技术实现的工具，能够实现三维图像的处理及可视化[6]。作为图像应用函式库，VTK三维可视化工具包视觉化工具函式库由计算机图像处理、可视化处理及显示三部分构成，具有源码开放、不依赖操作系统与硬件环境、可实现并行化处理等特性[7]。三维可视化VTK函式库内包括大量优质图像处理与生成算法，通过C++语言完善VTK函式库，利用视觉传达技术实现三维图像重建。 　　1.2  系统逻辑结构设计
　　基于视觉传达技术的三维图像重建系统逻辑结构框架如图1所示。
　　从图1可知，系统由图像解析模块、图像预处理模块和三维可视化模块共同组成。图像解析模块的主要功能是支持不同原始图像数据格式[8]，图像预处理模块处理原始图像数据，将原始图像数据转换成三维数据场，以通过视觉传达技术与切割技术得到的图像为准备组织区，基于图像采用体绘制技术与面绘制技术等设计三维图像重建系统，实现图像三维空间可视化功能。
　　1.3  图像解析模块
　　图像解析模块的主要功能是为不同图像数据格式提供支持，基于此完成读取、转换及存储DICOM 3.0标准定义的数据。DICOM 3.0标准中详细设计了图像及其有关数据传输方式[9]，基于此标准，利用Microsoft Visual C++开发工具和VTK三维可视化工具包构建三维图像重建系统所需接口，以VTK数据流形式将图像信息转换成图形数据[10]，便于实现点阵数据的图像调整，依靠此接口完成图像数据导入处理。通过FSL总线连接的硬件接口结构如图2所示。
　　具有32位微处理器的MicroBlaze软核内含32位通用寄存器和32位特殊寄存器，具有资源占用少、运行速度快等性能优势，其中特殊寄存器为PC指针与MSR状态标志寄存器[11]。MicroBlaze微处理器各接口等同于通信通道，具备点对点单项传输的特性，可直接与FSL总线连接。
　　1.4  图像预处理模块
　　图像预处理模块结构如图3所示。在图像采集阶段，受外界影像设备与周围环境的影响，导入系统内的图像均存在一定程度的噪音与模糊，影响三维图像重建效果，因此有必要采用滤波、分割与配准等图像预处理技术增强图像特征[12]。兼顾滤波效果与运行效率，在图像滤波处理过程中采用中值滤波法：在原始图像上设置一个存在奇数个像素的窗口，依据大小排序此窗口内包含的像素，以灰度序列中间灰度值替代窗口中心对应像素原灰度。该滤波方法为非线性信号滤波[13]，可排除单独噪声点，降低图像内随机脉冲噪声含量。采用Canny算子边缘检测法以及区域分割法分割滤波后的图像。图像配准处理过程中，采用尺度固定特征转变法，通过判断空间检测极值，判断关键点方位与主方向，确定关键点向量等过程描述并匹配图像角点特征。将获取的角点作为Forstner算子的最优窗口中心点，在窗口内确定加权中心化角点位置。确定角点特征后需利用角点间距离匹配特征点：预设一个距离阈值，若两角点间距离小于此阈值，定义两角点间匹配，基于此确定两幅图像中特征点间的关系，实现图像的配准。
　　1.5  三维视觉传达可视化模块
　　数据I/O子模块、参数设置子模块、体绘制子模块、面绘制子模块以及轴向切片显示子模块等共同组成三维可视化模块，其结构如图4所示。
　　三维可视化模块中面绘制子模块采用基于MC（Marching Cubes）算法提出的SMC算法重建图像中的物体面，详细过程如下：
　　假设物体图像中存在物体相关的一系列轮廓线，用[P1，P2，…，Pn]表示。对图像数据场实施分层写操作，定义体数据内各体素[x，y，z]的状态函数[dx，y，z]为：
　　各体素的状态值受该点同所在平面上所有轮廓间关系（以外，其上，以内）影响。
　　图5描述体元示意图。针对单个体元，依照状态值，各顶点值为+1，0，-1中任意一个。边界面通过顶点为0状态值的条件下：若体元上一条棱的两个顶点状态值有所差异，说明边界面同此棱之间为相交关系[14];若体元上一条棱的两个顶点状态值一致，说明边界面同此棱之间为不相交关系。在边界面同某条棱间为相交关系的条件下，考虑图像缺乏相应的阈值实施求交;同时，由于用于三维重建的图像清晰度较高，误差值约为0.5个棱长，投影至计算机屏幕上的图像与线性插值获取的图像基本一致，因此以此棱中点为交点。通过上述过程能确定物体表面同体元的交点，依次将各交点连接起来即可实现三维图像的面重建。
　　因为各顶点均存在三个顶点可能值（+1，0，-1），所以各体元存在38=6 561种可能性。由于体元具有对称性，因此可简化体元6 561种可能性，且由于像素同四邻域状态值不存在差异性，清除大量不存在的模型，最终仅存52个面重建模型。利用中心差分法确定顶点法向，假设体素[x，y，z]的状态值为[fx，y，z]，则该顶点的法向如下：
　　以棱上两顶点法向平均值为棱中点法向。
　　2  仿真测试
　　为验证本文设计的视觉传达技术的三维图像重建系统的重建性能，以两组图像（山体图像和牙齿图像）为实验对象，进行相关仿真实验。实验硬件环境如下：3.2 GHz主频的AMD?07?2700（r7）8核16线程CPU处理器、Asus/ROG GTX1660TI?O6G显卡、4 GB内存。采用本文系统分别重建实验对象的三维图像，结果如图6所示。分析图6得到，采用本文系统重建山体与牙齿的图像，均成功获取了清晰的三維图像，实验结果表明本文系统重建不同类型、不同大小物体的三维图像的效果佳。
　　针对上一实验中的实验对象，将体素划分精度分别设定为323，1283和5123，图像分辨率分别设定为128×128，256×256和512×512。表1和表2分别描述不同条件下本文系统与基于RGB的三维图像重建系统的重建时间和加速比。由表1得到，体素划分精度提升导致两个系统三维图像重建时间均有不同程度的延长，加速比随体素划分精度的提升而提升，说明本文系统三维图像重建效率高于基于RGB的三维图像重建系统，且随体素划分精度的提升，加速比也越大，加速效果越显著。由表2得到，图像分辨率对系统三维图像重建时间影响不显著，这是由于提升图像分辨率仅对图像分割中轮廓提取时间产生显著影响。 　　一个优质的三维图像重建系统在保障高重建效率的同时，还需要确保高重建精度，表3描述两个系统重建实验对象的重建精度与图像清晰度。分析表3得到，采用本文系统重建物体三维图像的精度均高于95%，重建精度与清晰度显著高于基于RGB的系统，且牙齿图像重建精度高于山体图像，说明本文系统不仅能准确重建物体三维图像，且图像越小，重建精度越高。
　　3  结  语
　　本文以Microsoft Visual C++开发工具和VTK三维可视化工具包为设计平台，设计由图像解析模块、图像预处理模块和三维可视化模块共同组成的虚拟现实技术的三维图像重建系统。三维图像重建过程中，三维可视化模块内物体三维体绘制与面绘制较为重要，体绘制图像与面绘制图像结合成为物体三维重建图像，因此三維重建图像取决于两者绘制精度。在后续研究过程中，可着重研究体绘制图像与面绘制图像过程，以提升系统三维图像重建精度。
　　参考文献
　　[1] 李蓉，邓春健，邹昆.一种基于MRF的单幅图像数据的三维重构方法研究[J].液晶与显示，2016，31（3）：301?309.
　　[2] 谢理想，万刚，曹雪峰，等.无人机序列图像快速三维重建系统设计与实现[J].电子技术应用，2017，43（6）：134?137.
　　[3] 王记彩.采用虚拟现实技术的煤矿虚拟液压支架运动状况仿真[J].煤炭技术，2017，36（10）：259?261.
　　[4] 陈图南，尹训涛，李学刚，等.多模态融合的3D虚拟现实技术在中央区胶质瘤切除术中的应用[J].中华医学杂志，2018，98（17）：1302?1305.
　　[5] 刘星明，蔡铁，王辉静，等.基于相位恢复的三维可视化应用研究[J].计算机科学，2016，43（z2）：256?258.
　　[6] 董长富，王玉林，朱丛笑，等.音视频设备三维放置虚拟训练系统设计与实现[J].中国科技论文，2018，13（20）：2337?2341.
　　[7] 刘培刚，刘钰洋，潘懋，等.基于砂岩三维数字岩心图像的图像处理与相划分研究[J].科学技术与工程，2017，17（6）：22?30.
　　[8] 牛育鸿，白石，阮彩莲.虚拟现实系统在经枕髁入路显露颈静脉结节三维解剖研究中的应用[J].解剖学报，2016，47（2）：250?253.
　　[9] 陈素华，杨军，马顺昌，等.虚拟现实技术在颅颈交界区病变手术中的应用[J].中华神经外科杂志，2018，34（6）：591?595.
　　[10] 赵桂玲，刘丹，刘祎，等.木质文物三维断层扫描图像处理[J].西北林学院学报，2018，33（4）：226?229.
　　[11] 王珊，沈旭昆，赵沁平.三维人脸表情获取及重建技术综述[J].系统仿真学报，2018，30（7）：2423?2444.
　　[12] 洪汉玉，范艳，邓哲煜，等.动目标多视角观测图像的三维去模糊方法[J].红外与激光工程，2016，45（2）：249?256.
　　[13] 杨雨薇，李幸刚，张亚萍.基于图像的重建点云离群点检测算法[J].数据采集与处理，2018，33（5）：928?935.
　　[14] 许闻楷，陈德运，高明，等.电容层析成像三维传感器结构设计及图像重建[J].哈尔滨理工大学学报，2016，21（5）：34?39.
　　[15] 邹晓，陈正鸣，朱红强，等.基于移动平台的三维虚拟试发型系统实现及应用[J].图学学报，2018，39（2）：309?316.
转载注明来源:https://www.xzbu.com/8/view-15313905.htm