基于改进的Zernike矩的局部描述符与图割离散优化的非刚性多模态脑部图像配准

来源:用户上传      作者:

　　摘 要：针对脑部图像中存在噪声和强度失真时，基于结构信息的方法不能同时准确提取图像强度信息和边缘、纹理特征，并且连续优化计算复杂度相对较高的问题，根据图像的结构信息，提出了基于改进Zernike距的局部描述符（IZMLD）和图割（GC）离散优化的非刚性多模态脑部图像配准方法。首先，将图像配准问题看成是马尔可夫随机场（MRF）的离散标签问题，并且构造能量函数，两个能量项分别由位移矢量场的像素相似性和平滑性组成。其次，采用变形矢量场的一阶导数作为平滑项，用来惩罚相邻像素间有较大变化的位移标签;用基于IZMLD计算的相似性测度作为数据项，用来表示像素相似性。然后，在局部邻域中用图像块的Zernike矩来分别计算参考图像和浮动图像的自相似性并构造有效的局部描述符，把描述符之间的绝对误差和（SAD）作为相似性测度。最后，将整个能量函数离散化，并且使用GC的扩展优化算法求最小值。实验结果表明，与基于结构表示的熵图像的误差平方和（ESSD）、模态独立邻域描述符（MIND）和随机二阶熵图像（SSOEI）的配准方法相比，所提算法目标配準误差的均值分别下降了1878%、10.26%和8.89%，并且比连续优化算法缩短了约20s的配准时间。所提算法实现了在图像存在噪声和强度失真时的高效精确配准。
　　关键词：多模态;图像配准;自相似性;Zernike矩;图割
　　中图分类号： TP391.41
　　文献标志码：A
　　Abstract： When noise and intensity distortion exist in brain images， the method based on structural information cannot accurately extract image intensity information， edge and texture features at the same time. In addition， the computational complexity of continuous optimization is relatively high. To solve these problems， according to the structural information of the image， a non-rigid multi-modal brain image registration method based on Improved Zernike Moment based Local Descriptor （IZMLD） and Graph Cuts （GC） discrete optimization was proposed. Firstly， the image registration problem was regarded as the discrete label problem of Markov Random Field （MRF）， and the energy function was constructed. The two energy terms were composed of the pixel similarity and smoothness of the displacement vector field. Secondly， a smoothness constraint based on the first derivative of the deformation vector field was used to penalize displacement labels with sharp changes between adjacent pixels. The similarity metric based on IZMLD was used as a data item to represent pixel similarity. Thirdly， the Zernike moments of the image patches were used to calculate the self-similarity of the reference image and the floating image in the local neighborhood and construct an effective local descriptor. The Sum of Absolute Difference （SAD） between the descriptors was taken as the similarity metric. Finally， the whole energy function was discretized and its minimum value was obtained by using an extended optimization algorithm of GC. The experimental results show that compared with the registration method based on the Sum of Squared Differences on Entropy images （ESSD）， the Modality Independent Neighborhood Descriptor （MIND） and the Stochastic Second-Order Entropy Image （SSOEI）， the mean of the target registration error of the proposed method was decreased by 18.78%， 10.26% and 8.89% respectively; and the registration time of the proposed method was shortened by about 20s compared to the continuous optimization algorithm. The proposed method achieves efficient and accurate registration for images with noise and intensity distortion. 　　Key words： multi-modal; image registration; self-similarity; Zernike moments; Graph Cuts （GC）
　　0 引言
　　在临床医学中，不同的成像模式可以提供不同的生理信息。单模態医学图像提供的信息往往是有限的，而多模态医学图像配准则有利于将不同模态图像之间的信息互补，信息互补的图像能提供病变组织或器官的多种信息，为医生作出准确诊断提供有力的理论依据[1]。
　　非刚性多模态脑部医学图像配准是将参考和浮动图像的对应点达到空间上的一致，主要有三个主要组成部分：转换模型、相似性测度和优化方法。目前针对多模态脑部医学图像配准中的相似性测度计算方法主要分为两类：一类是使用信息论度量作为相似性测度。互信息（Mutual Information，MI）[2]是目前广泛使用的信息论度量，它利用图像的灰度信息来计算两幅图像的相似度;但是MI忽略了图像的局部特征和结构信息，导致多模态图像配准精度降低。
　　另一类是使用结构信息作为相似性测度。该方法是用局部描述符提取不同模态的结构信息，从而把多模态配准转化为单模态配准，使用简单相似性测度进行配准。在基于结构信息的相似性测度中，Wachinger等[3]提出了两种用于多模态图像配准的结构表示方法：一种方法是在图像中取每个像素的邻域块，计算邻域块的熵（即该点的邻域结构信息），将不同模态的图像转化为相同模态的熵图，并使用基于熵图像的误差平方和（Sum of Squared Differences on Entropy images，ESSD）作为相似性测度。该方法计算速度快但是熵图像较模糊。另一种方法使用拉普拉斯特征映射，高阶流形通过构建邻域图进行降维，然后计算拉普拉斯图的L2距离。该方法配准精度高但是计算成本非常高，并且特征降维也损失了图像信息。Heinrich等[4]提出模态独立邻域描述符（Modality Independent Neighborhood Descriptor，MIND）用于多模态图像配准，根据相邻图像块之间的相似性计算MIND，对非功能强度关系和图像噪声具有较好的鲁棒性。但MIND不具有旋转不变性，在图像边缘和复杂纹理区域图像特征存在旋转时，MIND会出现配准误差。Cun等[5]将随机二阶熵图像（Stochastic Second-Order Entropy Image，SSOEI）用于多模态图像配准。SSOEI对局部强度变化具有鲁棒性，但二阶熵图像仍较模糊。图像矩是描述图像全局特征的方法， 图像正交矩更有数值稳定和方便重构等优点。Zernike矩作为一种连续正交矩，能提供丰富的图像几何信息[6]，已被应用于图像处理、计算机视觉和模式识别等领域[7-9];但是传统的Zernike矩不能同时提取图像的特征和强度信息，且抗噪性较差。
　　图像配准的优化算法可看成是能量函数的极值求解问题。通过构造能量函数，采用优化方法求解最小值，则最小值对应最优的配准效果。优化方法分为两类：连续优化和离散优化[10]。连续优化常用算法有梯度下降法、共轭梯度下降法、拟牛顿方法等。此类算法大部分依赖于目标函数梯度的计算，导数的计算量较大，并且易陷入局部最小值。基于马尔可夫随机场（Markov Random Field，MRF）的离散优化策略用来克服连续优化的缺点[11]，该策略是无梯度的，计算复杂度相对较低，并且可通过较大的邻域搜索空间进行优化，能有效避免陷入局部最小值。在离散优化中，Sarkis等[12]使用置信传播法（Belief Propagation，BP）来解决立体匹配问题。BP是一种高效的算法，但是计算复杂度较高。Kolmogorov等[13]提出树重加权消息传递法（Tree-ReWeighted message passing，TRW）用于能量最小化。与BP相比，TRW可用于更多的能量函数，但TRW不能保证其完全收敛。Glocker等[14]使用MRF和线性规划（Linear Programming，LP）的优化算法，把图像配准问题看作离散标签问题，可有效控制能量函数收敛;但是LP算法需要较大空间容量，这将限制LP对复杂变形的图像进行精确配准。Boykov等[15]提出了一种交互式的图割 （Graph Cuts，GC） 法。GC是一种基于图论的组合优化方法，采用最大流/最小割理论来求MRF能量的全局最优解，且GC所需的空间容量更小。Kolmogorov等[16]比较了常用的离散优化算法，得出了GC法优于其他优化算法的结论。
　　针对非刚性图像存在噪声和强度失真时，基于结构信息的方法无法同时准确提取图像混合信息，连续优化计算复杂度相对较高且易陷入局部最小值的问题，本文根据图像的结构信息，提出了基于改进Zernike矩的局部描述符（Improved Zernike Moment based Local Descriptor， IZMLD）和GC离散优化相结合的非刚性多模态脑部图像配准方法。IZMLD基于图像的自相似性，构造有效的局部描述符来提取图像的结构信息。结合不同阶数和重数的Zernike矩可同时提取图像的强度和特征信息，从而提高配准的精度。由于自相似性计算对图像噪声具有良好的鲁棒性，以及Zernike矩的旋转不变性，所提出的基于IZMLD的方法在有图像噪声和强度失真的情况下，仍可以有效提取混合图像特征，包括图像强度以及边缘、纹理特征。本文方法分别计算参考图像和浮动图像的IZMLD，将多模态配准问题转化为单模态配准问题，使用描述符之间的绝对误差和（Sum of Absolute Differences，SAD）来计算相似性测度。该方法采用MRF作为配准模型，用描述符之间的SAD作为数据项，变形矢量场的一阶导数作为平滑项来构造能量函数，然后把能量函数离散化，使用GC的α扩展算法来求最优解。实验对比结果表明，使用IZMLD可提高配准的精度，而采用GC优化算法可有效缩短配准时间，本文将两者结合可同时提高非刚性多模态脑部图像配准的精度和效率。 　　1 相關工作
　　1.1 Zernike矩原理
　　4 结语
　　根据图像的结构信息，本文提出了基于改进的Zernike矩的局部描述符（IZMLD）和GC离散优化相结合的非刚性多模态脑部图像配准方法，解决了非刚性图像存在噪声和强度失真时，基于结构信息的方法无法同时准确提取图像强度和边缘、纹理特征，连续优化计算复杂度相对较高且易陷入局部最小值的问题。通过多模态脑部图像数据集的实验结果表明，本文方法提高了非刚性多模态脑部图像配准的精度和效率。本文主要针对二维多模态图像，如何在三维图像中实现高效、准确的多模态配准是下一步研究的重点。
　　参考文献：
　　[1] OLIVEIRA F P M， TAVARES J M R S. Medical image registration： a review [J]. Computer Methods in Biomechanics & Biomedical Engineering， 2014， 17（2）： 73-93.
　　[2] FERRANTE E， PARAGIOS N. Slice-to-volume medical image registration： a survey [J]. Medical Image Analysis， 2017， 39： 101-123.
　　[3] WACHINGER C， NAVAB N. Entropy and Laplacian images： structural representations for multi-modal registration [J]. Medical Image Analysis， 2012， 16（1）： 1-17.
　　[4] HEINRICH M P， JENKINSON M， BHUSHAN M， et al. MIND： Modality independent neighbourhood descriptor for multi-modal deformable registration [J]. Medical Image Analysis， 2012， 16（7）： 1423-1435.
　　[5] CUN X， PUN C-M， GAO H. Applying stochastic second-order entropy images to multi-modal image registration [J]. Signal Processing： Image Communication， 2018， 65： 201-209.
　　[6] 杨建伟，金德君，卢政大.分数阶的Zernike矩[J].计算机辅助设计与图形学学报，2017，29（3）：479-484.（YANG J W，JIN D J，LU Z D. Fractional order Zernike moment [J]. Journal of Computer-Aided Design & Computer Graphics， 2017， 29（3）：479-484.）
　　[7] CHEN Z， SUN S-K. A Zernike moment phase-based descriptor for local image representation and matching [J]. IEEE Transactions on Image Processing， 2010， 19（1）： 205-219.
　　[8] 汪荣贵，张新彤，张璇，等.基于Zernike矩的新型Retinex图像增强方法研究[J].中国图象图形学报，2011，16（3）：310-315. （WANG R G， ZHANG X T， ZHANG X， et al. Anovel retinex algorithm for image enhancement based on Zernike momen [J]. Journal of Image and Graphics， 2011， 16（3）：310-315. ）
　　[9] 郑寇全，杨文静，张继周，等.基于ZM相特征描述符的图像配准方法[J].计算机应用研究，2017，34（1）：279-282. （ZHENG K Q， YANG W J， ZHANG J Z， et al. Method of image registration based on ZM phase featured description [J].Application Research of Computers， 2017， 34（1）：279-282.）
　　[10] ZHAO F， XIE X. Energy minimization in medical image analysis： methodologies & applications [J]. International Journal for Numerical Methods in Biomedical Engineering， 2016， 32（2）： e02733.
　　[11] HEINRICH M P， JENKINSON M， BRADY M， et al. MRF-based deformable registration and ventilation estimation of lung CT [J]. IEEE Transactions on Medical Imaging， 2013， 32（7）： 1239-1248.
　　[12] SARKIS M， DIEPOLD K. Sparse stereo matching using belief propagation [C]// Proceedings of the 2008 15th IEEE International Conference on Image Processing. Piscataway， NJ： IEEE， 2008： 1780-1783. 　　[13] KOLMOGOROV V. Convergent tree-reweighted message passing for energy minimization [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2006， 28（10）： 1568-1583.
　　[14] GLOCKER B， KOMODAKIS N， TZIRITAS G， et al. Dense image registration through MRFs and efficient linear programming [J]. Medical Image Analysis， 2008， 12（6）： 731-741.
　　[15] BOYKOV Y， VEKSLER O， ZABIH R. Fast approximate energy minimization via graph cuts [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2002， 23（11）： 1222-1239.
　　[16] KOLMOGOROV V， ROTHER C. Comparison of energy minimization algorithms for highly connected graphs [C]// ECCV 2006：Proceedings of the 2006 European Conference on Computer Vision， LNCS 3952. Berlin： Springer， 2006： 1-15.
　　[17] SO R W K， TANG T W H， CHUNG A C S. Non-rigid image registration of brain magnetic resonance images using graph-cuts [J]. Pattern Recognition， 2011， 44（10/11）： 2450-2467.
　　[18] BUADES A， COLL B， MOREL J-M. Nonlocal image and movie denoising [J]. International Journal of Computer Vision， 2008， 76（2）： 123-139.
　　[19] ZHU F， DING M， ZHANG X. Self-similarity inspired local descriptor for non-rigid multi-modal image registration [J]. Information Sciences， 2016， 372： 16-31.
　　[20] SO R W K， CHUNG A C S. A novel learning-based dissimilarity metric for rigid and non-rigid medical image registration by using Bhattacharyya distances [J]. Pattern Recognition， 2017， 62（C）： 161-174.
　　[21] KITWARE， Inc.Retrospective image registration evaluation project [EB/OL]. [2018-07-05] http：//insight-journal.org/rire/.
　　[22] JOHNSON K A， BECKER J A. The whole brain atlas [EB/OL]. [2018-07-05]. http：//www.med.harvard.edu/aanlib/home.html.
　　[23] MAURER M C， Jr.， FITZPATRICK J M， WANG M Y， et al. Registration of head volume images using implantable fiducial markers [J]. IEEE Transactions on Medical Imaging， 1997， 16（4）： 447-462.
转载注明来源:https://www.xzbu.com/8/view-14941667.htm