基于内容语义的医学图像检索综述
来源:用户上传
作者:
摘 要
随着现代医学影像技术的迅猛发展，医学图像数量呈现了爆炸性增长，高效的医学图像检索研究显得尤为迫切。本文就医学图像检索研究的历史进行了回顾，从最早的基于文本的图像检索，基于内容的图像检索，到基于内容语义的图像检索。在回顾历史的同时，就图像检索涉及的主要问题进行了比较分析，最后给出了医学图像检索研究的未来展望。
关键词
图像语义检索;本体;语义推理
中图分类号： TP391.3 文献标识码： A
DOI：10.19694/j.cnki.issn2095-2457.2020.04.37
随着CT、MRI、PET、SPECT、超声等成像技术的迅猛发展，医学图像作为一种信息丰富、表现直观的视觉信息资源在现代医疗诊断中发挥着越来越重要的作用。医学图像归档与传输系统PACS作为现代数字诊断的重要基础已被众多医疗机构重视和使用。面对海量的医学图像资源，如何对它们有效的组织与管理，并快速准确地找到用户需要的图像数据已成为一个迫切需要解决的重要课题。
1 图像检索的历史发展
图像检索最早以人工文本标注为基础。此时的图像检索本质上是标注文本的关键词匹配，依据文本匹配程度将相关图像呈现给用户。该方法简单易实现，但缺点也显而易见：首先，人工标注图像，标注内容完全取决于标注者对图像的理解，主观性强。其次，随着持续增加的图像数量，人工标注图像需要耗费大量的人力劳动。面对海量的图像数据，这已越来越成为一个无法完成的任务。
20世纪90年代，研究者们开始寻求从图像自身寻找线索来检索图像，提出基于内容的图像检索（Content Based Image Retrieval，CBIR）。不同于人工文本标注，基于内容的图像检索直接从图像提取颜色、纹理、形状等特征信息，在特征空间中匹配检索需求，具有客观，自动化程度高等优点。系统检索时需要用户提供匹配检索需求的图像样例，系统从图像样例中提取检索特征，在特征空间中进行近似匹配，按相关度由大到小排列，呈现给用户。经过近二十年该领域的研究，人们发现如果图像检索仅仅依赖底层特征，获得的检索结果无法匹配抽象的高层语义，在很多情况下无法满足用户的需要，这极大地限制了检索系统的应用。
为此，研究人员开始考虑基于高级语义的图像检索（Semantic Based Image Retrieval，SBIR） 问题。基于语义的图像检索是基于内容图像检索的进一步发展，也是未来图像检索的发展方向。在医学影像检索应用中，其要求结合从医学视觉信息中提取的特征语义和领域知识，跨越图像底层特征与高级语义之间存在的“语义鸿沟”，将医学图像检索由特征空间拓展到更广阔的高级语义表达空间。基于语义的医学图像检索将有效提高医务工作者的工作效率，对现代医学辅助诊断与研究都具有重要的应用价值。
2 基于内容语义医学图像检索的国内外研究现状
图像检索的研究最早可以追溯到20世纪70年代，当时学者们尝试利用成熟的文本检索和分类技术进行图像检索。这种方法需要事先对图像内容或主题进行人工标注，随着图像规模的迅猛增长，其缺陷日益明显。20世纪80年代，人们开始考虑从图像视觉信息中直接提取特征线索，在特征空间中考虑图像检索，其检索过程摆脱了人工参与，检索结果更为客觀。然而，在实际应用中，人们更倾向于用关键词或文本描述解释图像，而这些语义文本描述很难直接从图像底层特征中找到对应关系，这极大地限制了图像检索的性能。众多实践表明，基于特征的图像检索在很多情况下不能满足用户的真实检索需求。
为此，基于语义的图像检索开始逐步为人们重视。21世纪初，出现了一些联系高级语义与图像特征的算法，其本质可看作是语义文本与图像底层特征之间映射关系的确立。高级语义文本最终可由本体形式化描述，进而语义文本与底层特征的映射可归结为语义本体与特征数据之间的关联。语义本体主要由概念与属性构成，建立本体与特征数据的映射本质上是建立概念及属性词汇与图像特征的关联。基于语义本体检索图像，可将图像检索建立在语义推理之上，使得面向高级语义的图像检索成为可能，极大地拓展了图像检索的应用。但语义词汇与底层特征映射关系人为设定，增加了主观性和工作量。
概念属性词汇与图像特征的关联可人工设定，但仍存在工作量大、主观性强等问题。基于机器学习技术，自动获得语义词汇与图像特征的映射是图像检索的重要研究方向。学习之前，需要人工标注部分图像。结合被标注图像和未标注图像在特征空间及语义空间中训练图像特征和语义词汇的关系函数。将学习得到的关系函数应用于图像数据集，进而获取语义本体与图像的关联。图像的标注词汇可以是一个或多个，基于多个图像语义词汇的多标签语义学习目前受到较多的关注。多标签语义学习在矢量空间中考虑监督或半监督学习问题，最终获得单词集合与特征数据的联系，在粗粒度的图像检索应用中可获得较好的效果。用机器学习技术标注图像语义，进而以语义词汇为桥梁，建立图像特征与语义本体的映射，进而跨越图像底层特征与高级语义之间的“语义鸿沟”，极大地提高了图像检索的能力。
图像检索的结果也是优化检索性能的重要资源。有学者关注检索结果的反馈，提出了利用相关反馈的改进图像检索性能的方法。相关反馈技术本质是模型参数的迭代优化，其过程是系统根据检索需求，给出检索结果。用户根据检索结果，设定结果与需求的相关度。系统根据相关度，结合机器学习技术，修正检索结果，直至用户满意。
3 基于内容语义的医学图像检索的未来展望
目前，医学图像检索的研究大多在较粗粒度上建立图像与语义词汇的联系。此时，语义词汇被认为是孤立的，不利于高级图像语义的检索及推理。以语义本体为基础，建立高级语义与图像特征数据的联系链是未来基于语义图像检索的主要发展方向。基于语义本体的医学图像检索核心议题包括图像语义词汇的自动标注和语义本体构建等，前者侧重于图像特征数据与标注词汇映射关系的获取，后者则侧重于语义词汇概念属性内在结构的建设。未来这些内容还有待进一步的发展。 由于醫学图像具有专业性强、领域内容复杂等特点，结合领域知识，建立医学图像检索语义本体是医学图像的现实要求。而在现有的研究中，领域知识的应用还不够深入，相信随着知识学习特别是知识图谱的应用，未来这一方面还会有新的突破。
为了更好地描述检索需求，需要设计良好的基于语义的查询语言接口。目前，对于基于语义医学图像检索查询语言接口的研究鲜有提及，未来还有较大的探究空间。
总之，医学图像检索的研究正从基于内容特征的检索逐步过渡到基于语义的检索。基于语义医学图像检索的研究还处于初步阶段，还没有成熟的商业系统真正应用于医学档案管理和计算机辅助诊断临床实践。而医学领域中这方面的应用需求是非常迫切的。基于内容语义医学图像检索具有深厚的学术内涵与迫切的应用需求，相信随着未来研究的不断深入，基于语义的医学图像检索将具有更为广阔的发展前景，甚至可能导致医学辅助诊断领域的革命。相信随着相关工作的不断推进，将会出现更为完善高效的医学图像检索系统，为广大医疗诊断人员和病人带来便利。
参考文献
[1]C Faloutsos， R Barber， M Flickner， et al. Efficient and effective querying by image content. Intell. Inf. Syst，1994，3（3-4）：231-262.
[2]A Gupta， R Jain， Visual information retrieval， Commun. ACM，1997，40（5）：7079.
[3]A Pentland， R W Picard， S Scaroff， Photobook：content-based manipulation for image databases[J].Int. J.Comput. Vision，1996，18（3）：233-254.
[4]J Eakins，M Graham， Content-based image retrieval[R].Technical Report， University of Northumbria at Newcastle，1999.
[5]Liu Ying，A survey of content-based image retrieval with high-level semantics，pattern recognition，2007，40（1）：262-282.
[6]D Androutsos， K N Plataniotis， A N Venetsanopoulos， Distance measures for color image retrieval[C].Proceedings of the International Conference on Image Processing，1998，2：770-774.
[7]Bannour， Hichem， Hudelot，et al， Towards Ontologies for Image Interpretation and Annotation[C].Proceedings of International Workshop on Content-Based Multimedia Indexing， 2011：211-216.
[8]P L Stanchev， D Green Jr.， B Dimitrov， High level color similarity retrieval， Int. J. Inf. Theories Appl，2003，10（3）：363-369.
转载注明来源:https://www.xzbu.com/8/view-15181713.htm
