基于模板匹配的医用内窥镜影像目标识别算法

来源:用户上传      作者:

　　摘 要：为了减轻医务人员劳动强度，同时为患者提供有效的辅助诊断信息，将自动识别追踪技术应用于医用内窥镜中，以辅助外科医生诊断与治疗，并为后续持镜机器人及手术机器人研发打下基础。对比模板匹配和边缘检测匹配两种算法之后，发现模板匹配方法容易受到光照影响，将两者综合后的算法对光照和像素迁移有很强的抗干扰能力，适合于医用内窥镜光照条件不足的应用环境。此外，引入的CamShift 算法以颜色特征作为第二匹配依据，可应对边缘不明显的情况。实验中分别对手术器械和胆囊进行模拟识别跟踪，实验结果表明，在该运动目标检测跟踪算法下，视频画面的帧速率稳定在30fps，不会出现卡顿情况，识别准确率达到了95%，并且在追踪过程中不会丢失目标。该算法原理简单、机理清晰，在实时性、鲁棒性等方面均可满足临床需求。
　　关键词：医用内窥镜;目标识别;模板匹配;边缘检测;连续自适应均值漂移
　　DOI：10. 11907/rjdk. 191616
　　中图分类号：TP317.4    文献标识码：A                 文章编号：1672-7800（2020）003-0234-04
　　Target Recognition Algorithms for Medical Endoscope Image
　　Based on Template Matching
　　ZHANG Zhi-yang， SONG Cheng-li， LI Liang， LI Liang-min
　　（School of Medical Instrument and Food Engineering，University of Shanghai for Science and Technology，Shanghai 200093，China）
　　Abstract： In order to reduce the work intensity of medical staff and provide effective auxiliary diagnostic information for patients， automatic recognition and tracking technology is applied to medical endoscopy to assist surgeons in diagnosis and treatment， which lays a foundation for the follow-up research and development of mirror-holding robots and surgical robots. After comparing the two algorithms of template matching and edge detection matching， we find that the template matching method is susceptible to illumination. The combined algorithm has strong anti-interference ability to illumination and pixel migration， which is suitable for the application environment of medical endoscopes with insufficient illumination conditions. In addition， the CamShift algorithm is introduced to deal with the situation that the edge is not obvious， taking the color feature as the second matching basis. Simulated recognition， tracking of surgical instruments and gallbladder were carried out in the experiment. Experiment result have shown that the moving target detection and tracking algorithm has a stable frame rate of 30 frames per second， and does not produce a pause. The recognition accuracy was 95%， and the target was not lost in the process of tracking， thus we can draw the conclusion that the principle of the algorithm is simple and the mechanism is clear. It can meet the clinical needs in real-time and robustness.
　　Key Words： medical endoscope; target recognition; template matching; edge detection; CamShift
　　0 引言
　　內窥镜是目前医院中常用的一种医疗器械，广泛应用于普外科、骨科、耳鼻喉科、消化内科、泌尿外科、妇科等科室。其通过人体天然孔道或人为小切口进入人体，可以直接观察人体器官和组织状态，被称作医生在微创介入手术中的眼睛[1]。内镜技术的出现是医学技术发展的一个里程碑，对该技术的应用可以大大减少对患者身体的损害，降低手术过程中的风险，并且大幅缩短患者术后恢复时间，在疾病诊断与治疗方面具有明显优势[2-3]。 　　自1987年法国医生Philippe Mouret利用内窥镜实施首例胆囊切除术至今，微创外科手术及内窥镜技术发展迅速[4]。纵观医用内窥镜发展历程与技术现状，成像镜头、微型图像传感器、采集与处理电路等关键技术已日趋成熟，因此图像后处理技术成为目前内窥镜技术的研究重点。图像后处理技术是指利用图像处理算法在软件层面对内窥镜生成的视频进行处理，从而得到干净、清晰且具有特征信息的图像。随着计算机技术，尤其是机器视觉与人工智能技术的发展，各种先进的图像处理技术不断向医学领域渗透，医用内窥镜的电子化、小型化、集成化及智能化设计成为未来发展的必然趋势[5]。如Hafner等[6]通过二维离散傅里叶变换获得肠道内窥镜图像的频域表达后，再通过筛选基于傅里叶级数矩阵的特征，以更好地区分不同结肠癌种类;Charisis 等[7]将胃部内窥镜图像进行曲波变换后，再利用遗传算法有效提取病变部位相关形态学特征;Huang 等[8]在RGB和HSV颜色空间中分别提取SIFT算子与CCH算子表征食管粘膜;Zhang 等[9]为了进行肠息肉检测，利用CNN的特征提取能力，将训练好的CNN网络中生成的特征图向量化后，再交由SVM分类器进行分类。
　　将医学图像处理技术中复杂的处理算法应用于视频中会影响图像处理速度，表现为视频卡顿，不适用于实时的手术诊断与治疗过程，而CNN训练往往需要较大的数据集，收集如此大数量的内窥镜图像是十分困难的。本文将计算机视觉中的图像检测与追踪技术应用于内窥镜成像系统中，希望通过对组织、器官、器械、损伤、出血等目标的检测与跟踪，辅助医生诊断，帮助临床医生提高手术效率、降低手术风险。同时可将该技术与机器人技术相结合，研发出全自动持镜机器人和手术机器人，由机器人替代外科医生进行内窥镜和手术器械操作。借助机器人动作精确、可靠性高的优点，可使微创介入手术更加安全、准确与方便，大大减轻医务人员劳动强度。考虑到医用内窥镜的特殊工作场景，成像系统检测跟踪算法需要满足实时性、准确性、鲁棒性等要求。本文采用目标检测中最简单的模板匹配算法，并针对内窥镜工作环境对其加以改进，使算法简单、机理清晰、实时性强。实验结果表明，该算法识别准确率可达到95%，并且比较稳定，不会出现跟踪丢失的情况。
　　1 材料与方法
　　1.1 CMOS图像传感器
　　目前市场上的高清内窥镜视频图像采集部分传感器大都是电荷耦合器件（Charge Coupled Device，CCD），虽然具有信噪比高、图像质量好等优点，但是制造成本高，且功耗较大[10]。CMOS图像传感器虽然在刚开发出来时图像性能不佳，但是随着相关技术的不断发展，CMOS传感器的图像性能正逐渐接近CCD传感器[11]。此外，由于CMOS传感器具有功耗与制造成本低、集成度高等优点，CMOS图像传感器比CCD图像传感器具有更高的性价比，使其替代CCD图像传感器成为可能[12]。
　　表1对比了CCD和CMOS图像传感器的部分性能指标，随着CMOS图像传感器制作工艺的发展，其成像质量差的缺点逐渐得到改善，已能满足医用内窥镜对图像质量的要求。因此，本文采用OV9734芯片作为图像传感器，可以大幅降低成本。此外，应用氙灯照明的方法成本较高，且使用过程中光纤易折断[3]，所以本文采用LED光源。随着高亮LED 技术的发展，LED 合光后表现出优良的特性，使用LED 作为内窥镜照明已成为可能。
　　1.2 模板匹配原理
　　在一幅图像中查找特定目标最普遍且最简单的方法之一即为模板匹配。该方法原理是按照一定顺序遍历图像中的每一个位置，计算目标与模板相似度，当相似度达到设定阈值时，即认为找到了目标。基于该方法并结合合适的循环算法，即可实现对目标的检测与跟踪。
　　一般来说，评价目标与模板相似度的方法有6种：平方差匹配法、归一化平方差匹配法、相关匹配法、归一化相关匹配法、相关系数匹配法和归一化相关系数匹配法[13]。算法复杂度越高，匹配结果也越精确。对以上方法进行测试实验后，本文选用归一化相关匹配法，可同时兼顾速度和精度。该方法将模板均值归一化值与图像均值归一化值进行匹配，1表示完全匹配，-1表示不匹配，0表示不相关。如果用T表示模板图像，I表示待匹配图像， R表示匹配结果，则其满足如下关系式[14]：
　　1.3 边缘检测匹配原理
　　模板匹配算法是以像素为基础进行匹配的，容易受到光照影响[15]。考虑到内窥镜的工作环境缺乏充足的光照条件，所以本文将图像边缘梯度引入模板匹配算法中，其对图像光照与像素迁移都有很强的抗干扰能力，可以抵消目标图像上出现的微小像素迁移的影响，比较适合于医用内窥镜工作环境。
　　该算法主要基于图像梯度，实现基于梯度级别的归一化交叉相关（Normalization cross correlation，NCC）模板匹配。NCC是一种基于统计学计算两组样本数据相关性的算法，其取值范围为[-1， 1]。对于图像而言，每个像素可以看作RGB的数值，图像即可看作一个样本数据的集合。当NCC值为1时，说明相关性非常高，意味着其具有与另一个样本数据相匹配的子集。其数学公式表示如下[16]：
　　式中f表示像素点灰度值，μ表示窗口所有像素平均值，σ表示标准方差假设，t表示模板像素值，n表示模板像素总数。
　　获取边缘图像的方法主要为Canny边缘检测算法，图像边缘集中了图像大部分信息，是图像分割依赖的重要特征[17]。图像边缘梯度计算是指通过Sobel梯度算子得到dx、dy以及 magnitude（dxy），然后根据图像梯度信息进行匹配。使用边缘特征作为模板匹配的基础，可以大大增加模板匹配的抗干扰性和成功率。
　　如果以A代表原始图像，Gx、Gy分别代表经横向及纵向边缘检测的图像，则Sobel梯度算子数学公式表示如下：
　　1.4 改進算法实现目标识别与追踪 　　边缘检测模板匹配对图像光照有很强的抗干扰能力，可以抵消目标图像上出现的像素微小迁移，但医用内窥镜手术环境下某些损伤组织或器官目标的边缘特征并不太明显。在该情况下，本文引入连续自适应均值漂移（Continuously Adaptive Mean-SHIFT，CamShift）算法，将颜色特征加入匹配图像中，使匹配结果更加准确。
　　CamShift算法通过解析HSV颜色空间下目标区域H分量特征信息实现目标识别与跟踪，可使目标具有较低的形变敏感度。该算法由于具有实时性好、计算量小和复杂度低等优点，在运动目标跟踪领域得到了广泛应用[18]。但其也存在一定不足，如在复杂场景或背景中存在色彩结构与目标类似的情况下，该算法会存在一定程度的跟踪误差，甚至出现跟踪失败的情况[19]。因此，将CamShift算法与模板匹配算法相结合，可弥补各自的不足。算法流程如图1所示。
　　2 实验结果
　　2.1 OpenCV简介
　　本文中所有算法均使用OpenCV工具集加以实现。OpenCV （Open Source Computer Vision Library）是由一系列C函数和C++类构成的计算机视觉库，实现了图像处理和计算机视觉方面的很多通用算法，可以非常方便地嵌入到C或C++开发平台中，并大幅缩短应用程序开发周期，降低代码编写难度[20]。
　　2.2 传统模板匹配与边缘检测模板匹配
　　采用不同算法在正常状态和暗光状态下进行实验，识别效果对比如图2所示。
　　验证算法有效性后，本文再利用腹腔手术训练平台进行手术器械的识别跟踪实验，并选择具有比较稳定边缘和颜色特征的手术抓钳作為实验对象。
　　2.3 目标检测与追踪
　　目标检测与追踪部分以微创手术抓钳器械前端为检测目标，在腹腔镜训练器实验平台上进行测试，观察追踪效果。随后将两把器械进行多次接触，追踪点可以在器械之间相互传递，以实时转换追踪目标，适用于器械切换的场合。实验中器械追踪与传递过程如图3所示。经过20次重复实验，视频画面的帧速率稳定在30fps，在整个过程中不会感觉到明显卡顿，对抓钳识别的准确率达到了95%，并且在追踪过程中不会丢失目标，在两把器械之间的目标转换也可以顺利完成。该功能后期还可实现对持镜机器人的自动控制，保持手术器械在视野中央，以避免视野丢失造成的不便。
　　为了验证算法在真实手术环境下的表现，将一段腹腔镜下的胆囊摘除手术视频导入软件中，标记胆囊为追踪目标，观察手术过程中的实时追踪效果。实验结果表明，在整个手术过程中，对胆囊的识别追踪效果良好，器械的遮挡和干扰不会造成追踪目标脱离，具有较好的稳定性。实验过程如图4所示。
　　实验结果显示，边缘检测模板匹配算法在较暗的光照条件下依然有良好的识别准确性，可适应内窥镜工作环境，并且改进算法能够较好地识别与追踪规定目标。
　　3 结语
　　本文对传统目标识别检测算法进行改进，提出一种适用于医用内窥镜的图像处理算法。该算法在实时性、鲁棒性等方面均可满足临床需求，且算法简单、机理清晰，在目标与识别追踪方面取得了较好效果。
　　尽管本研究在实验室条件下实现了预期功能，但在实际临床应用中会面临更加复杂的工作环境，所以未来工作将从以下两方面展开：本文只研究了对单个目标物体的跟踪情况，尚未涉及对多目标的识别跟踪，然而多目标识别跟踪在临床上有很重要的应用价值，因此未来需要对多目标物体跟踪作进一步研究[21];本文设计的目标跟踪系统在结构上还有待完善，包括对运行逻辑系统进行优化，以及增加并行处理等，从而使系统跟踪效率进一步提高。
　　参考文献：
　　[1]孟祥峰，李宁，刘艳珍，等. 光学内窥镜系统色还原性测试方法研究[J]. 中国医疗设备， 2016（12）：104-106，112.
　　[2]薛林. 医用3D内窥镜系统的应用现状与展望[J]. 电视技术，2013，37（z2）：457-459.
　　[3]陈庆. 医用内窥镜关键技术的研究[J]. 中国医疗设备，2015，30（4）：68-70.
　　[4]冯大伟， 姜会林， 张光伟. 基于双目立体视觉的医用三维电子内窥镜系统[J]. 长春理工大学学报：自然科学版， 2012， 35（1）：38-42.
　　[5]BU X Z， LI G J， YANG B， et al. Fast unwrapping of panoramic annular image with center deviation[J]. Optics and Precision Engineering， 2012， 20（9）：2103-2109.
　　[6]HAFNER M，BRUNAUER L，PAYER H，et al.  Computer-aided classification of zoom-endoscopical images using Fourier filters.[J]. IEEE Transactions on Information Technology in Biomedicine， 2010， 14（4）：958-970.
　　[7]CHARISIS V S，HADJILEONTIADIS L J. Use of adaptive hybrid filtering process in Crohn’ s disease lesion detection from real capsule endoscopy videos[J]. Healthcare Technology Letters，2016， 3（1）：27-33.
　　[8]HUANG C R， CHEN Y T， CHEN W Y， et al. Gastroesophageal reflux disease diagnosis using hierarchical heterogeneous descriptor fusion support vector machine[J]. IEEE Transactions on Biomedical Engineering， 2015，63（3）： 588-599. 　　[9]ZHANG R， ZHENG Y，MAK T W C，et al. Automatic detection and classification of colorectal polyps by transferring low-level CNN features from nonmedical domain[J]. IEEE Journal of Biomedical and Health Informatics， 2017， 21（1）：41-47.
　　[10]GEE T， DELMAS P， JOLY S， et al. A dedicated lightweight binocular stereo system for real-time depth-map generation[C].Design & Architectures for Signal & Image Processing. IEEE， 2017.
　　[11]ZHOU G， JIANG L， HUANG J， et al. FPGA-based on-board geometric calibration for linear CCD array sensors[J]. Sensors， 2018， 18（6）：1794.
　　[12]AOKI H，YAMASHITA H，MORI T， et al. Ultrahigh sensitivity endoscopic camera using a new CMOS image sensor[J]. Surgical Endoscopy， 2014， 28（11）：3240-3248.
　　[13]田軍委，牛秀娟，赵彦飞. 基于动态模板匹配的运动目标识别[J]. 机械与电子， 2017， 35（1）：77-80.
　　[14]刘洋洋，嵇启春. 一种改进的模板匹配的数字识别算法[J]. 工业控制计算机， 2010， 23（5）：76-77.
　　[15]符亚彬. 基于Logo标志检测的暴恐视频识别系统的设计与实现[D]. 北京：北京交通大学，2016.
　　[16]崔政，李壮. 两种改进的模板匹配识别算法[J]. 计算机工程与设计，2006， 27（6）：1083-1085.
　　[17]赵巨波，孙华燕，杜巍. 一种图像边缘特征提取算法[J]. 光学精密工程，2000， 8（4）：325-327.
　　[18]任世卿，王思思，薛桐. 一种避免遮挡物影响的运动目标检测方法[J]. 电脑知识与技术， 2015， 11（17）：160-162.
　　[19]张辰，彭玉旭. 基于HSV非均匀量化的CAMshift目标跟踪算法[J]. 智能计算机与应用， 2017， 7（3）：21-25.
　　[20]尧燕. 基于OpenCV多源图像的整合研究[J]. 湖南工程学院学报：自然科学版， 2015， 25（2）：59-61.
　　[21]刘闯. 基于特征融合和Mean Shift的多目标跟踪方法研究[D].苏州：苏州大学， 2009.
　　（责任编辑：黄 健）
　　收稿日期：2019-04-28
　　基金项目：国家自然科学基金重点项目（51735003）;上海市科研计划项目（18441900200）
　　作者简介：张志阳（1991-），男，上海理工大学医疗器械与食品工程学院硕士研究生，研究方向为医学图像处理技术;宋成利（1968-），男，博士，上海理工大学医疗器械与食品工程学院教授、博士生导师，研究方向为微创医疗器械、智能材料和生物力学;李良（1995-），男，上海理工大学医疗器械与食品工程学院硕士研究生，研究方向为医学图像处理技术;李良敏（1992-），男，上海理工大学医疗器械与食品工程学院硕士研究生，研究方向为机器视觉。本文通讯作者：宋成利。
转载注明来源:https://www.xzbu.com/8/view-15217516.htm