基于焦平面估计的快速扫片方法

来源:用户上传      作者:卢祎 张雪媛 何勇军

　　摘 要：随着仪器自动化的发展，基于显微镜的自动阅片系统被广泛应用于医学领域。该系统需要在显微镜视野下移动多个位置并拍摄标本图像，以完成整个扫描任务。但是由于载物台平面与物镜中轴线不能保证绝对的垂直，或者观测样本表面的起伏，使得各个视野的焦点不在一个平面内，有必要通过聚焦移动以获得清晰图像。传统方法在每个位置都进行聚焦，导致聚焦移动次数过多，扫片的效率较低。为了减少扫片的时间，提出了一种基于焦平面估计的快速扫片方法。通过采集有代表性位置的焦点，估计其附近位置的焦点，在扫描载玻片时可以直接移动到估计的焦点位置完成聚焦。实验表明此方法能有效减少焦点搜索的次数，提高扫片效率。
　　关键词：自动聚焦;自动显微镜;焦平面估计;多点平面分割方法;平面判断方法
　　DOI：10.15938/j.jhust.2020.01.008
　　中图分类号： TH742
　　文献标志码： A
　　文章编号： 1007-2683（2020）01-0051-08
　　Abstract：With the development of instrument automation， the microscope-based automatic reading system is used widely in the medical fieldThis system needs moving many positions under the microscope and capturing the images to complete the scanning taskHowever， because it is difficult to ensure the plane of the platform and the axis of the object lens are vertical， and the surface of the observed samples may be not even， the focuses in different locations are not in a planeTherefore， it is necessary to run auto focusing to obtain clear imagesConventional methods perform focusing at each location， causing excessive movements and inefficient scanningIn order to reduce the scanning time， this paper presents a fast scanning method based on focal plane estimationBy acquiring the focuses at several representative positions， the focuses of the position near them are estimated， and the platform（or the lens） can be moved directly to the estimated positionExperiments show that this method can reduce the number of focus searching effectively and improve the scanning efficiency-
　　Keywords：automatic focusing; automatic microscope; focal plane estimation; multi-point plane segmentation method; method of determining the plane
　　0 引 言
　　隨着电子显微镜的出现和图像处理技术的发展，基于人工智能的病理分析已经成为当下最主流的研究方向。这种技术首先在显微镜下采集脱落细胞或者组织切片的图片，然后分析图像病变情况，为病理诊断提供辅助。由于相机视野宽度有限，分析一个样本需要采集多幅图像。一个载玻片样本的扫描一般需要采集300张以上的图片。
　　全自动显微镜是通过自动移动载物平台使电子显微镜采集不同位置视野的图像。由于无法确保载物台平面与显微镜观察方向完全垂直，或者观测样本表面的起伏使焦点不在同一个平面内，导致显微镜下的图像不清晰。全自动显微镜采用自动聚焦的方式，确保拍摄到清晰的图像。自动聚焦包含两个关键环节，一是清晰度评价函数，用于评价图像的清晰程度;二是聚焦搜索策略，是寻找焦点的方法。典型的清晰度评价函数有低灰度值统计法[1]、基于边缘检测[2-4]、灰度值差分绝对值之和算子[5-6]、拉普拉斯算子[7]、Roberts梯度算子[8-9]等。焦点搜索方法有遍历搜索法[10]和变步爬山法[1]。目前扫片效果较好的聚焦策略是使用有三种步长的变步爬山。先计算当前视野的清晰度评价函数值，根据所得函数值判断离焦状态，离焦严重、轻度和微小分别对应变步爬山的大步长、中步长和小步长。使用离焦状态对应的步长在垂直载玻片的方向上移动物镜，每移动一个步长计算一次评价函数值，更新离焦状态，多次探测，取清晰度最大的位置既是当前视野的焦点，采集图像。由于变步爬山法在扫片过程中会多次移动，甚至会出现探测焦点的死循环，扫描效率低下。
　　显微镜的载物平台具有一定精度，相邻视野的焦点位置存在一定的依赖关系，比如处于同一个平面但与镜头中轴线不垂直。因此，当样本玻片放在显微镜下时，只要可以确定这个平面和显微镜观察角度的关系就可以确定相邻视野的焦平面。扫描某一个视野时，首先通过估计出的焦平面计算出该视野的焦点位置，然后直接移动到焦点位置实现聚焦操作，无需多次移动去试探性地搜索焦点，就可以在最大程度的提升自动阅片的效率。基于此，本文利用三点确定一个平面的方式粗略估计焦平面，判断研究方向的正确性。首先采集3个不在一条直线上的点自动聚焦，再取这3个点的坐标，这3个点可以确定的三维平面作为估计的焦点平面。但在应用中，除了平台误差外，还有样本的被观察表面可能存在起伏，单个平面对焦平面的刻画不够精细。因此，本文进一步提出了一种基于多点聚焦的快速采集方法。该方法是将样本扫描区域细分为多个区域，认为每个三角区域范围内的焦点落在对应的三角区域所在的平面上。实验中使用低灰度值统计法、灰度值差分绝对值之和算子和拉普拉斯算子清晰度评价函数对采集图片进行清晰度评价。实验结果表明，三点聚焦可以在保持清晰度情况下有效提高扫描效率，而多点聚焦方法比三点聚焦在清晰度提升方面具有更好的性能，实现牺牲较小清晰度的前提下，提高扫片效率。 　　1 三点聚焦快速扫片方法
　　标准的三维平面重建，都是采用3个点建立平面。在显微镜下找到3个不在同一直线上的3个点，利用自动聚焦技术，获取到每个位置的焦点坐标。已知3个已知点的坐标P（x0，y0，z0）、Q（x1，y1，z1）、U（x2，y2，z2），如图1所示，可得两个相交的空间向量PQ、PU，利用这两个向量可以求得垂直于这三个点所确定平面的法线向量，如式（1），求得n=（A，B，C），利用点法式计算得到平面方程（2）。
　　三点聚焦的快速扫片流程如图2所示，将组织样本玻片放置在显微镜下，首先在样本上找到3个不在一条线上的3个点，分别聚焦获得每个点的X轴、Y轴和Z轴坐标，然后通过这3个点计算其所在平面。接下来开始扫片，将平台移动到下一个采集图像的位置，通过该位置的X轴和Y轴坐标计算对应的Z轴坐标，移动Z轴到指定位置，最后采集图像，直到采集的数量满足要求，结束扫片。
　　2 多点聚焦快速扫片方法
　　三点聚焦的方法，能有效解决整个平台的倾斜问题，但缺无法解决平台加工的误差问题和被观察样本表面起伏问题。因为三点聚焦的方法对聚焦曲面的刻画不够精细，而且对3个点的精度要求非常高，当任意一个点的焦点位置聚焦精度不够时，所建立的平面与真实平面会出现差异，且在三角形外部距离3个点越远的位置，其偏差距离越大，导致图像模糊。
　　多点聚焦快速扫片方法，是在3个点建立平面的基础上，增加了多个三角形平面，并减小了每个三角形的面积，这样做更加精细划分被观测平面，可以应对较复杂的观测表面。多点聚焦快速扫片流程如图3所示，将组织样本玻片放置在显微镜下，首先在样本上按照一定方式找到多个位置，分别聚焦获得每个位置的X轴、Y轴和Z轴坐标，通过指定的分割方法将样本分割成多个三角区域，并确定每个三角区域的平面公式。将平台移动到下一个采集图像的位置，通过该位置的X轴和Y轴坐标，判断该位置所在的三角形区域，根据该区域对应的平面公式，计算对应的Z轴坐标，移动Z轴到指定位置，最后采集图像，直到采集的数量满足要求，结束扫片。
　　2-1 多点平面分割方法
　　由于样本涂层的形状一般都是一个近似圆，所以建立坐标系的原点采用组织样本的中心点，取样点如图4所示，图中圆圈对应组织涂层的位置，在圆内均匀的选择14个点，这14个点要尽可能覆盖载玻片的各个角落，目的是在建模时顾及到载玻片全局。本方法选点个数是14个，这是一个较优的方案，原因是选点过少导致焦平面建模粗糙，導致聚焦效果不理想，而选点过多导致建模复杂影响扫片效率。这些点将整个样本分割成多个相邻三角形，共计建立了14个平面，这些平面几乎覆盖整个样本。
　　如图5是在图4的点的分布下对每个点聚焦后建立出若干个估计的焦平面。多点聚焦与三点聚焦（建立单个焦平面）相比的特点在于对平面进行了细分，从而多点聚焦还原出平面更多细节，使得每一个小的焦平面更加精确，更符合实际被观测物体表面的情况。
　　2-2 判断视野所在三角区域
　　由于分割后的形状是多个相邻的三角形组合而成。对于给定的视野，首先要确定其所属的三角形区域，然后确定视野所在焦平面上点的垂直距离。根据三角形的性质，可利用外心判断点的所属平面。外心是三角形外接圆的圆心。计算方法如图6所示，对3条边分别作垂直平分线，它们的交点就是外心。计算点到每个外心的距离，与其距离最近外心对应的三角形，就是该点所在的平面。距离计算为
　　图中数字部分覆盖着载玻片上被观测表面，每一个数字代表着物镜下每一个视野，数字0是扫片的起始位置，数字递增的顺序为扫描路径。扫描时，电动载物台按照扫描路径依次将每个视野送到物镜下观察，在每个视野下计算图像的清晰度评价函数值，判定当前离焦状态，选择移动步长，移动物镜后再次计算清晰度评价函数值，更新离焦状态，直到找到焦点，再使用①高清数码相机拍摄清晰图像，载物台将下一个视野送到物镜下，直至扫描完所有的视野。扫描一张载玻片可以拍摄332张图片。
　　3-2 实验中用到的清晰度评价函数
　　清晰度评价函数用于评价图像的清晰度，不同的评价函数使用不同的数学方法将图像上有关清晰度的信息通过数值表现出来，通过数值间的大小比较判断图像的清晰程度。下面介绍本实验所使用的清晰度评价函数。
　　3.3 实验内容
　　实验数据是宫颈细胞样本，样本图片如图9所示。分别用传统聚焦扫片方法[1]、三点聚焦扫片方法和多点聚焦扫片方法，对细胞样本进行图像采集。将采集后的图像用3种清晰度评价函数（SMD、SML、LGV）计算每次扫片的平均清晰度，然后计算清晰度损失如下：
　　第一次实验结果，清晰度如图10所示。表1数据可以看到3种扫片方法在不同清晰度评价函数下的函数值。全部聚焦是每个位置计算多次清晰度评价函数值并配合着变步爬山的方法，是目前效果最好的聚焦和扫片方法。所以将全部聚焦的清晰度作为标准，对比另外两种扫片方法的清晰度。图中清楚显示三点聚焦得到图像的清晰度比全部聚焦得到图像的清晰度小;多点聚焦得到图像清晰度介于二者之间，说明多点聚焦的效果要好于三点聚焦方法。
　　表1是清晰度损失。使用上述式（10）计算出三点聚焦和多点聚焦相对于全部聚焦在LGV、SML、SMD 3种不同清晰度评价函数下的损失。可以明显看到3种清晰度评价函数中三点聚焦的清晰度损失均大于多点聚焦的清晰度损失。将每种扫片方法的清晰度损失的平均值作为其最终的考量。计算三点聚焦的清晰度损失平均值是24-80%，表明这种方法采集的图像与全部聚焦采集的图像清晰度差异达到24-80%。3种清晰度函数计算多点聚焦的清晰度损失平均值是10-21%，表明多点聚焦清晰度损失比三点聚焦清晰度损失低。
　　四组实验中，两次使用细胞分布正常的样本，一次使用细胞分布密集的样本，一次使用细胞分布稀疏的样本，模拟了实际使用的全部情况，细胞密集的样本对于焦平面估计方法最理想;其次是细胞分布正常的样本;而细胞分布稀疏的样本使得三点聚焦方法产生较大误差，但是多点聚焦算法表现优于三点聚焦，体现了其良好的鲁棒性。实际的使用样本多为细胞分布均匀的情况，细胞分布极多和极少的情况很少发生。实验证明，无论是细胞密集，细胞分布正常还是细胞分布稀疏，从实验结果中可以发现，多点聚焦的清晰度损失小于三点聚焦的清晰度损失，且多点聚焦的清晰度与全部聚焦的清晰度相差极小。这表明了多点聚焦快速扫片方法比三点聚焦扫片方法采集的图像更加清晰，证明了多点聚焦方法更加准确还原了被观测物体的表面。可以认为与全部聚焦的图像清晰度基本一致，而且通过对焦点平面建模的方式估计焦点位置，减少了传统方法探测焦点次数，约节省40%的扫片时间，与预期结果一致。 　　4 结 论
　　本文提出并讲解了三点聚焦快速扫片方法的技術原理，并针对其存在的问题提出了多点聚焦快速扫片方法。实验采用三种清晰度评价函数分别对全部聚焦、三点聚焦和多点聚焦扫片方法采集的图像进行评价。实验数据表明，多点聚焦快速扫片方法比三点聚焦扫片方法的清晰度更高，与全部聚焦扫片方法所采集图像的清晰度相差较小，表明了多点聚焦快速扫片方法能更加精确还原被观测物体表面，实现精准的焦平面估计，并且具有一定鲁棒性。而且扫片用时要比全部聚焦扫片方法节省40%，表明了所提出方法的有效性。下一步的研究是使用机器学习技术通过计算图像的模糊程度预测细胞焦点的位置。
　　参 考 文 献：
　　[1] 梁隆恺，赵晶，何勇军. 一种显微镜自动聚焦算法[J]. 哈尔滨理工大学学报，2018，23（2）：46.   LIANG Longkai， ZHAO Jing， HE Yongjun. A Focusing Algorithm in Automatic Microscope[J]. Journal of Harbin University of Science & Technology， 2018， 23（2）：46.
　　[2] 吴兴蛟， 吴晟. 基于边缘检测的位图矢量化的实现[J]. 计算机与数字工程， 2016（2）：331.WU Xingjiao， WU Sheng. Bitmap Vector Quantization Based on Edge Detection[J]. Computer & Digital Engineering， 2016（2）：331.
　　[3] 陈云彪，张丽琴，李汉明，等. 基于边缘检测的车牌识别算法的实现[J]. 电子测试，2017（21）：41.CHEN Yunbiao， ZHANG Liqin， LI Hanming， et al. The Algorithm of License Plate Recognition Based on Edge Detection[J]. Electronic Test， 2017（21）：41.
　　[4] 杨陶， 田怀文， 刘晓敏，等. 基于边缘检测与Otsu的图像分割算法研究[J]. 计算机工程， 2016， 42（11）：255.YANG Tao， TIAN Huaiwen， LIU Xiaomin， et al. Research on Image Segmentation Algorithm Based on Edge Detection and Otsu[J]. Computer Engineering， 2016， 42（11）：255.
　　[5] QIU Y， CHEN X， LI Y， et al. Evaluations of Auto-focusing Methods Under a Microscopic Imaging Modality for Metaphase Chromosome Image Analysis[J]. Analytical Cellular Pathology， 2013， 36（1/2）：37.
　　[6] ZHANG Xiangfen， WU Hongfeng， MA Yan. A New Auto-focus Measure Based on Medium Frequency Discrete Cosine Transform Filtering and Discrete Cosine Transform[J].Applied and Computational Harmonic Analysis， 2016（3）：430.
　　[7] TIAN Y， HU H， CUI H， et al. Three-dimensional Surface Microtopography Recovery from a Multifocus Image Sequence using an Omnidirectional Modified Laplacian Operator with Adaptive Window Size.[J]. Applied Optics， 2017， 56（22）：6300.
　　[8] 王方超， 张旻， 宫丽美. 改进的Roberts图像边缘检测算法[J]. 探测与控制学报， 2016， 38（2）：88.WANG Fangcao， ZHANG Min， GONG Limie. Image Edge Detecion Algorithm of Roberts Operator[J]. Journal of Detection & Control， 2016， 38（2）：88.
　　[9] 付万程， 达飞鹏， 黄源. 基于分数阶梯度算子的图像匹配算法[J]. 图学学报， 2017， 38（3）：352.FU Wancheng， DA Feipeng， HUANG Yuan. Image Matching Algorithm Based on Fractional-Order Gradient Operator[J]. Journal of Graphics， 2017， 38（3）：352.
　　[10]李惠光， 李敏， 邵暖， 等. 显微视觉系统中自动聚焦算法的研究[J]. 计算机工程与应用， 2016， 52（14）： 197.LI Huiguang， LI Min， SHAO Nuan， et al. Study on Auto-focusing Algorithm of Micro-vision System[J]. Computer Engineering and Applications， 2016， 52（14）： 197.
　　[11]赵晶， 梁隆恺， 何勇军， 等. 复杂背景下的宫颈细胞核分割方法[J]. 哈尔滨理工大学学报， 2019， 24（3）.ZHAO Jing， LIANG Longkai， HE Yongjun. The Method of Segmentation of Cervical Nuclei in Complex Background[J]. Journal of Harbin University of Science & Technology， 2019， 24（3）.
　　（编辑：王 萍）
转载注明来源:https://www.xzbu.com/8/view-15210294.htm