一种摄像模组位姿精确测量的方法

来源:用户上传      作者:

　　摘  要： 位姿偏差是影响摄像模组质量的重要因素。受限于成本和工艺流程，国内中低端摄像模组的生产过程通常只做清晰度检测，没有进行摄像模组位姿测量，基于此，文中提出一种摄像模组位姿精确测量的方法。首先，通过一个制具将位姿测量转化为相机标定问题;再基于自主设计的圆形阵列和MTF组合标靶实现图像清晰度和位姿的一站式测量。所提方法在不提高制造成本和不改变工艺流程的前提下，实现了对摄像模组位姿精确测量;最后，设计了一个三维旋转台对所提方法进行验证。实验结果表明，所提方法平均误差值小于0.05°，检测时间小于100 ms，完全满足相关产业的检测要求。
　　关键词： 位姿测量; 摄像模组; 平行标定; MTF计算; 组合标靶; 三维转台
　　中图分类号： TN911.1?34; TH165                  文献标识码： A                    文章编号： 1004?373X（2020）07?0057?05
　　A method of accurate pose measurement for camera module
　　LIU Zuoshi1， HAN Xin1， 2， CHEN Sanfeng2， HU Tao2
　　（1. School of Mechanical and Electrical Engineering， Jiangxi University of Science and Technology， Ganzhou 341000， China;
　　2. Shenzhen Institute of Information Technology， Shenzhen 518029， China）
　　Abstract： The pose deviation is the key factor affecting the quality of the camera module. For the limitation of cost and process flow， in general， there is only definition detection but no pose measurement of camera modules in the production process of low?and middle?end camera modules in China. A method of accurate pose measurement for camera module is proposed on the basis of the above. Firstly， the pose measurement is converted into the camera calibration by a tool， and then one?stop measurement of the image clarity and pose are realized based on the autonomously?designed circular array and MTF combined target. The accurate pose measurement of the camera module is realized without any increase of the manufacturing cost and change of the process flow. A 3D rotating table is designed to verify the method. The experimental results show that the average error value of the method is less than 0.05° and the detection duration is less than 100 ms， which fully meets the testing requirements of relevant industries.
　　Keywords： pose measurement; camera module; parallel calibration; MTF calculation; combined target; 3D rotating table
　　0  引  言
　　近年来，小型摄像模组（Compact Camera Module，CCM）被广泛应用于各类电子产品，其市场需求量逐年递增[1]。目前，高端摄像模组大多采用主动对准技术（AA制程）完成组装，组装精度高，但是AA制程设备价格高昂[2]，中低端摄像模组受限于成本和工艺等因素主要由人工完成组装[2?3]，此类摄像模组在组装后通常采用成像清晰度检测设备进行品控管理[4?6]。随着消费者对产品质量要求的日益提高，摄像模组的品控要求也逐渐提高，单一的成像清晰度检测已不再满足要求，摄像模组的组装位姿偏差检测也因此被纳入到品控管理中。
　　对此，本文首先将摄像模组的组装位姿偏差检测问题转化为相机标定问题，然后将用于实现相机标定的圆形阵列标靶与MTF标靶进行有机组合，设计了一种新的组合标靶，并基于此组标靶提出了一种摄像模组组装位姿偏差估计算法，此算法可在不增加检测工位的前提下，同时实现摄像模组成像清晰度测量和摄像模组位姿的精确测量。
　　1  摄像头模组位姿估计 　　1.1  位姿估计问题的建模
　　摄像模组组装偏差就是摄像模组感光芯片及镜头组相对于基底的角度偏移，即tilt角（[xtilt]，[ytilt]）和旋转角（rotation），如图1所示。其中，[xtilt]是摄像模组感光芯片及镜头组相对于基底的竖直方向角度偏移;[ytilt]是摄像模组感光芯片及镜头组相对于基底的水平方向角度偏移。
　　通过制具将摄像模组基底底面与标靶保持平行，制具的中心对准标靶中心标志圆的圆心，制具的四条边与标靶对应的四条边平行且距离相等，如图2所示。因此，位姿偏差角便转化为模组与标靶的相对偏移，即模组相对于标靶的空间位姿值，而空间位姿值可由相机标定技术进行求解，因此位姿估计问题被转化为相机标定问题。
　　相机标定主要就是实现相机内参和外参的计算，依据相机标定成像模型，借助圆形阵列标定板及所成像图像特征点的映射限定（即（[Xw]，[Yw]，[Zw]）到（[XI]，[YI]）的映射），如图3所示，对成像系统模型[f]的内参、外参进行优化估计，其中，外参中的空间位姿[α，β，γ]估计值分别对应于[xtilt]，[ytilt]，rotation三个组装偏差角。
　　1.2  基于平行标定的三维位姿估计
　　国内外很多学者提出了许多经典的相机标定方法，文献[7]提出的基于径向排列约束（RAC）的二步法标定方法，其标定精度较高，文献[8]提出平面标靶的相机标定方法，操作简便，上述方法均需要不同角度、不同位置的多幅图像。受限于实际产线空间狭小且CCM的组装偏差角通常比较小，一般在5°以内，因此可采用相机平行标定算法[9?12]。基于相机平行标定算法仅采集一幅标靶图，就能够较为快速而准确地计算出摄像模组相对于标靶的三维位姿值，以此评估摄像模组位姿偏转。在已有的平行标定算法中，文献[12]基于高斯成像模型提出了一种只使用线性优化策略的高精度平行标定算法，非常具有实用价值。
　　然而，文献[12]所述方法与其他的平行标定算法一样仍需预标定光轴与图像平面交点坐标[（u0，v0）]和焦距[f]等参数的初值，其提及的预标定算法的标定过程比较繁琐，不易于在產线上实现。
　　针对[u0，v0]等参数的预标定问题，本文通过设计一种制具使摄像模组基底中心对准组合标靶中心圆的圆心，当光轴不存在偏移时，图像中心与图像中的标靶中心圆的中心重合;当二者存在偏差时，图像中心与图像中标靶中心圆中心将存在偏差。因此，可以将图像标靶中心圆中心作为[（u0，v0）]的初值，另外，从模组生产商获得准确的[f]值，大大简化预标定问题。
　　因此，在通过制具简便地得到[u0]，[v0]等参数初值的基础上，采用文献[12]的平行标定算法对相机成像模型进行估计，得到相机内外参的估计值。其中，[α，β，γ]值用于摄像模组位姿偏差估计。本文所采用的平行标定流程大致由以下四个步骤组成：
　　1） 通过制具保证了标靶中心与模组基底中心对准，将标靶中心圆中心作为[（u0，v0）]的初值，另外，从模组生产商获得准确的[f]值。
　　2） 根据圆形阵列标靶设计值计算得到标靶上各圆心的世界坐标值，由于是平面标靶，可以人为地令[Zw=0]。
　　3） 提取标靶图像中各圆心在图像坐标系中的坐标值[（XI，YI）]。
　　4） 基于文献[12]所述方法，借助（[Xw]，[Yw]，[Zw]）与（[XI]，[YI]）之间的映射关系，对成像模型的内参、外参进行优化估计，得到相机内外参数的估计值。
　　2  基于组合标靶的清晰度测量和位姿估计
　　2.1  组合标靶的设计
　　使用圆形阵列标靶可以进行组装偏差估计，但需要增加一个检测工位，从而加大了检测成本。为了尽可能降低成本，本文创新性地设计一种平面组合标靶，将经典的圆形阵列标靶图案叠加在棋盘格MTF标靶图案上，同时，为了方便判定标靶中心，将标靶中心圆半径设计为稍大于其他圆半径，如图4所示。
　　通过组合标靶的黑白棋盘格能够准确测量出摄像模组成像清晰度值，进而评估摄像模组的成像质量。在棋盘格标靶上添加圆形阵列，借助标靶的圆形阵列与所成图像特征点的映射限定关系，进而对成像模型的各参数进行估计和优化，从而能够得到摄像模组相对于标靶的三维位姿值。因此本文仅需采集一幅组合标靶图就能够在保证实现摄像模组成像清晰度测量的前提下在同一个工位精确测量摄像模组位姿。
　　为了提高成像清晰度值计算的鲁棒性，通常在采集得到的组合标靶图上设定如图4所示的五块矩形检测区域，并根据式（1）计算出每个区域的MTF值[13]，以此来全面地评估摄像模组的成像质量。
　　[M=Imax-IminImax+Imin] （1）
　　2.2  基于组合标靶的位姿估计
　　组合标靶上不仅有圆形阵列图案，还有棋盘格图案，但在进行位姿估计时，只需要圆形阵列坐标值，因此需要将棋盘格图案排除掉。
　　本文采集一幅组合标靶图，首先对标靶图进行亚像素精度阈值分割提取轮廓[14]，再以设定圆度、半径长筛选出圆形目标轮廓，最后对轮廓进行椭圆拟合等图像处理步骤，得到圆形阵列的圆心坐标，其大致流程如图5所示。
　　提取标靶图像中各圆心在图像坐标系中的坐标值[（XI，YI）]，参照1.2节步骤对成像系统模型各参数进行优化估计，其中，空间位姿[α，β，γ]估计值分别对应于[xtilt]，[ytilt]，rotation三个组装偏差角，并以此评估摄像模组位姿。
　　2.3  基于组合标靶的图像清晰度计算
　　对采集的标靶图MTF计算时，单一的矩形检测区域如图6所示，由于圆形区域内黑白区域对比度比棋盘格区域的对比度高，会影响MTF计算的准确性，因此需要将圆形黑白区域排除，只提取棋盘格区域。针对这一问题，本文设计了一种图像清晰度计算方法，其主要包括四个部分： 　　1） 对采集的标靶图像设定五块矩形检测区域（ROI），如图6所示。
　　2） 对检测区域内的标靶图像进行二值化、连通域分析、边缘提取，将圆（圆弧）的轮廓拟合成圆，得到其圆心和半径，按半径1.1[∶]1得到其同心圆区域（见图6圆形轮廓区域）。
　　3） 将这些同心圆区域与设定的矩形区域求交集，再将交集区域与矩形检测区域求差集（见图6区域）。
　　4） 设五块差集区域内灰度值累计频率最高灰度值的最大值和最小值分别作为[Imax]，[Imin]，根据式（1）计算出五个区域的MTF值，以此评估摄像模组的成像质量。
　　3  实验与分析
　　基于本文所提方法研制了一站式成像质量和组装偏差估计检测设备，设备整体外观如图7a）所示，主要由组合标靶、摄像模组装载制具和摄像模组图像采集控制盒等组成。
　　图7b）所示的组合标靶由透射式玻璃材质制成（采用6 500 K色温平行背光源），尺寸为293 mm×252 mm，由大小为1.444 mm棋盘格和15×13个圆形标定块构成，圆形标定块的直径为6.8 mm，间距为19.8 mm。
　　摄像模组主要参数：芯片像元大小为2.25 μm，分辨率为640×480像素，镜头焦距为1.87 mm。
　　图7c）所示为摄像模组装载制具。
　　本文所提算法基于VS2010开发环境，采用C++编码实现了摄像头模组图像采集控制。
　　3.1  位姿估计值计算精度分析
　　借助Tsai提出的标定精度分析方法，通过计算重投影误差和标准差分析标定精度[9]。成像平面上的坐标点（[xR]，[yR]）是通过标定得到的摄像机模型求得的理论图像坐标点，计算理论图像坐标点（[xR]，[yR]）与实际图像坐标点（[x]，[y]）之间的差值，用[N]表示点数，则：
　　重投影误差为：
　　[mean=1Ni=1N（（xRi-xi）2+（yRi-yi）2）12] （2）
　　标准差为：
　　[std=1N-1i=1N[（xRi-xi）2+（yRi-yi）2]-N?mean212] （3）
　　实验结果如表1所示，重投影误差皆小于0.16像素，标准差皆小于0.08，标定精度较高。
　　3.2  位姿估计值计算准确度分析
　　为了验证本文所提位姿估计方法的估计值的计算准确度，本文进一步设计并搭建了一个精度较高的三维旋转台，如图8所示。
　　控制转台的各旋转轴做等步长运动，模拟摄像模组在不同的组装位置，将各相邻位置的相对偏转作为实际偏转值，将本文方法计算得到的偏转值作为理论偏转值，然后计算理论偏转值与实际偏转值之间的误差和相关性系数，验证本文三维位姿估计方法的准确度。
　　在对比实验中，借助OpenCV中Zhang的相机标定方法，将标定出的平均重投影误差作为标定参考结果，以此评估本文算法的准确度。
　　具体实验步骤如下：首先将标靶按照平行于工作台平面的方位进行放置，然后通过运动控制程序控制三维转台以0.625°（对应电机脉冲数为1 000）为步长自动在[Y]方向转动，图像采集程序控制摄像模组在每次转动停止的位置采集一幅标靶图像，并通过三维位姿估计方法对采集的标靶图像计算得到摄像模组相对于标靶的三维位姿值。
　　表1中列出摄像模组位于不同位置时的计算结果，其中，[α，β，γ]分别对应于[xtilt]，[ytilt]，rotation，图9则为理论偏转值与实际偏转值之间的一致性计算结果。
　　在对比实验中，使用标定板在不同位置，不同角度拍摄14幅图像，标定出的平均重投影误差为0.095 pixel。
　　表1和图9计算结果表明：
　　1） 理论偏转值比实际偏转值总体要小，但二者偏差均小于0.03°。
　　2） 理论偏转值与实际偏转值的相关系数达到0.999 9，说明二者一致性越好，理论偏转值与实际偏转值存在高度一致性，具有较高的可信度。
　　3） 本文算法仅需采集一幅图像，就能够得到较为准确的标定精度，更适用于工业生产领域。
　　上述計算精度和准确度实验结果表明，本文所提位姿估计方法具有高的标定精度且能够准确地估计摄像模组相对于标靶的三维位姿。
　　4  结  语
　　本文提出一种基于圆形阵列和MTF组合标靶的摄像模组位姿精确测量方法，在实现摄像模组成像清晰度测量的前提下，在同一个工位精确测量摄像模组位姿，有效减少了工位，提高了检测效率，并有效地提高了出厂模组的品质。实验和生产线运行结果表明，本文算法稳定可靠，不但能够避免人工检测摄像模组主观性强且效率低等众多弊端，还能提高摄像模组的检测精度和速度，满足摄像模组位姿测量的功能要求，对保证摄像模组产品质量具有重大的现实意义。
　　参考文献
　　[1] 佚名.2016—2022年中国摄像头行业发展调研及代表企业发展分析报告[R/OL]. [2016?11?07]. http：//www.cninfo360.com/yjbg/dzhy/qt/20161107/499250.html.
　　[2] 胡昌军，鲁大鹏，鲁谦，等.高像素CMOS手机摄像模组关键技术研究[J].池州学院学报，2016，30（3）：60?63.
　　[3] 全世红.摄像模组解析力和脏污检测的研究与应用[D].深圳：深圳大学，2016.
　　[4] 孙首雷.高像素CMOS摄像头模组检测技术研究[D].广州：广东工业大学，2014.
　　[5] 张戈，李定珍.CMOS摄像模组缺陷的自动检测系统研究[J].光电工程，2012，39（3）：52?56. 　　[6] 马建设，李合银，程雪岷，等.嵌入式自动聚焦摄像模组控制系统的设计[J].光学精密工程，2012，20（10）：2222?2228.
　　[7] TSAI R. A versatile camera calibration technique for high?accuracy 3D machine vision metrology using off?the?shelf TV cameras and lenses [J]. IEEE journal on robotics and automation， 1987， 3（4）， 323?344.
　　[8] ZHANG Z. A flexible new technique for camera calibration [J]. IEEE transactions on pattern analysis and machine intelligence， 2000， 22（11）： 1330?1334.
　　[9] 赵雪峰，仲晓敏，兰义华.标定靶面平行成像平面时Tsai算法的改进[J].计算机工程与设计，2011，32（3）：1019?1022.
　　[10] ZHUANG H， WU W C. Camera calibration with a near?parallel （ill?conditioned） calibration board configuration [J]. IEEE transactions on robotics & automation， 1996， 12（6）： 918?921.
　　[11] 罗晨，朱利民，丁汉.标定模板与图像平面平行时的摄像机标定方法[J].中国机械工程，2005，16（17）：1558?1560.
　　[12] LUO H G， ZHU L M， DING H. Camera calibration with coplanar calibration board near parallel to the imaging plane [J]. Sensors & actuators A： physical， 2006， 132（2）： 480?486.
　　[13] 鄢天川.摄像模组的解像力检测方法研究[D].西安：西安理工大学，2017.
　　[14] 胡涛，任仙怡，蔡铁，等.高分辨力PCB裸板图像轮廓快速圆弧探测[J].光电工程，2014，41（7）：88?94.
转载注明来源:https://www.xzbu.com/8/view-15245415.htm