基于视频分析的振荡果实轨迹跟踪方法

来源:用户上传      作者:

　　摘要：受采摘作业及风力等因素影响，果实目标多处于振荡状态，实现振荡影响下果实目标的自动识别与快速跟踪是提升果实采摘机器人采摘效率、果实表型最佳监测帧选取的关键。为了实现振荡影响下果实目标的准确识别与跟踪，提出了一种基于YCbCr颜色空间的果实目标自动识别方法;在此基础上，利用Meanshift算法实现了振荡果实轨迹跟踪;最后，通过对振荡果实运动轨迹跟踪结果得到果实的运动速度及加速度曲线，可为采摘机器人判定最佳采摘时机、最佳果实表型监测帧筛选奠定基础。结果表明，Meanshift跟踪方法适合于振荡果实目标的自动跟踪，可为提高振荡果实采摘效率和果实的生长状态无损监测提供借鉴。
　　 关键词：苹果;振荡;Meanshift;运动曲线;果实目标自动识别;果实轨迹跟踪
　　 中图分类号： TP391.4  文献标志码： A
　　 文章编号：1002-1302（2020）14-0261-07
　　受到自然环境下风力以及采摘作业等外界干扰因素影响，果实目標多处于振荡状态，如何选择合适的采摘时机及采摘位置已成为影响果实采摘机器人工作效率的关键[1-4]。实现振荡影响下果实目标的准确跟踪并获得其运动轨迹，有助于进一步提升对果实目标的感知效率，对于提高果实生长状态的监测水平、推进采摘机器人的实用化具有重要的研究意义。
　　在复杂的果实生长环境下，振荡果实目标的识别与跟踪是制约果实目标准确感知的关键影响因素之一。图像分割的传统方法主要有边界检测法[5]、区域法[6-8]、阈值法[9]等。另外，还有基于分类技术的图像分割方法产生的分类器：训练支持向量机（support vector machines，简称SVM）[10]、神经网络（neural networks）[11]等。相对于其他目标分割，果实分割具有背景复杂，光照不均，果实形状、颜色、大小不一，易受枝叶遮挡等特点。在作物识别方面，国内外均展开了研究并取得大量成果[12-16]。王帆等通过颜色、质地和形状的三维特征，实现了果实的分离，提取区域与果实目标区域相比，顺光下相对误差、圆心相对误差和半径相对误差的平均值为3.59%、4.76%和2.60%，逆光下分别为10.77%、16.77%和11.49%[17]。Bulanon等采用分区域提取而后合并的图像分割方法，实现了绿色果实目标的分割，分割准确率为88%[18]。Lucas等提出了基于阈值分割的苹果目标分割方法，效果显著[19]。Linker等的方法可获得果园中苹果的数量，能检测到超过85%的苹果[20]。He等提出了一种基于改进LDA分类器的绿色荔枝识别方法，识别率可达80.4%[21]。
　　在运动目标跟踪方面，视频目标跟踪即在一系列图像中获取准确、鲁棒的确定感兴趣目标的位置和运动轨迹[22]。通过目标建模或有效表达和在帧图像中的相似度匹配即可达到跟踪目标的目的。在目标的有效表达和相似度匹配方面，目标跟踪主要有基于区域、特征、轮廓和模型的目标跟踪算法[23-29]。在果实的自动识别和跟踪领域，李国利等提出一种基于单目视觉与超声检测的振荡果实采摘识别与定位方法，采摘成功率为86%[30]。吕继东等通过FFT建模和单目视觉分别获得果实的振荡周期和深度信息，采摘成功率达到84%[31]。王辉等通过单、双目视觉组合设计了苹果作业机器人识别与定位系统[32]。Jiménez等通过Ac4000-LIR型激光测距仪对目标进行扫描再进行图像处理来检测果实，然后获得果实的三维位置，试验结果表明，定位精度为10 mm[33]。Tanigaki等通过用红外激光和红色激光同时扫描樱桃，通过三角测量的方法，利用位置敏感器件（position sensitive detector，简称PSD）的2个电极的电流比值来获得扫描点到传感器的距离，设计了一套樱桃采摘机器人3-D视觉系统[34]。
　　在果实轨迹跟踪过程中，若对视频帧中的所有内容进行匹配，势必会加多冗余信息和加长处理时间。若能采用一定的预估算法预先估计目标可能出现的位置，则能达到减小搜索范围、缩短处理时间、提升采摘效率的目的。鉴于Meanshift算法[35]能优化搜索方向的特点，本研究采用Meanshift目标跟踪方法来获得振荡苹果的二维位置信息。同时，为了避免在跟踪果实前需要人工辅助选择目标的缺陷，进一步提高方法的自适应性和实用性，本研究提出在首帧图像中基于YCbCr颜色空间的目标自动分割算法，以期实现振荡果实目标的自动识别和轨迹跟踪。
　　1 材料与方法
　　1.1 试验材料
　　本试验所用果实振荡视频均拍摄于自然环境下处于采摘期的苹果，拍摄时间为2017年8月22日，拍摄时为晴朗天气，风力为2级，拍摄地点为西北农林科技大学北校区园艺学院苹果园。拍摄相机为Canon EOS 700D单反相机，帧速率为25帧/s，共拍摄不同环境下的果实振荡视频26段，视频图像分辨率为1 920 pixel×1 088 pixel。所拍摄视频的具体信息见表1。由于录制视频时处于苹果园内的自然环境中，分别在不同的时间段进行录制，果实振荡的拍摄效果会受光照、风力、农事操作、外来障碍物等影响。太阳直射角不同以及可能会受到云团的遮挡，导致光照过强或过弱和由于光照强度骤变而出现颜色不均的现象。风力大小和农事操作会导致出现叶片遮挡、果实运动幅度过大而脱离视野、摄像机抖动等问题。此外，若摄像机在果实振荡时无法对果实进行聚焦，则会出现目标果实模糊的问题。上述情况都可能会对目标果实的跟踪产生干扰。
　　本研究所有程序均在MATLAB环境下运行，编程硬件为华硕W519L笔记本电脑，内存4 GB，主频3.0 GHz。
　　1.2 方法
　　1.2.1 待跟踪区域的自动识别方法
　　要实现振荡目标果实轨迹跟踪，需要首先确定待跟踪目标，现有研究多使用人工辅助标记的方式进行首帧待选目标的处理，虽然算法跟踪效率高，但由于需要人工干预，算法的自适应能力不强。由于处于采摘期的苹果与背景的差异较大，在特定颜色空间下即可分割出果实。图像的R、G、B颜色分量相关性较高，受光照影响较大，不利于果实分割。为减小光照对果实分割的影响，本研究选择受光照影响较小的颜色分量分割果实。HSI或HSV颜色空间的H分量与光照无关，但从RGB颜色空间转换到HSV或HSI颜色空间计算复杂，而且分割噪声较多。在YCbCr颜色空间中，亮度分量与颜色分量相互垂直，在光照差异较大的情况下，Cb和Cr分量仍能保持较小的变化，且从RGB颜色空间到YCbCr颜色空间的转换较简单，所以选择YCbCr颜色空间[36]。YCbCr颜色空间广泛地应用于视频图像中，亮度信息用分量Y来表示，Cb和Cr则为蓝色和红色的浓度偏移量成分。其中，YCbCr颜色空间与RGB空间的数学关系如公式（1）所示： 　　各颜色分量下的果实图像见图1，其中，图1-a为视频分解后的首帧图像，图1-b为Y分量下的目标图像，图1-c为Cb分量下的目标图像，图1-d为Cr分量下的目标图像，可见在Cr颜色分量下果实最明显，所以本研究选择利用Cr颜色分量苹果目标。在Cr颜色空间下对图像进行Otsu自适应二值化处理，经形态学处理去除小噪声，最后选出面积最大的的区域作为目标区域，从图2可以看出，在YCbCr颜色空间下可以较好地实现果实目标的准确分割，为后续果实目标的识别与准确跟踪奠定了基础。
　　1.2.2 Meanshift算法原理
　　Meanshift是指一个偏移的均值向量[37]，是一种基于核概率密度估计的快速模式匹配算法。在目标跟踪中，通过目标检测或者手动的方式确定目标，用核函数直方图来描述目标，然后用相同的方法计算核函数加权下当前帧对应候选模型窗口的直方图分布，对目标模型和候选模型进行相似度度量，并沿着相似度的梯度方向迭代搜索目标位置，直到满足一定条件时停止迭代，位置迭代的过程就是不断寻找概率密度局部最大值的过程。其跟踪过程如下[38]：
　　1.2.2.1 建立目标模型
　　1.2.2.2 建立候选模型
　　1.2.2.3 相似性函数
　　目标跟踪的问题变成寻找一个新的位置y使q[DD（-1][HT6]^[DD）]u和p[DD（-1][HT6]^[DD）]u（y）最相似。用Bhattacharyya系数作为相似性度量函数。系数定义如公式（4）所示：
　　1.2.2.4 定位目标
　　2 结果与分析
　　2.1 基于Meanshift算法的果实目标跟踪
　　跟踪区域自动分割后，进行Meanshift迭代，方框向果实重心所在位置移动，最后移动到果实所在位置。在下一帧图像中用上一帧图像的最终迭代位置作为初始迭代位置。图3为一段成功实现果实轨迹跟踪的4帧抽样系列。矩形框所包含果实是对图2检测目标的跟踪结果。从图3可以看出，首帧图像中基于YCbCr颜色空间分割后，基于Meanshift的目标跟踪方法能有效跟踪振荡果实。
　　2.2 振荡果实运动轨迹的获取
　　在轨迹跟踪过程中，每一帧图像迭代结束后，可获得包含果实的矩形框中心所在位置。根据每一帧图像中矩形框中心所在位置，可获得果实位置相对初始果实的距离。其计算如公式（6）所示：
　　 由于帧频为29.86帧/s，所以dt=1/30。由公式（6）至公式（8）获得的振荡果实运动曲线、速度曲线、加速度曲线分别见图4至图6。图4中曲线表示視频的每一帧中，包含目标振荡果实的矩形框中心相对首帧图像矩形框中心的距离。从图3可以看出，矩形框中心位置可近似表示苹果中心所在的位置。
　　图5为根据图4和公式（7）所获得的速度曲线。x轴、y轴分别表示帧数和速度。其中红色虚线代表水平方向速度，而蓝色曲线代表垂直方向速度。同理，根据图5和公式（8）可获得图6所表示的果实加速度曲线，x轴、y轴分别表示帧数和加速度。其中红色虚线代表水平方向加速度，而蓝色曲线代表垂直方向加速度。图4至图6的结果说明，基于Meanshift的果实轨迹跟踪方法具有较好的鲁棒性。
　　2.3 试验结果分析
　　本试验材料为自然光照条件下处于采摘期的苹果。振荡果实的速度大小为0的几个时刻中，加速度变化最缓慢时刻的图像帧即可作为果实最佳采摘帧的候选，也可为果实表型监测帧的筛选提供借鉴。根据振荡果实的速度、加速度曲线，即可得到最佳的待采摘帧或果实表型监测帧。可见，苹果采摘机器人在实际的采摘过程中，若能成功地实现振荡果实的轨迹跟踪，就能根据果实振荡的先验知识，及时判断出果实振荡的类型，然后估计出最佳的采摘时间和采摘位置。果实目标的跟踪结果也可为果实表型信息的自动监测奠定基础。
　　不同的参数条件下，部分振荡果实的目标跟踪效果见表2。为测试不同情况下的果实轨迹跟踪的效果，按照光照强度的不同、果实是否脱离视野、视频长度、振荡频率4个指标选取苹果振荡视频片段来进行测试。
　　 本试验共选取7段苹果振荡视频片段进行了试验，其中有4段视频能成功实现果实轨迹的跟踪。试验结果表明，视频长度及振荡频率的变化不会影响振荡果实轨迹的跟踪，而光照强度会影响果实目标的识别，果实脱离视野会造成果实目标无法继续跟踪。在光照强度弱且果实不脱离视野时跟踪率能达到100%，能很好地跟踪果实目标。光照强度的瞬间变化会导致目标颜色、纹理等信息的丢失，在此情况下难以实现果实目标的跟踪。若光照强度弱但果实脱离视野时则跟踪率为24.59%，跟踪效果略差。因此，光照强度和果实目标是否脱离视野是影响果实跟踪的重要因素。没有实现振荡果实轨迹跟踪的例子见图7，其中图7-a为没能正确识别目标的情况，图7-b为没能正确跟踪目标的情况。
　　3 结论
　　为了实现自然生长环境下的果实目标跟踪，本研究在YCbCr颜色空间下，实现了首帧待监测目标的自动选择，并利用Meanshift算法对不同振荡频率下的果实目标进行了跟踪测试，试验结果表明，该方法可以得到较好的跟踪结果，主要结论如下：（1）结合首帧目标自动检测与Meanshift跟踪技术，可以较好地实现振荡影响的果实目标跟踪，果实目标的自动跟踪可为果实的自动采摘、果实表型的自动监测奠定基础。（2）在弱光条件下Meanshift算法基本可以跟踪到果实目标，但是在强光条件下Meanshift算法对果实目标的跟踪效果不理想，尚需进一步改进。
　　参考文献：
　　[1]Zhang L B，Yang Q H，Bao G J，et al. Overview of research on agricultural robots in China[J]. International Journal of Agricultural and Biological Engineering，2008，1（1）：12-21. 　　[2]Kondo N，Ting K C. Robotics for bioproduction systems[M]. New York：ASAE Publication，1998：231-251.
　　[3]Baeten J，Donné K，Boedrij S，et al. Autonomous fruit picking machine：a robotic apple harvester[C]//Field and service robotics.Berlin，Heildelberg：Springer，2008：531-539.
　　[4]Zhao D A，Lv J D，Ji W，et al. Design and control of an apple harvesting robot[J]. Biosystems Engineering，2011，110（2）：112-122.
　　[5]Larry S D. A survey of edge detection techniques[J]. Computer Graphics and Image Processing，1975，4（3）：248-270.
　　[6]Adams R，Bischof L. Seeded region growing[J]. IEEE Trans on Pattern Analysis and Machine Intelligence，1994，16（6）：641-647.
　　[7]Meyer F. Skeletons and watershed lines in digital spaces[C]//Proceedings of SPIE.Society of Photo-optical Instrumentation Engineers，1990：85-102.
　　[8]Otsu N. A threshold selection method from gray-level histograms[J]. IEEE Transactions on Systems，Man，and Cybernetics，1979，9（1）：62-66.
　　[9]Vapnik V N，Vapnik V. Statistical learning theory[M]. New York：Wiley，1998.
　　[10]田有文，李天来，李成华，等. 基于支持向量机的葡萄病害图像识别方法[J]. 农业工程学报，2007，23（6）：175-180.
　　[11]Atsumi M . Saliency-based scene recognition based on growing competitive neural network[C]//Systems，man and cybernetics IEEE Xplore，2003.
　　[12]Mcdonald T，Chen Y R. Application of morphological image processing in agriculture[J]. Transactions of the ASAE，1990，33（4）：1346-1352.
　　[13]Franz E，Gebhardt M R，Unklesbay K B. Shape description of completely visible and partially occluded leaves for identifying plants in digital images[J]. Transactions of the ASAE，1991，34（2）：673-681.
　　[14]Nandi C S，Tudu B，Koley C. A machine vision technique for grading of harvested mangoes based on maturity and quality[J]. IEEE Sensors Journal，2016，16（16）：6387-6396.
　　[15]Humphries S，Simonton W. Identification of plant parts using color and geometric image data[J]. Transactions of the ASAE，1993，36（5）：1493-1500.
　　[16]Rakun J，Stajnko D，Zazula D. Detecting fruits in natural scenes by using spatial-frequency based texture analysis and multiview geometry[J]. Computers and Electronics in Agriculture，2011，76（1）：80-88.
　　[17]王 帆，呂继东，申根荣，等. 基于CLAHE和开闭运算的绿色苹果图像分割[J]. 计算机测量与控制，2017，25（2）：141-145.
　　[18]Bulanon D M，Kataoka T，Ota Y，et al. AE-automation and emerging technologies：a segmentation algorithm for the automatic recognition of Fuji apples at harvest[J]. Biosystems Engineering，2002，83（4）：405-412.
　　[19]Lucas B D，Kanade T. An iterative image registration technique with an application to stereo vision[C]//Proc. of international joint conference on artificial intelligence. San Francisco：Morgan Kaufmann Publishers Inc，1981：285-289. 　　[20]Linker R，Cohen O，Naor A. Determination of the number of green apples in RGB images recorded in orchards[J]. Computers and Electronics in Agriculture，2012，81：45-57.
　　[21]He Z L，Xiong J T，Rui L，et al. A method of green litchi recognition in natural environment based on improved LDA classifier[J]. Computers and Electronics in Agriculture，2017，140：159-167.
　　[22]Yilmaz A，Javed O，Shah M. Object tracking：a survey[J]. ACM Computing Surveys，2006，38（4）：1-45.
　　[23]Jepson A D，Fleet D J，El-Maraghi T F. Robust online appearance models for visual tracking[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25（10）：1296-1311.
　　[24]Lowe D G. Distinctive image features from scale-invariant key points[J]. International Journal of Computer Vision，2004，60（2）：91-110.
　　[25]Zhu G P，Zeng Q S，Wang C H. Efficient edge-based object tracking[J]. Pattern Recognition，2006，39（11）：2223-2226.
　　[26]Kass M，Witkin A，Terzopoulos D. Snakes：active contour models[J]. International Journal of Computer Vision，1988，1（4）：321-331.
　　[27]Paragios N，Deriche R. Geodesic active contours and level sets for the detection and tracking of moving objects[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（3）：266-280.
　　[28]Kwon J，Lee K M. Visual tracking decomposition[C]//IEEE computer society conference on computer vision and pattern recognition.San Francisco：Institude of Electrical and Electronics Engineers，2010：1269-1276.
　　[29]吳俊杭，曾窕俊，马本学，等. 基于历史帧路径搜索的红枣动态图像采集[J]. 江苏农业科学，2019，47（10）：219-223.
　　[30]李国利，姬长英，顾宝兴. 基于单目视觉与超声波检测的振荡果实采摘识别与定位[J]. 农业机械学报，2015，46（11）：1-8.
　　[31]吕继东，赵德安，姬 伟，等. 苹果采摘机器人对振荡果实的快速定位采摘方法[J]. 农业工程学报，2012，28（13）：48-53，293.
　　[32]王 辉，毛文华，刘 刚，等. 基于视觉组合的苹果作业机器人识别与定位[J]. 农业机械学报，2012，43（12）：165-170.
　　[33]Jiménez A R，Ceres R，Pons J L. A vision system based on a laser range-finder applied to robotic fruit harvesting[J]. Machine Vision and Applications，2000，11（6）：321-329.
　　[34]Tanigaki K，Fujiura T，Akira A，et al. Cherry-harvesting robot[J]. Computers and Electronics in Agriculture，2008，63（1）：65-72.
　　[35]Hsia C，Liou Y，Chiang J. Directional prediction CamShift algorithm based on adaptive search pattern for moving object tracking[J]. Journal of Real - Time Image Processing，2016，12（1）：183-195.
　　[36]Shaik K B，Ganesan P，Kalist V，et al. Comparative study of skin color detection and segmentation in HSV and YCbCr color space[J]. Procedia Computer Science，2015，57：41-48.
　　[37]Fukunaga K，Hostetler L. The estimation of the gradient of a density function，with applications in pattern recognition[J]. IEEE Transactions on Information Theory，1975，21（1）：32-40.
　　[38]Bao H Y，De X Z，Kui F，et al. Video tracking of human with occlusion based on MeanShift and Kalman filter[J]. Applied Mechanics and Materials，2013，380-384：3672-3677.
　　收稿日期：2019-11-07
　　基金项目：国家重点研发计划（编号：2019YFD100072）;国家高技术研究发展计划（863计划）（编号：2013AA10230402）;陕西省农业科技创新与攻关项目（编号：2016NY-157）;中央高校基本科研业务费项目（编号：2452016077）。
　　作者简介：杨奕铭（1999—），男，广东惠州人，主要从事数字图像处理研究。E-mail：y352184741@163.com。
　　通信作者：宋怀波，博士，副教授，博士生导师，主要从事数字图像处理研究。E-mail：songyangfeifei@163.com。
转载注明来源:https://www.xzbu.com/1/view-15301441.htm