基于机器视觉的苹果园果实识别研究综述

来源:用户上传      作者:

　　中圖分类号：TN959.4;S758.4;TS255.1文献标识码：ADOI：10.3969/j.issn.2096-1553.2019.02.010
　　文章编号：2096-1553（2019）02-0071-11
　　关键词：机器视觉;苹果园;果实识别;图像处理;机器学习
　　Key words：machine vision; apple garden;fruit recognition;image processing;machine learning
　　摘要：从基于颜色阈值、形状和纹理的果实识别，三维果实形态识别，夜间果实识别，基于机器学习的果实识别，阴影和遮挡影响下的果实识别5个方面，对基于机器视觉的苹果园果实识别研究现状进行了综述，认为上述研究所涉及的算法较为复杂，功能也很强大.但鉴于视觉理论、图像处理技术和硬件条件等限制，以及苹果园复杂多变的环境，基于机器视觉的果实识别目前尚无理想的方法，未来的研究重点应包括：1）加强更有效的图像增强、图像分割和特征提取等算法的研究，有效解决果实重叠、遮挡、颜色和光线变化的影响;完善白天和夜间果园现场作业的识别算法，建成全天候作业采摘机器人.2）加强基于自监督学习的果实识别的研究，以增加模型接收的反馈信息和模型表征的复杂的适用任务类型，减少任务中涉及的人类手工劳动比重，提高自动化程度.3）加强图像的自动获取与果实识别的研究，结合计算机视觉与近红外、激光雷达等检测技术，集成多模态的图像和非图像信息进行果实识别，提高处理速度和实时性，以及识别的准确度及系统的稳健性，为苹果自动采摘、果园的精准管理提供借鉴.
　　Abstract：The current situation of fruit recognition based on machine vision was reviewed from fruit recognition based on color threshold， shape and texture， three-dimensional fruit shape recognition， nocturnal fruit recognition， fruit recognition based on machine learning， fruit recognition under the influence of shadow and occlusion. It’s thought that the algorithms involved in the above research were more complicated and features were very powerful. However， in view of the limitations of visual theory， image processing technology and hardware conditions， as well as the complex and varied environment of apple garden， there was no more ideal technology for machine vision-based fruit recognition， and it needed to be improved. Future research focuses include： 1） Strengthening more effective algorithms for image enhancement， image segmentation， and feature extraction to effectively address the effects of fruit overlap， occlusion， color， and light changes; and improving the identification algorithms for day and night orchard field operations for the construction of an all-weather operation picking robot. 2） Strengthening the research on fruit recognition based on self-supervised learning to increase the feedback information received by the model and the complex applicable task types of model representation， reduce the proportion of human manual labor involved in the task， and improve the degree of automation. 3） Strengthening the research of automatic image acquisition and fruit recognition， combined with computer vision and near-infrared， laser radar and other detection technologies， integrating multi-modal image and non-image information for fruit recognition， improving processing speed and real-time， and identifing accuracy and system robustness to provide reference for apple’s automatic picking and precise management of orchard. 　　0 引言
　　苹果园果实识别是果实定位、自动化采摘和果树估产的基础.由于苹果树在自然状态下生长姿态多变，果实个体之间存在差异，图像获取过程中易受光照、表面阴影、振动、重叠和遮挡等影响，果实识别难度大[1].机器视觉通过计算机来模拟人的视觉功能，从所采集的图像中提取感兴趣目标的信息，然后进行处理和理解，最终用于检测、测量和控制[1].机器视觉具有非接触、高精度、速度快、信息量大、实时、在线等优点，在农产品定位、识别、检测等方面应用广泛[2].国内外已有较多学者对基于机器视觉的果实识别技术进行了研究[3-4]，现有的苹果果实识别主要基于果实的颜色分割和形状提取，包括苹果图像采集、图像分析与降噪、图像的分割与特征提取、目标果实识别模型的建立等[5].目前常用的苹果图像分割识别算法主要有阈值分割法，色差法，人工神经网络ANN，K-means聚类算法，支持向量机（SVM）法，K最近邻法KNN和多种混合算法.由于设备成本降低、计算能力提高，将机器视觉技术与模式识别算法和自动分类工具相结合进行果实识别具有广阔的应用前景.鉴于此，
　　本文拟从基于颜色、形状和纹理的果实识别，三维果实形态识别，夜间图像的果实识别，基于机器学习的果实识别，阴影和遮挡影响下的果实识别等方面对研究现状进行综述，以期能为相关工作提供借鉴与参考.
　　1 基于颜色、形状和纹理的苹果识别
　　对于果蔬视觉处理系统的研究可以追溯到1970年代，Parrish和Goksel首次提出苹果自动识别系统[6].经过不断地研究，苹果识别技术已经获得了大量的研究成果.图像的颜色特征作为一种全局特征，可以用来描述图像或图像的某个区域相对应景物的表面性质，所有属于目标区域的像素点均有各自的贡献.为了更准确地识别图像中的苹果目标，阈值分割法一般要配合其他方法一起使用，有时在使用这些算法的同时还需考虑图像的纹理、形状属性等特征.
　　由于苹果树的果实、树叶与树枝具有较大的颜色差异，通过颜色特征进行分类提取具有一定的可行性.国内外学者针对苹果、猕猴桃和柑橘等水果的提取和识别，在RGB，YCbCr，Lab和HSV等颜色空间结合颜色阈值进行分割[7-8].R.Zhou等[9]通过实验开发苹果识别算法，根据R-B和G-R两者之间的关系建立模型，提出了基于颜色特征的苹果识别算法，估计果实数量并预测苹果产量，为苹果计数和早期产量的预测提供了参考.钱建平等[10]采用1.375 作为R/B的分割阈值，加入0.45作为V的分割阈值，使得成熟期苹果的识出率、识别成功率、误识率和漏识率分别为90.3%，84.9%，6.0%，15.1%，该混合颜色空间识别方法在自然光照条件下效果较好.李莎等[11]为更有效地估测苹果产量，利用RGB，Lab和YCbCr颜色模型中的3个分量对彩色图像进行灰度化处理，采用Otsu法进行二值化处理和形态学运算.3种分量均能分离出苹果，其中，a*分量在保留最多苹果面积的情况下噪声较小，R-G色差分量会削弱部分苹果面积，Cr分量噪声较大，文中给出了各分量的适用范围.
　　苹果个体大多呈现类球状，通过形状检测也可进行果实识别.在采用颜色特征结合圆形拟合算法进行苹果识别方面，Y.Si等[12]提出了一种具有色差R-G和色差比（R-G）/（G-B）的苹果识别算法，利用随机环法提取果实形状特征，基于面积和极线几何的匹配算法来定位苹果，识别率超过89.5%，圆心、半径值的误差小于20 mm.H.N.Patel等[13]提出了基于形状分析的水果自动分割和产量计算方法，利用颜色和形状分析来分割在不同光照条件下获得的不同水果图像.首先进行颜色空间转换，将采集到的RGB图像转换到Lab颜色空间;然后通过边缘检测和圆拟合算法对图像进行分割，再将得到的边缘点用于拟合近似圆形形状;最后将得到的拟合圆用于图像中果实计数.结果表明，该方法能够准确分割被遮挡的果实，准确率为98%，预测平均产量的误差为31.4%.崔淑娟等[14]在不同光線和阴影的影响下，采用 R-G 色差分量和改进型Otsu法，通过分割映射和同面积质心圆印证，较好地对成熟苹果进行了识别，识别率达93.2%.吕继东等[15-16]为了减少机器人苹果采摘的时间，除采用与崔淑娟相似的方法对苹果进行快速识别之外，还研究了在自然光照条件下黄苹果的目标提取法：首先通过基于归一化R+G-B颜色特征的 K-means 聚类进行图像分割;然后用分水岭分割算法和区域噪声阈值消除法，实现果实区域的孔洞填充，减少噪声对后续识别的影响;接着基于Canny算子实现了分割图像的边缘检测，改进了随机Hough变换方法在苹果图像果实识别中的应用;最后通过实验验证了该方法的可行性和有效性[17].
　　青苹果具有与叶子等背景相似的颜色，会导致苹果果实难以识别.B.Li等[18]应用显著性检测和高斯曲线拟合算法检测自然场景中的青苹果，在自然场景中检测青苹果的效果显著.另外，B.Li还提出了一种结合纹理、形状和颜色特征的检测方法，即利用灰度差分统计方法得到图像的纹理特征向量，根据纹理特征向量，利用SVM对图像进行预分割，然后将形状和颜色特征相结合，实现复杂背景下的苹果识别，该方法对具有轻微背景遮挡的水果也具有较好的分割效果.
　　以上研究主要针对的是苹果颜色、形状及纹理提取方法，对自然光照条件下的果实识别具有参考和借鉴意义.但是，以上基于颜色阈值的果实分割提取的方法，受到自然环境光照和果实自身成长所呈现的颜色变化的影响有一定局限性，分割效果和识别精度还有待提高.此外，对遮挡、粘连、重叠较为严重的苹果进行分割获取还需作进一步研究.
　　2 基于三维信息的苹果识别
　　除了二维图像信息的机器视觉技术，现有的激光雷达技术、三维成像技术等也可用于苹果识别定位.
　　为消除不同光线和复杂背景的影响，冯娟等[19]提出了一种自动识别树上苹果的算法.该算法使用激光视觉系统获取果树局部的三维图像，参考设定的场景知识对图像背景进行简化;采用基于平滑频率曲线的自动阈值检测方法实现图像的二值化;利用随机圆环法获得果实的形状特征，完成对苹果的识别.实验结果表明，该算法具有较好的实时性，当枝叶遮挡面积小于40%时，果实的识别率高于93.75%，且识别效果不受光照条件与果实表面颜色的影响.孙贤刚等[20]研制了用于苹果成熟自动检测并采摘的轮式机器人系统，该系统使用双目立体视觉技术和图像处理技术实现对苹果的识别与定位，通过机械臂的路径规划实现对苹果的采摘，由此实现自动导航、自动识别.该系统自动采摘苹果，识别率大于94.00%，采摘成功率达到91.33%，平均采摘周期约为11 s，具有较高的准确性及稳定性.张宾等[21]为了提高苹果采摘视觉识别系统的精度，增强视觉系统的抗干扰、自适应能力，设计了一种新的苹果采摘机器人激光视觉识别系统.该系统采用高清相机采集图像，通过图像处理准确地识别苹果，利用激光测距方法对苹果进行距离测量，成功定位了果实位置，实现了果园非结构化环境中苹果的高效率、高精度的识别、定位和采摘，在遮挡率低于50%时，其识别率可达到90%以上，响应时间为3.58 s.三维点云数据采集与三维技术重建能够准确恢复空间特征并为果树提供收获的空间分布数据信息.在3D空间中实现准确识别果实是一项具有挑战性的任务.B.Zhang等[22]利用近红外线阵结构照明和三维重建技术，使用单个多光谱相机和近红外线性阵列结构光线逐行重建被检查苹果的上半部分的3D表面，通过三角测量来计算每个像素的高度信息.另外，为了有效地识别茎和花萼，文中还自动构建了标准球形模型（没有茎和花萼），以适应被检查苹果的大小和边界形状，为识别苹果中的茎和花萼提供了支持，识别的准确率达到97.5%.Y.Tao等[23]从点云数据处理的角度提出了苹果自动分割和识别方法：首先使用一种基于HSI的区域增长分割方法对苹果树的点云数据进行分割，再从每个分段点云计算出具有融合颜色特征和3D几何特征的改进的3D描述符，最后构建一个基于遗传算法分类器优化的支持向量机，用于识别场景中的苹果、树枝和树叶.通过图像（采用双目或三目摄像头）获取三维信息的优点是成本低廉、算法和技术相对成熟，缺点是受环境光的限制比较大.激光雷达技术的优点包括探测距离远、精度高、稳定性强、鲁棒性好，但目前激光雷达设备成本较高.面对大规模的果园苹果图像、三维点云数据，如何实现图像与三维点云的标定、匹配，开发数据融合与果实识别算法，提高数据处理的速度，实现实时的、高精度的识别是亟待解决的问题. 　　3 基于夜间图像的苹果果实识别
　　夜间光照强度小，采集苹果图像时需要借助人工光源辅助照明.然而人工光源照射范围有限，光照不均匀且易受外界环境影响，所采集到的夜间苹果图像存在整体偏暗、边缘模糊、对比度不高、细节信息丢失等问题[24].夜间图像处理的关键是图像的增强和去噪.
　　由于计算机视觉系统获取的图像质量直接受到采集阶段照明强度的影响，因此通过使用足够照明可提高系统的识别性能和可靠性，显著降低处理阶段所用算法的复杂性.赵德安等[25]提出了一种适用于机器人苹果采摘的夜间果实识别方法.该方法采用2盏白炽灯从不同角度照明以削弱图像中的阴影，针对高亮反光区应用改进的R-G色差分割法进行二次分割，并对分割后的图像进行修补.在不考虑果实的情况下遮挡和粘连，该方法夜间苹果正确识别率达到83.7%.刘晓洋等[26]为了识别夜间图像，采用最小二乘拟合法对苹果三维表面的特征点进行拟合，再根据特征点到拟合线的距离等参数建立阈值分割模型，最后结合阴影区域像素的位置信息，修正夜间图像中的阴影，确保了图像识别的精确和完整.经统计，不考虑果实的遮挡和粘连，夜间苹果正确识别率达到83.7%.
　　Retinex理论可计算原始图像的场景照度分量，从中提取携带高频信息的反射分量图像，具有图像增强的作用，对弱光照、阴影及大雾下的苹果图像具有一定的增强效果.姬伟等[27-28]提出一种基于引导滤波的Retinex图像增强算法，具有边缘保持特性，可以更好地保持果实边缘信息，凸出苹果果实，在夜间图像增强效果和运行时间效率上有明显的提高，为后续夜间图像的分割和目标识别提供了保障.吕兴琴[29]在此基础上，对经降噪和增强处理后的夜间苹果图像进行了基于R-G色差图像的Otsu阈值分割，使得处于暗区域的目标苹果果实能够被完整分割出来，且边缘平滑清晰.
　　苹果采摘机器人图像识别效果处理系统采集到的实时夜间图像中含有大量的噪声，贾伟宽等[30-31]通过差影法分析夜间图像，针对高斯噪声去除难题，将独立成分分析ICA理论引入夜间图像降噪，并尝试采用粒子群优化算法PSO对ICA进行优化，建立了基于PSO优化的ICA降噪算法（PSO-ICA）.该方法降噪效果较为理想，噪点明显减少，相对峰值信噪比较高.C.Ruan等[32]提出了基于小波模糊阈值的去噪算法，减少了图像噪声干扰，有利于下一步的图像分割和识别.与原始图像、中值滤波去噪方法和经典小波阈值去噪方法相比，该算法提高了相对峰值信噪比.
　　通过以上夜间图像增强研究现状可知，夜间果树图像的整体亮度得以提升，对比度得到显著增强，果实的边缘平滑清晰，便于后续的果实完整分割与提取，同时恢复了夜间图像中的细节信息.目前国内外的研究大多集中在夜间图像预处理、辅助照明设备配置、夜间图像降噪和图像增强，下一步应在提高夜间图像采集效果、开发新的图像增强和去噪算法的同时，加大在果实的识别、定位方面的研究.
　　4 基于机器学习的苹果果实识别
　　機器学习是用数据或以往的经验，优化计算机程序的性能标准.机器学习算法分为监督学习、无监督学习、强化学习和进化学习.监督学习算法是从一组正确答案（训练集）开始，不断训练、调整，直到能正确响应所有可能的输入.根据预测变量的类型划分：如果预测变量是连续的，则属于回归问题;如果预测变量是独立类别（定性或是定类的离散值），则属于分类问题.无监督学习算法通过输入相互比较，发现数据中未知的结构或者趋势以识别相似性，从而进行分类.虽然原数据不含任何的标签，但可以对数据进行整合（分组或者聚类）或是简化（降维、移除不必要的变量或者检测异常值）.强化学习算法是监督学习和无监督学习之间的中间阶段.当算法输出的答案错误时，会报错并探索不同的答案，直到输出正确的答案为止.进化学习是通过模拟微生物在其生活环境中生存和繁殖的过程，使算法具有自组织、自适应、自学习的特性，能够不受问题性质的限制，从而有效地处理传统优化算法难以解决的复杂问题.
　　4.1 基于支持向量机的果实识别
　　支持向量机（SVM）是一种在特征空间上间隔最大的线性分类器，即支持向量机的学习策略是间隔最大化，将复杂数据的分类转化为凸二次规划问题的求解.
　　SVM是一种非参数方法，具有一定的灵活性，可以实现复杂功能，同时又能够适应过度拟合，
　　经典的SVM分类器能够将输入集的点分为两类.
　　W.Ji等[33]采用中值滤波去除苹果的彩色图像噪声，果实的颜色和形态特征根据区域生长法和颜色阈值法提取，经由SVM进行分类，准确率为89%，平均识别时间为352 ms.陈珂等[34]针对苹果果实图像背景复杂多变，导致提取果实的轮廓不均、分割不准等问题，选取最大类间方差法提取目标物的粗轮廓，引入目标轮廓的方向梯度直方图HOG特征训练SVM，进而对提取的轮廓进行细筛选，实现果实自动识别.夏雪等[35]结合自适应比率色差法、形态学处理法、Blob 分析法、改进圆形 Hough 变换算法、HOG 特征与SVM 机器学习等方法，从颜色相似的背景中提取幼小青苹果，可实时监测苹果生长动态，具有一定的应用价值.
　　由于SVM是借助二次规划来求解支持向量，针对大批量的果树图像的学习策略难以实施，用SVM解决青苹果、红苹果、树枝与树叶等多个目标的分类问题尚存在一定困难.
　　4.2 基于神经网络的果实识别
　　人工神经网络简称神经网络，是参照动物神经网络行为特征进行信息处理的算法模型，通过改变模型内节点的连接关系实现信息处理.神经网络是计算智能和机器学习的重要分支，在诸多领域都取得了很大的成功[36].
　　马晓丹等[37]对苹果采摘机器人视觉系统中彩色图像边界像素的模糊性和不确定性对苹果果实识别精度和速度造成影响的问题进行了研究，通过量子遗传算法对模糊神经网络的可调整参数初始值进行全局优化，加快了果实识别的速度，避免陷入局部极小值、迭代次数多等弊端.麦春艳等[38]针对自然光照条件下果园苹果识别效果不佳的问题，利用错检率、漏检率和处理速度3个量化指标综合对比分析颜色阈值、SVM和BP神经网络BPNN 3种苹果颜色分割方法的处理效果，结果表明，BPNN的苹果颜色分割方法，以及log边缘检测子与Hough圆检测相结合的果实识别算法，具有较高的鲁棒性和准确性，能有效克服果实遮挡、重叠和颜色变异等问题，果实识别率可达91.6%. 　　L.Xu等[39]提出了一种基于最小的单因素同化核SUSAN和脉冲耦合神经网络PCNN的苹果果实识别方法，在减少光线不足对分割结果的影响方面具有突出的性能.在50幅图像中，93%的苹果能够被准确识别.王慧等[40]使用BPNN对苹果图像进行分割与特征提取，
　　利用遗传算法对神经网络模型中的阈值和权值进行优化，
　　提高了BPNN 模型的性能，
　　得到了能够准确识别苹果图像的识别模型.
　　贾伟宽等[36]为进一步提升苹果果实的识别精度和速度，提出一种基于K-means聚类分割和基于遗传算法GA，最小均方差算法LMS，優化的径向基RBF神经网络相结合的苹果识别方法，对于遮挡、重叠果实的识别率达95.38%和96.17%，总体识别率达96.95%.S.Bargoti等[41]提出了基于图像处理的果园苹果检测和计数，采用多尺度多层感知器MLP和卷积神经网络CNN进行图像分割，使用分水岭分割和圆形霍夫变换算法检测苹果并计数，相关系数R2为0.826.
　　基于神经网络进行苹果识别，通过线性学习算法取代传统的非线性学习算法，既能维持非线性算法的高精度，又可确保最佳逼近、全局最优、收敛速度快.但是神经网络最终可能会出现过拟合、中心难定、学习率偏低等问题，导致网络运行效率和识别精度难以满足要求.
　　4.3 基于聚类算法的果实识别
　　聚类算法是研究（样品或指标）分类问题的一种统计分析方法，同时也是数据挖掘的一种重要算法.
　　王丹丹[42]利用K-means聚类分割算法分割提取苹果，并对分割误差、提取感兴趣区域、原始果实的重合度和算法运行时间进行评价
　　，较准确地实现了多种分割方法分割性能的对比、重叠苹果目标的分割、遮挡苹果目标的定位，以及单果无遮挡苹果目标采摘点的定位等功能.
　　W.Ji等[43]为解决苹果采摘机器人在视觉识别中归一化分割方法实时性差的问题，提出了一种基于自适应均值漂移和归一化分割方法的彩色苹果图像快速分割方法.首先，通过基于区域的自适应均值漂移初始分割方法，减少图像中的峰值和边缘的数量;其次，通过提取R-B颜色特征将图像划分为区域图，每个区域图由区域点表示，综合后获得R-B颜色灰度级特征的无向图;最后，将无向图作为归一化分割的输入，通过区域点构造权重矩阵W，并基于决策理论粗糙集确定聚类的数量.该方法最大分割误差为3%，平均识别时间小于0.7 s，可以满足实时采摘机器人的要求.
　　S.Sun等[44]通过融合模糊集理论和流形排序算法FSMR解决在类似背景区域（例如叶子）中区分青苹果的难题.首先，通过在HSI颜色空间中使用模糊集理论，粗略地增强原始图像以使苹果目标更加突出;其次，选择特定查询节点对整个图像中的像素进行排序，以获得最终识别结果;然后，进行孔洞填充、边缘平滑和数学形态学方法等操作以提取苹果目标的轮廓;最后，将该方法与基于流形排序MR，自相似显着性检测SDSR和K-means聚类算法的进行比较.结果表明，该方法能够有效地提取实际轮廓，与目标边缘线高度一致，识别结果更准确.此外，平均重叠系数为90.87%，比SDSR算法高17.34%，比K-means聚类算法高15.98%.因此，该方法可为生长监测、产量估算和自动采摘提供参考.
　　聚类算法的优点是技术简单、聚类相似输出、可被多层堆栈、效果直观，其缺点是
　　所求问题的整体最优解通过一系列局部最优的选择，即贪心选择来实现，没有进行全局优化，在某些情况下，与监督学习相比，层数增加时会失效，收益递减.
　　4.4 基于深度学习的果实识别
　　深度学习网络与传统神经网络的不同之处在于它们具有更多节点，更复杂的层互连方式，需要强大的计算能力用于训练，并且它们可以自动提取参数.深度学习使用的4种主要架构是：无监督预训练网络、卷积神经网络、递归神经网络和递归神经网络.这些类型的网络已经用于解决各种问题，如文本到语音的转换、语言识别、翻译、信号处理等.其中，卷积神经网络的主要目的是从卷积运算中学习数据特征，因此这种类型的网络更适合图像中的模式识别.
　　由于光照变化、叶子及邻近果实的遮挡，难以得到准确的苹果果实数量.S.W.Chen等[45]提出了一种基于深度学习的水果计数方法，利用自定义众包平台快速标记大型数据集，基于完全卷积网络的斑点检测器提取图像中的候选区域;然后，基于第二卷积网络的计数算法估计每个区域中的果实数量;最后，利用线性回归模型将水果计数估计值映射到最终果实计数.该方法以人工生成的标签为基础，分析了白天及夜间的苹果图像，训练时间短，并且在数据集大小有限的情况下表现良好.廖崴等[46]利用随机森林算法实现了自然光照条件下绿色苹果的分类和识别.针对果树背景颜色和纹理特征的复杂性，基于RGB颜色空间进行Otsu阈值分割和滤波处理，以便去除枝干等背景，并将剩余的果实和叶片的灰度及纹理特征作为训练集，构建绿色苹果的随机森林识别模型，但是该方法训练时间过长，会导致果实分割的实时性不高.
　　深度学习的方法主要用在具有可微分（函数连续）、强监督（样本数据标定很好、样本类别/属性/评价目标恒定）学习、封闭静态系统（干扰少、鲁棒性好、不复杂）任务下，而对于不可微分、弱监督学习（样本分布偏移大、新类别多、属性退化严重、目标多样）、开放动态环境，该方法效果较差，计算收敛性不好.另外，针对大量数据进行训练实现深度学习，其训练结果难以迁移到其他应用.苹果表面颜色会随生长阶段而变化，再加上果园的复杂环境影响，基于深度学习的果实识别还需更深入的研究.
　　5 针对阴影和遮挡影响的苹果识别
　　由于颜色难以有效表达图像目标物的局部特征，而采集图像中的果实、叶片、枝干等形状各异，因此基于各构件的形态特征进行识别提取具有一定的可行性.但是，在实际的研究中，经常将重叠的多果实看作一个果实整体，难以识别出阴影及遮挡较严重的果实.因此，重叠多的果实分割计数与遮挡果实的形状拟合显得尤为重要[6，47]. 　　宋怀波等[48]提出了一种基于模糊集理论的苹果表面阴影去除方法，将含阴影图像作为一个模糊矩阵，利用所设计的隶属函数对图像进行去模糊化处理，削弱苹果表面阴影对目标分割的影响.
　　D.Wang等[49]对苹果采摘机器人很难在自然场景中准确地获取被遮挡苹果的坐标的问题，提出了一种被遮挡苹果的自动识别和定位方法.首先，描述了一种基于K均值聚类理论的苹果识别算法;其次，通过提取的苹果区域的凸壳作为苹果边缘;最后，选择边缘的3个点来估计苹果的中心和半径.与传统的Hough变换法和轮廓曲率法相比，该方法可以获得更好的识别和定位效果.J.Meng等[50]提出了一種基于边界曲率的重叠苹果分割识别方法，首先，提取重叠果实的完整边缘并计算边缘曲率;然后，根据曲率变化将边缘分段，并通过基于3个标准的筛选过程保留有效片段;最后，通过圆拟合和合并实现了水果的识别.孙飒爽等[51]针对果实目标受枝条遮挡影响被分割成几个部分的问题，将苹果图像转换为Lab颜色空间，然后采用K-means聚类算法进行分割，采用数学形态学法提取苹果轮廓，根据最小外接矩形法去除目标苹果的伪轮廓，最后利用轮廓的曲率特征对目标苹果进行重建，实现了复杂环境下苹果目标的准确识别与定位.
　　遮挡和阴影的存在对果实的识别产生了严重影响，现有的研究方法通过边缘检测、Hough变换法、圆形拟合及其他形态学运算，提取果实的圆形特征，由部分苹果的形态特征确立完整的苹果区域，从而实现果实的识别.未来进行阴影和遮挡影响下的苹果识别，可加入果实的颜色特征，以提高识别的准确率.
　　6 结论
　　本文从颜色、形状和纹理分析，三维果实形态识别，基于夜间图像的果实识别，基于机器学习的果实识别，阴影和遮挡影响下的果实识别等方面的研究现状进行综述分析发现：果实识别的研究，从初期的颜色阈值分割法，发展到颜色阈值结合形态、纹理进行分割识别，再到基于前期基础的聚类算法，ANN，SVM，KNN，以及多种算法结合的识别方法，算法越来越复杂，功能也更为强大.
　　目前，基于颜色阈值的苹果果实分割及提取的方法已经较为成熟，结合果形信息增强了识别的精度，采用基于机器视觉和激光技术构建苹果果实的三维信息，已经取得了初步成效;通过控制照明条件，采用图像增强和智能优化算法进行基于夜间图像的果实识别，已经获得一定的进展;基于监督学习和无监督学习进行苹果果实识别的算法较多，识别精度也满足实际要求;针对存在阴影及遮挡情况的果实识别，大多采用边缘检测和形状拟合的方法进行分割与提取，具有一定的可行性.
　　但由于视觉理论、图像处理技术和硬件条件等的限制，以及果园自身复杂多变的环境，基于机器视觉的果实识别迄今尚未出现理想的方法，
　　还存在一些不足：1）果实图像的采集方式和质量是关系识别精度和效果的前提.目前的研究多采用较为理想的实验条件，保证了采集到高质量图像，且研究对象多是在无枝叶遮挡情况下的较易检测到的果实.2）
　　当前几乎所有的机器学习系统都是基于有监督学习建立的，需要过多的有标签训练样本，而这些标签通常都是由人工标记的，需要大量的人工参与.3）处理流程中的各环节衔接差，自动化程度和实时性有待提高.现有方法大多是在作业现场采集图像信息，然后在实验室进行图像处理，图像采集与处理环节分离，实时性较差[52].且现有研究多集中于果树早期估产、生长期监测和成熟期采摘，针对不同时期果实的形状、颜色纹理和背景各不相同的情况，如何有效识别果实的研究较少.
　　因此未来的研究重点应包括：1）研究更有效的图像增强、图像分割和特征提取等算法，有效解决果实重叠、遮挡、颜色和光线变化的影响.完善白天和夜间在果园现场作业的识别算法，建成全天候作业采摘机器人，提高果实图像的采摘质量.2）进行基于自监督学习的果树识别.通过自监督学习，模型接收的反馈信息逐渐增多，模型表征的复杂的适用任务类型逐渐增加，同时任务中涉及的人类手工劳动比重也显著减少，自动化程度有望大大提高.3）进一步加强图像的自动获取与果实识别的研究，结合计算机视觉与近红外、激光雷达等检测技术，集成多模态的图像和非图像信息进行果实识别，提高处理速度和实时性，以及识别准确度和系统稳健性，为苹果的自动采摘、果园的精准管理等研究注入活力.
　　参考文献：
　　[1] 段峰，王耀南，雷晓峰，等.机器视觉技术及其应用综述[J].自动化博览，2002，19（3）：59.
　　[2] 孙碧亮.基于机器视觉的检测算法研究及其在工业领域的应用[D].武汉：华中科技大学，2006.
　　[3] 徐铭辰，牛媛媛，余永昌.果蔬采摘机器人研究综述[J].安徽农业科学，2014（31）：11024.
　　[4] 李素云，唐先进.苹果采摘机器人的研究现状、进展与分析[J].装备制造技术，2016（1）：185.
　　[5] 李卓，杨子敬，郝建唯，等.苹果幼果图像的分割与识别算法研究[J].沈阳理工大学学报，2015，34（1）：34.
　　[6] 沈甜.苹果采摘机器人重叠果实快速动态识别及定位研究[D].镇江：江苏大学，2016.
　　[7] 王晋.自然环境下苹果采摘机器人视觉系统的关键技术研究[D].秦皇岛：燕山大学，2014.
　　[8] 陈鸥.苹果采摘机器人视觉系统识别基础方法的研究[D].秦皇岛：燕山大学，2016.
　　[9] ZHOU R，DAMEROW L，SUN Y，et al.Using colour features of cv "Gala" apple fruits in an orchard in image processing to predict yield[J].Precision Agriculture，2012，13（5）：568.
　　[10]钱建平，杨信廷，吴晓明，等.自然场景下基于混合颜色空间的成熟期苹果识别方法[J].农业工程学报，2012，28（17）：137. 　　[11]李莎，钱建平，赵春江，等.不同颜色模型识别成熟苹果图像的比较分析[J].计算机工程与设计，2015，36（6）：1545.
　　[12]SI Y，LIU G，FENG J.Location of apples in trees using stereoscopic vision[J].Computers and Electronics in Agriculture，2015，112：68.
　　[13]PATEL H N，JAIN R K，JOSHI M V.Automatic segmentation and yield measurement of fruit using shape analysis[J].International Journal of Computer Applications，2012，45（7）：19.
　　[14]崔淑娟，李健.基于色差信息的成熟苹果识别[J].西北大学学报（自然科学版），2011，41（6）：993.
　　[15]吕继东，赵德安，姬伟.苹果采摘机器人目标果实快速跟踪识别方法[J].农业机械学报，2014，45（1）：65.
　　[16]LV J，XU L.Method to acquire regions of fruit，branch and leaf from image of red apple in orchard[J].Modern Physics Letters B，2017，31（19）：1.
　　[17]LV J，WANG F，MA Z，et al.Yellow apple recognition method under natural environment[C]∥Intelligent Human-Machine Systems and Cybernetics （IHMSC），2015 7th International Conference.Piscataway：IEEE，2015：46.
　　[18]LI B，LONG Y，SONG H.Detection of green apples in natural scenes based on saliency theory and Gaussian curve fitting[J].International Journal of Agricultural and Biological Engineering，2018，11（1）：192.
　　[19]冯娟，刘刚，司永胜，等.基于激光扫描三维图像的树上苹果识别算法[J].农业机械学报，2013，44（4）：217.
　　[20]孙贤刚，伍锡如，党选举，等.基于视觉检测的苹果采摘机器人系统设计与实现[J].农机化研究，2016（9）：151.
　　[21]张宾，宿敬肖，张微微，等.基于激光视觉的智能识别苹果采摘机器人设计[J].农机化研究，2016，38（7）：60.
　　[22]ZHANG B，HUANG W，WANG C，et al.Computer vision recognition of stem and calyx in apples using near-infrared linear-array structured light and 3D reconstruction[J].Biosystems Engineering，2015，139：25.
　　[23]TAO Y，ZHOU J.Automatic apple recognition based on the fusion of color and 3D feature for robotic fruit picking[J].Computers and Electronics in Agriculture，2017，142：388.
　　[24]李强.苹果采摘机器人视觉系统研究[D].兰州：兰州理工大学，2017.
　　[25]赵德安，刘晓洋，陈玉，等.苹果采摘机器人夜间识别方法[J].农业机械学报，2015，46（3）：15.
　　[26]刘晓洋，赵德安，陈玉，等.夜间低照度条件下苹果采摘机器人的图像识别[J].华中科技大学学报（自然科学版），2015，43（S1）：525.
　　[27]姬伟，吕兴琴，赵德安，等.苹果采摘机器人夜间图像边缘保持的Retinex增強算法[J].农业工程学报，2016，32（6）：189.
　　[28]JI W，QIAN Z J，XU B，et al.A nighttime image enhancement method based on Retinex and guided filter for object recognition of apple harvesting robot[J].International Journal of Advanced Robotic Systems，2018，15（1）：1.
　　[29]吕兴琴.苹果采摘机器人夜间图像降噪和增强技术研究[D].镇江：江苏大学，2016.
　　[30]贾伟宽，赵德安，阮承治，等.苹果采摘机器人夜间图像降噪算法[J].农业工程学报，2015，31（10）：219.
　　[31]贾伟宽.基于智能优化的苹果采摘机器人目标识别研究[D].镇江： 江苏大学，2016.
　　[32]RUAN C，ZHAO D，JIA W，et al.Night vision image de-noising of apple harvesting robots based on the wavelet fuzzy threshold[J].International Journal of Advanced Robotic Systems，2015，12（12）：169. 　　[33]JI W，ZHAO D，CHENG F，et al.Automatic recognition vision system guided for apple harvesting robot[J].Computers & Electrical Engineering，2012，38（5）：1186.
　　[34]陈珂，许林峰，柯文德.基于HOG与支持向量机的成熟苹果自动识别[J].江苏农业科学，2017，45（7）：211.
　　[35]夏雪，周国民，丘耘，等.自然环境下果实作业机器人幼果期苹果侦测方法[J].中国农业科技导报，2018，20（5）：64.
　　[36]贾伟宽，赵德安，刘晓洋，等.机器人采摘苹果果实的K-means和GA-RBF-LMS神经网络识别[J].农业工程学报，2015，31（18）：175.
　　[37]马晓丹，刘刚，周薇，等.基于量子遗传模糊神经网络的苹果果实识别[J].农业机械学报，2013，44（12）：227.
　　[38]麦春艳，郑立华，肖昌一，等.自然光照条件下苹果识别方法对比研究[J].中国农业大学学报，2016，21（11）：43.
　　[39]XU L，LV J.Recognition method for apple fruit based on SUSAN and PCNN[J].Multimedia Tools and Applications，2018，77（6）：7205.
　　[40]王慧，季雪.图像识别处理技术在农业工程中的应用[J].传感器与微系统，2018（6）：158.
　　[41]BARGOTI S，UNDERWOOD J P.Image segmentation for fruit detection and yield estimation in apple orchards[J].Journal of Field Robotics，2016，34（6）：1039.
　　[42]王丹丹.重叠及遮挡影响下的苹果目标识别与定位方法研究[D].杨凌：西北农林科技大学，2016.
　　[43]JI W，MENG X，TAO Y，et al.Fast segmentation of colour apple image under all-weather natural conditions for vision recognition of picking robots[J].International Journal of Advanced Robotic Systems，2016，13（1）：24.
　　[44]SUN S，WU Q，JIAO L，et al.Recognition of green apples based on fuzzy set theory and manifold ranking algorithm[J].Optik，2018，165：395.
　　[45]CHEN S W，SHIVAKUMAR S S，DCUNHA S，et al.Counting apples and oranges with deep learning：a data-driven approach[J].IEEE Robotics and Automation Letters，2017，2（2）：781.
　　[46]廖崴，郑立华，李民赞，等.基于随机森林算法的自然光照条件下绿色苹果识别[J].农业机械学报，2017，48（S1）：86.
　　[47]李娜，陈宁.自然场景下苹果采摘机器人视觉系统研究[J].计算机技术与发展，2018（11）：1.
　　[48]宋怀波，张卫园，张欣欣，等.基于模糊集理论的苹果表面阴影去除方法[J].农业工程学报，2014，30（3）：135.
　　[49]WANG D，SONG H，TIE Z，et al.Recognition and localization of occluded apples using K-means clustering algorithm and convex hull theory：a comparison[J].Multimedia Tools and Applications，2016，75（6）：3177.
　　[50]MENG J，WANG S.The recognition of overlapping apple fruits based on boundary curvature estimation[C]∥2015 Sixth International Conference on Intelligent Systems Design and Engineering Applications （ISDEA）.Piscataway：IEEE，2015：874.
　　[51]孫飒爽，吴倩，谭建昌，等.枝条遮挡下单个苹果目标识别与重建的研究[J].西北农林科技大学学报（自然科学版），2017（11）：1.
　　[52]段延娥，李道亮，李振波，等.基于计算机视觉的水产动物视觉特征测量研究综述[J].农业工程学报，2015，31（15）：1.
转载注明来源:https://www.xzbu.com/4/view-14860462.htm