基于高光谱成像技术的富士苹果轻微机械损伤检测研究

来源:用户上传      作者:沈宇 房胜 郑纪业 王风云 张琛 李哲

　　 摘要：为降低苹果损伤造成的商业损失，延长苹果的储存期，利用高光谱成像技术实现了基于特征波段的苹果表面轻微机械损伤的快速、无损检测。以120个富士苹果为研究对象，首先利用波段范围在400～1 000 nm的高光谱成像光谱仪获取完好和轻微损伤0、2、4 h的富士苹果的高光谱图像，并提取感兴趣区域的平均光谱数据，然后通过两次连续投影法进行分析，去除光谱波段间的冗余信息，找到共线性最小的波段组合（821 nm和940 nm）;其次，对特征波段图像进行主成分分析，选择完好与损伤区域差异明显的第二主成分（PC2）作为检测损伤的有效图像;最后，对有效图像进行固定阈值分割和形态学处理，得到苹果表面机械损伤的检测结果。利用该方法对验证组40个正常和轻微损伤不同时间段的苹果进行测试，总体正确率达到94.4%。
　　关键词：高光谱成像技术;苹果;轻微机械损伤;连续投影法;特征波段;图像处理
　　中图分类号：S661.109  文献标识号：A  文章编号：1001-4942（2020）02-0144-07
　　Abstract To reduce the commercial loss caused by apple fruit damage and prolong the storage period of apple fruits， the hyperspectral imaging technology was used to realize rapid and non-destructive detection of slight mechanical damage on the surface of apple fruits based on feature bands. In the experiment， 120 Fuji apple fruits were taken as the research object. Firstly， the hyperspectral images of intact and damaged samples after 0， 2 and 4 hours were obtained by the hyperspectral imaging system across the wavelength range of 400～1 000 nm. The reflectance of all pixels in the region of interest （ROI） was extracted by ENVI 5.2 software and analyzed by successive projections algorithm （SPA） to remove the redundant information between spectral bands and find the collinear minimum band combination （821 and 940 nm）. Then， the PCA was conducted based on two images corresponding to the feature bands， and the second component （PC2） with obvious differences between intact and damaged regions was selected as the effective image for damage detection. Finally， the methods of threshold segmentation and morphological processing were used for the PC2 image to obtain the slightly damaged area on the surface of apple fruits. Using the developed algorithm to detect 40 intact and damaged samples， the average accuracy was 94.4%.
　　Keywords Hyperspectral imaging technology; Apple; Slight mechanical damage; Successive projections algorithm; Feature band; Image processing
　　 蘋果是世界上种植面积最广、产量最高的果品，其味道酸甜可口，营养丰富。苹果中含有利于人体吸收的多种营养成分和降低有害胆固醇的果胶，是老少皆宜的水果之一。但苹果从采摘、运输、包装、储藏及到消费者手中这一过程中会不可避免地受到摩擦、碰撞或挤压，造成不同程度的机械损伤。这种损伤在初期很难用肉眼识别，尤其是当损伤发生在苹果表皮颜色较深的部位。机械损伤破坏了苹果内部的组织结构，导致苹果的生理代谢紊乱，会引发乙烯的产生、呼吸速率的加快和呼吸途径的改变以及愈伤组织的形成和次生代谢的变化等一系列不良的生理反应，从而加速苹果营养成分流失和衰老进程[1-4]。而且，机械损伤部位更容易受到细菌侵染，霉变或腐烂的速度进一步加大，若不及时检测出，会影响其他优质果[5]，降低整批苹果的储藏能力和售卖价格。因此，实现对苹果损伤部位的无损、快速检测和分级处理对减少商业损失和提高苹果的储藏性具有重要意义。
　　传统的苹果品质检测方法主要有人工检测法、化学试剂检测法、机器视觉等。这些方法应用于苹果轻微损伤检测时，存在对样品具有破坏性、费时费力、检测标准不明确和结果不准确、使用的化学试剂污染环境等缺点[6]。因此，准确度高、实时性强、快速便捷的无损检测技术在苹果轻微机械损伤检测方面越来越受关注。 　　高光谱成像技术将成像技术和光谱技术相结合，同时获取目标样品的二维空间信息和一维光谱信息，可对目标样品的外观特性和内部品质进行研究分析[7，8]。目前，不少学者已经将高光谱成像技术应用于苹果表面损伤研究中。黄文倩等[9]利用高光谱成像技术和分段主成分分析法对损伤发生半小时内的苹果进行损伤检测研究，并基于优选出的波段区域结合主成分图像权重系数选择820 nm和970 nm波段作为特征波段，并利用这两个特征波段和全局阈值理论开发了多光谱轻微损伤检测算法，检测精度为98%。田有文等[10]以完好与损伤后3、10、24 h的富士苹果为研究对象，利用主成分分析法和图像阈值分割法建立了提取损伤区域的算法模型，总体检测精度达到98.75%。张保华等[11]获取可见-近红外波段的光谱图像，利用一次主成分分析筛选出有效检测苹果损伤的6个特征波段，基于特征波段再次进行主成分分析（PCA），选择第三主成分PC3作为苹果表面损伤的检测图像，检测精度为95.8%。以上研究均是利用二次主成分分析法提取苹果损伤区域，首先利用PCA选择特征图像，确定特征波段，然后再次利用PCA定位损伤区域。本研究主要提出了一种利用连续投影法寻找损伤特征波段，并基于特征波段的主成分分析确定有效图像并检测损伤的方法。该研究有助于实现富士苹果损伤的在线检测，为检测系统的开发提供理论基础。
　　1 材料与方法
　　1.1 试验材料
　　从市场选购形状和大小基本一致、颜色均匀的无病虫害和无机械损伤的完好富士苹果120个，小心运回实验室，放置12 h至室温后，进行编号和分组处理，1～80号苹果作为试验组，81～120号苹果作为验证组。
　　首先获取所有完好苹果的高光谱图像，然后进行人工损伤。损伤过程如下：用硬纸盒制造一个高度为16 cm、角度为20.4°、带有底部的斜坡，将待损伤苹果固定至斜坡底部（为了防止苹果损伤面的对立面也因受力造成损伤，在斜坡底部加固一定厚度的塑料泡沫，以增加缓冲），利用从斜坡顶部固定位置自由滑落的实心钢球（重量为175 g）对苹果赤道部位造成面积约1 cm2的机械损伤（为了防止铁球撞破苹果表皮，在苹果待损伤面的前方放置一层薄纸片）。获取损伤部位损伤0、2、4 h后的高光谱图像。由于损伤后果皮细胞和组织遭到破坏，损伤部位的质地会变得松软，通过人工触摸获知并圈出损伤部位。
　　1.2 研究方法
　　首先利用高光谱成像光谱仪获取完好与损伤0、2、4 h后的苹果高光谱图像，利用ENVI分别提取每幅图像中感兴趣区域的平均光谱数据;然后利用二次连续投影算法筛选出有利于损伤识别的特征波段，并通过建立SVM模型验证特征波段的有效性，最后基于特征波段的主成分分析结合图像处理方法定位苹果损伤部位。
　　1.2.1 实验仪器 采用高光谱图像采集系统（图1），主要由高光谱成像光谱仪（SOC710VP，USA）、4个75 W的室内高光谱照明灯（CrawImiacle， China）、样品载物台、计算机（LAPTOP-A5R0O41，LENOVO）等组成。其中，SOC710VP光谱仪的成像范围是400～1 000 nm（128个波段），分辨率约为4.69 nm，扫描速度为32 s/cube，并内置12 bit动态范围的C-Mount CCD相机。SOC710VP的优势在于其内置推扫设备，无需系统配备扫描云台就能完成高光谱图像的采集。为了避免周围环境光照的影响，保证目标样本光照的均匀性，将整个图像采集系统（除计算机外）置于暗箱中运行。高光谱图像获取通过光谱仪自带的SOC710软件完成。
　　
　　1.2.2 高光谱图像采集与校正 根据测量样本和使用环境的光线条件，确保高光谱图像完整清晰且不失真，经反复调试高光谱成像系统的各参数，最终将样本上表面至镜头的垂直距离设置为255 mm，CCD相机的积分时间和增益设置为20 ms和4。在保证采集系统参数不变的情况下，依次获取完好与损伤0、2、4 h后的苹果高光谱图像，共获取480幅分辨率为520×696 pixel的高光谱图像，数据保存类型为.cube。获取过程如下：将单个苹果放置于黑色托盘上，托盘放置于载物台上方，调整苹果位置使其与相机镜头在一条垂直线上，等待光谱仪内置设备的推扫，获取样本完整的光谱图像。
　　为了去除因操作环境影响产生的电子噪声，需要对采集的光谱图像进行黑白校正。在采集系统调试正常的条件下，先采集光谱仪配备的白色校正板的光谱图像，然后关闭光源、遮住镜头，采集反射率几乎为零的全黑光谱图像，最后依据公式（1）对原始光谱图像进行校正。
　　
　　其中，Rori為原始高光谱图像，Rw为使用聚四氟乙烯白板获取的全白光谱图像，Rd为全黑光谱图像，R为黑白校正后的光谱图像。
　　1.2.3 数据分析 通过光谱仪自带的SOC710软件获取高光谱图像后，再通过ENVI 5.2、MATLAB 2014b软件和Microsoft Excel进行后续数据处理与分析。
　　2 结果与分析
　　2.1 感兴趣区域提取
　　为了研究正常样本与损伤不同时间样本的光谱特性，同时为了保证光谱数据的可靠性和稳定性，使用ENVI软件分别在未损伤与损伤各个时间段的苹果光谱图像上选择像素大小为10×10的感兴趣区域，并计算该区域的平均光谱反射数据，构造如图2所示的光谱曲线，可以看出，未损伤与损伤区域趋势基本一致，且均在680 nm和980 nm处出现吸收谷，这主要与苹果表面叶绿素和内部水分的吸收有关。随着损伤后时间的延长，损伤区域的光谱反射率逐渐降低，主要原因是：苹果受损后，细胞破裂并引起组织变化，细胞液溢出填充细胞间隙，造成光的散射减弱，样品组织的光学密度下降。另外，曲线在503 nm以下和989 nm以上存在大量噪声，为了保证实验的准确性，本研究主要对503～989 nm间的光谱数据进行分析处理。 　　2.2 光谱数据预处理
　　为了减少外界干扰及样本表面特性对光谱数据造成的噪声影响，本研究基于归一化、标准化、Savitzky-Golay（S-G）卷积平滑、多元散射校正（MSC）、标准正态变换 （SNV）等 [12，13]方法预处理后的光谱数据，结合支持向量机（SVM）初步构建了全波段轻微损伤分类模型，通过模型的分类效果选择最优的预处理方法。
　　由图3可以看出，光谱数据在没有经过任何处理的情况下，模型的分类准确率只有87.5%;经MSC预处理后，准确率提升至100.0%。这可能是由于苹果表面颜色和内部坚实度的差异对光谱产生了影响，而多元散射校正有效地消除了这部分噪声，提高了光谱数据的信噪比。因此，本研究选择MSC作为光谱数据预处理方法。
　　
　　2.3 特征波段提取
　　高光譜图像包含大量的光谱波段，有助于损伤苹果的检测与识别;然而，波段的增加导致数据冗余性大，处理复杂度高。因此，必须对经过黑白校正后的光谱数据进行特征波段选择，提高后续处理算法的精度和效率。连续投影算法是选择特征波段的有效方法。
　　连续投影算法（SPA）是一种前向变量选择算法，能够从光谱信息中寻找含有最低冗余信息的变量组，使得变量之间的共线性达到最小[14，15]。其算法过程如下：
　　记Xk（0）为初始迭代向量，N为需要提取的变量个数。光谱矩阵为j列，则
　　（1）迭代开始前，任选光谱矩阵的1列j，把建模集的第j列赋值给xj，记为Xk（0）;
　　（2）把未选入的列向量位置的集合记为s， s={j，1≤j≤J，j{k（0），…，k（n-1）}};
　　（3）分别计算xj对剩余列向量的投影：Pxj=xj-（xTjxk（n-1））xk（n-1）（xTk（n-1）xk（n-1））-1，j∈s;
　　（4）记k（n）=arg（max‖Pxj‖），j∈s;
　　（5）令xj=Pxj，j∈s;
　　（6）n=n+1，如果n     本研究首先利用SPA从503～989 nm范围内的93个波段中选出9个特征波段（图4a），对应波段的索引序号分别是1、43、47、62、67、78、79、81、84（图4b），实际值分别是503、720、742、821、848、907、913、923、940 nm，记为S1。经过一次SPA后保留的变量之间还可能存在冗余信息，因此再次利用SPA寻找包含最低冗余信息的变量组，经过两次SPA筛选，最终保留了2个特征波段（图4c），对应波段的索引序号分别为3和4（图4d），实际值为821 nm和940 nm，记为S2。
　　2.4 损伤分类模型
　　支持向量机（support vector machine， SVM）是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势[18，19]。为了验证特征波段的有效性，本研究将试验组数据按照2∶ 1随机划分成建模集（320个）和测试集（160个），分别基于全波段和特征波段S1、S2建立SVM损伤分类模型，在模型中使用径向基函数作为核函数，利用3折交叉验证确定最佳参数C和g，C和g的取值范围都设置为[2-5，25]，步长都设置为0.2，分类结果如表1所示。可以看出，基于全波段和特征波段S1模型的识别效果基本一致，虽然特征波段S2的数量仅占全波段的2.15%，但对损伤的识别却取得了较好的效果，能够同时满足苹果轻微损伤检测的速度和精度需求。
　　2.5 基于特征波段S2的主成分分析
　　为了避免图像背景的影响，在对特征波段图像进行主成分分析之前，使用二值掩膜去除背景[20]。通过对比各波段图像发现，波段811 nm图像中背景与苹果的灰度差异明显，因此选择此波段图像作为掩膜图像，然后利用掩膜图像分别与特征波段图像相乘，得到去除背景后的光谱图像。
　　通过二次连续投影算法筛选出的2个特征波段（821 nm和940 nm）对应的光谱分量图像如图5所示。从单个光谱分量图可以看出，损伤区域及其周围区域亮度相似，无明显差别，因此，仅仅运用单波段图像无法实现损伤区域的有效检测。本研究将2个分量图像进行融合，对融合后的图像进行主成分分析[21]，并找到最容易区分损伤区域的主成分图像。图6为经过主成分分析后，得到的全部主成分图像PC1、PC2。从图中可以看出，第一主成分PC1保留了苹果完整的形状和大小信息，但图中损伤和完好区域与单波段图像具有相同的特点，无法分割损伤;第二主成分PC2损伤区域表现出高亮，且与周围的界限清晰，能明显区分损伤区域，为检测苹果轻微损伤的最佳主成分图像。
　　
　　2.6 轻微损伤区域检测
　　对PC2图像利用5×5的高斯低通滤波器保存图像中的低频成分，使图像平滑，得到如图7a所示的图像。对滤波后的图像进行阈值分割，分割阈值为162，分割结果如图7b所示，从图中可看出，分割图像中依然存在因光照影响而误分的小面积区域。利用图像的膨胀、腐蚀和删除小面积区域操作来实现损伤区域的精确分割，结果如图7c所示。
　　2.7 完好与轻微损伤样本的检测结果验证
　　为了验证上述检测方法的有效性，利用上述方法分别对验证组（40个）完好与损伤不同时间段的苹果进行检测，结果如表2所示。可知，该方法对完好和损伤不同时间段的苹果检测效果都比较好，总体检测准确率达到94.4%。对40个完好样本，只有1个被误检;对损伤0 h和2 h的样本，均存在3个误检;对损伤4 h的样本，存在2个误检。造成正常样本被误检成损伤样本的原因主要是由于光照不均匀，在苹果表面形成了亮斑，而形态学处理无法完全消除这些亮斑;造成损伤样本被误检为正常样本的原因主要是损伤的主成分图像不在PC2中或PC2中损伤区域不明显。 　　3 討论与结论
　　本研究基于高光谱成像技术对苹果表面轻微机械损伤进行检测研究。针对高光谱图像数据量巨大、冗余性高的问题，运用二次连续投影算法筛选出了2个包含苹果轻微损伤主要特征的特征波段（821、940 nm），并利用SVM模型验证了特征波段的有效性;同时，基于特征波段结合图像处理方法对苹果表面轻微损伤进行检测与定位，对特征波段图像进行主成分分析，选择能够明显区分损伤区域的主成分图像PC2，并对主成分图像进行固定阈值（阈值为162）分割、膨胀腐蚀处理和去除小面积区域定位苹果表面的轻微损伤。结果表明，该方法对轻微损伤苹果的总体检测准确率为94.4%。经分析发现，影响检测准确率的主要原因是苹果表面曲面光照不均匀形成的亮斑干扰，同时，受光照影响，苹果同一像素位置在不同波段的反射出现差异，从而导致少数苹果在不同损伤时间段的损伤特性没有明显反映在特征波段上，造成损伤误检。因此，去除苹果表面光照不均匀对轻微损伤检测的影响以提高损伤检测准确度将是下一步研究的重点方向。
　　参 考 文 献：
　　[1] Agar I T， Massantini R， Hess-Pierce B， et al. Postharvest CO2 and ethylene production and quality maintenance of fresh-cut kiwifruit slices [J]. Journal of Food Science， 1999， 64（3）： 433-440.
　　[2] 王艳颖， 胡文忠， 庞坤， 等. 机械损伤对富士苹果生理生化变化的影响[J]. 食品与发酵工业， 2007，33（7）： 58-62.
　　[3] Watada A E， Ko N P， Minott D A. Factors affecting quality of fresh-cut horticultural products [J]. Postharvest Biology and Technology， 1996， 9（2）： 115-125.
　　[4] Brecht J K. Physiology of lightly processed fruit and vegetables [J]. HortScience，1995，30（1）：18-22.
　　[5] 田有文， 牟鑫， 程怡. 高光谱成像技术无损检测水果缺陷的研究进展[J]. 农机化研究， 2014（6）： 1-5.
　　[6] Xia J A， Yang Y W， Cao H X， et al. Visible-near infrared spectrum-based classification of apple chilling injury on cloud computing platform [J]. Computers and Electronics in Agriculture， 2018， 145： 27-34.
　　[7] van Roy J， Keresztes J C， Wouters N， et al. Measuring colour of vine tomatoes using hyperspectral imaging [J]. Postharvest Biology & Technology， 2017， 129： 79-89.
　　[8] Xiong J T， Lin R， Bu R B， et al. A micro-damage detection method of litchi fruit using hyperspectral imaging technology [J]. Sensors， 2018， 18（3）： 700.
　　[9] 黄文倩， 陈立平， 李江波， 等. 基于高光谱成像的苹果轻微损伤检测有效波长选取[J]. 农业工程学报， 2013， 29（1）： 272-277.
　　[10] 田有文， 牟鑫， 程怡， 等. 基于高光谱成像技术的苹果表面轻微损伤检测[J]. 沈阳农业大学学报， 2015， 46（4）： 508-512.
　　[11] 张保华， 黄文倩， 李江波， 等. 用高光谱成像和PCA检测苹果的损伤和早期腐烂[J]. 红外与激光工程， 2013，42（s2）： 279-283.
　　[12] 吴习宇， 祝诗平， 黄华， 等. 近红外光谱技术鉴别花椒产地[J]. 光谱学与光谱分析， 2018，38（1）： 68-72.
　　[13] 白铁成， 王涛， 陈佑启， 等. 南疆沙尘区骏枣叶片水分含量检测的近红外光谱预处理方法对比[J]. 光谱学与光谱分析， 2019， 39（4）： 1323-1328.
　　[14] 陈斌， 孟祥龙， 王豪. 连续投影算法在近红外光谱校正模型优化中的应用[J]. 分析测试学报， 2007， 26（1）： 66-69.
　　[15] Galvo R K H， Araújo M C U， Fragoso W D， et al. A variable elimination method to improve the parsimony of MLR models using the successive projections algorithm [J]. Chemometrics and Intelligent Laboratory Systems， 2008， 92： 83-91.
　　[16] Tang G， Huang Y， Tian K D， et al. A new spectral variable selection pattern using competitive adaptive reweighted sampling combined with successive projections algorithm [J]. Analyst， 2014， 139（19）. doi：10.1039/c4an00837e.
　　[17] 刘燕德， 肖怀春， 孙旭东， 等. 柑桔叶片黄龙病光谱特征选择及检测模型[J]. 农业工程学报， 2018，34（3）： 180-187.
　　[18] 黄林生， 刘文静， 黄文江， 等. 小波分析与支持向量机结合的冬小麦白粉病遥感监测[J]. 农业工程学报， 2017，33（14）： 188-195.
　　[19] 胡晓华， 刘伟， 刘长虹， 等. 基于太赫兹光谱和支持向量机快速鉴别咖啡豆产地[J]. 农业工程学报， 2017，33（9）： 310-315.
　　[20] Ye D D， Sun L J， Tan W Y， et al. Detecting and classifying minor bruised potato based on hyperspectral imaging [J]. Chemometrics and Intelligent Laboratory Systems， 2018， 177：129-139.
　　[21] Luo W， Zhang H L， Liu X M. Hyperspectral/multispectral reflectance imaging combining with watershed segmentation algorithm for detection of early bruises on apples with different peel colors [J]. Food Analytical Methods， 2019， 12（5）： 1218-1228.
转载注明来源:https://www.xzbu.com/8/view-15264366.htm