基于多尺度特征谷子生长期元素失衡情况识别

来源:用户上传      作者:

　　摘 要：目前，谷子已成为我国一种非常重要的粮食作物，其生长期中土壤和施肥环境的检测非常关键。为避免出现大规模缺钾、缺镁等元素缺失情况，研究者们提出许多元素失衡判断方法。但传统方法大多只提取图像单尺度特征，识别性能受限。为解决该问题，提出一种改进的卷积神经网络来识别谷子生长期元素失衡情况。在神经网络中引入Inception结构，在不同尺度上组合深度特征以识别不同大小的异变斑块形态，从而提高识别准确率。同时，为提升模型鲁棒性，在模型中引入了Dropout以及ReLU激活函数。实验结果显示该方法将识别准确率从95.6%提升到98%，说明多尺度特征提取可提高生长期元素失衡识别性能准确性。
　　关键词：神经网络;多尺度特征;谷子;生长期;元素失衡识别;Dropout;ReLU
　　中图分类号：TP39 文献标识码：A 文章编号：2095-1302（2020）03-00-04
　　0 引 言
　　在谷子生长发育过程中，各种营养元素都具有一定的生理功能，若谷子长期缺少某种元素，则会在形态结构与生理功能等方面发生相应反应并表现出特定症状[1]，严重时会导致产量和品质的降低甚至绝产。因此，在谷子生长期间对作物表现出的营养元素缺乏症状进行正确诊断十分重要。
　　目前针对元素缺失诊断常见的方法包括基于人工经验的方法、基于化学的检验方法以及基于图像的检验方法。
　　针对基于人工经验的方法，直观来说，谷子或者任何一种农作物缺少元素时，均会表现出一定的症状，从而可以通过对应的症状来判断其营养情况。例如谷子缺氮时，新生叶子生长较慢且边缘和尖端发黄，结籽数量减少;谷子缺钾时，老叶子周围出现缺损、不规则坏死以及红色色素沉淀情况;若谷子缺磷，其根系会变小，籽粒灌浆受到抑制，叶子生长受阻且变得细长，颜色会变成深绿色和紫红色，根部会变为深棕或深黑色。另外，硼、锌、铜等微量元素的缺乏同样会使秕谷概率提高[2]。尽管不同元素缺失会出现不同的形态变化，但同一株谷子可能存在着多种营养素的缺乏，基于有限经验或肉眼观测并不能准确识别具体的元素缺失情况。同时，由于各地区管理不同，也会导致谷子长势和外观不同，因此通过外观诊断可靠性较低。
　　基于化学的检验方法是指采用化学诊断方法根据谷子组织液进行成分分析，从而获悉生长体内的元素情况[3]。这类方法直接高效、结果准确，但操作耗时，同时会对农作物造成一定程度的破坏，因此无法自动化、大规模地展开。此外，通过间接分析土壤或培养液的化学成分也可推断农作物体内的元素平衡情况，但实际研究表明，很难找到二者之间的关联关系，且该方法对不同作物并不完全适用。
　　基于数字图像处理方法是指利用计算机对不同图像进行处理，该方法在作物营养诊断方面的应用非常廣泛[4]。使用数字图像来对谷子元素缺失进行诊断具有工具简单、方法可移植性高、对农作物损耗小、费用低廉等优点。是目前最适用于自动化大规模检测谷子元素缺失诊断的有效手段。数字图像处理方法包括传统特征提取方法以及深度学习方法。传统特征提取方法包括手工提取红、绿、蓝三种颜色特征[5]，计算高光谱图像灰度共生矩阵并提取叶片图像区域的熵、二阶矩、协同性、相异性、对比度以及相关性。通过计算叶片HSV图像直方图的一阶、二阶和三阶矩来提取叶片特征[6]。使用全局特征（形状上下文）和局部特征（SIFT特征描述子）提取叶片特征，并使用KNN对叶片所属类别进行判断[7]。使用基于核的模糊c-均值聚类（KFCM）对叶片区域进行聚类，再对其中的害虫区域使用人工神经网络进行分类[8]。使用灰度共生矩阵提取叶片纹理信息，随后使用SVM对农作物营养性病害氮、磷、镁进行检测[9]。深度网络提取特征方法包括使用卷积神经网络对去除叶柄后的叶片灰度图像进行分类[10]，采用AlexNet模型将在ImageNet图像数据集上训练得到的模型进行迁移与识别[11]等。
　　上述三种方法中，基于数字图像处理方法效果较好。但不管是传统手工提取特征方式还是深度特征提取方式均基于图像单尺度特征，未考虑图像的多尺度信息。因此，本文考虑引入多尺度信息来对谷子生成期缺素图像进行识别。
　　本文将Inception结构引入神经网络单元，以便提取谷子生长期图像多尺度信息，提升谷子生长期元素失衡判断的准确率。同时，为增加模型的鲁棒性，引入Dropout以及ReLU激活函数。最后，本文新建了一个谷子生长期图像缺素数据集，为之后对谷子图像进行更深入的缺素研究提供了数据基础。
　　1 相关工作
　　1998年，Yann Lecun等人[12]提出了一个CNN模型LeNet-5，用以对手写数字进行识别，取得了比较理想的识别效果。随着计算机技术的飞速发展及可用训练数据的大量增长，研究者们又相继提出了很多性能更好的CNN模型，比如AlexNet[13]，VGG[14]，GoolgeNet[15]，ResNet[16]，
　　DenseNet[17]等，并应用于各种不同的识别任务中。鉴于后续CNN模型参数较多以及本文应用数据集规模较小的情况，我们的模型基于LeNet-5结构进行改进。LeNet-5共有8层，包含输入层、输出层、3个卷积层、2个池化层和1个全连接层。
　　2 方 法
　　2.1 相关基础技术
　　2.1.1 激活函数
　　激活函数在卷积神经网络中起着非常重要的作用，作为非线性函数，它不仅可以增强数据在网络中的表达能力，还可以更好地处理非线性的复杂分类问题。
　　目前，sigmoid和tanh函数已被广泛应用于人工神经网络[18]。其中，sigmoid将输入映射到[0，1]之间，tanh将输入映射到[-1，1]之间。它们可形式化为：
　　 （1）
　　（2）
　　虽然sigmoid和tanh均可实现网络的非线性激活，但它们均会出现梯度消失问题，得不到理想的网络训练结果。 　　为缓解上述梯度消失问题，ReLU（Rectified Linear Units）激活函数在文献[19]中有涉及，其形式如下：
　　 （3）
　　由公式（3）可以看出，ReLU函数只保留大于0的输入值，因此其最大限度地保留了图像特征，解决了梯度饱和问题，缓解了梯度消失问题且可加快收敛速度。
　　2.1.2 Inception结构
　　传统的神经网络单元只基于单尺度特征，会影响任务性能。为解决该问题，研究者提出Inception结构[15]。该结构可将不同尺度的特征图进行结合，从而提升网络对图像不同尺度特征的適应性。具体的Inception结构如图1所示。
　　2.1.3 Dropout技术
　　深度神经网络的训练对样本数量要求较高，若训练样本数目较少而网络规模较大，则在多数情况下会出现过拟合现象，即在训练集上准确率很高，但在测试集上却很低。为避免和缓解网络过拟合，本文引入Dropout方法[20]进行优化。
　　Dropout的核心思想是以一定的概率将隐藏层的激活值设为0，随机让它们失效，但并不删除。即对于不同的输入，隐藏层不同的节点被激活。该种方式导致每次输入对应的网络结构均未知且它们共享权值，在一定程度上可起到模型的高效平均。同时，这种操作可减少特征间的依赖性，避免某些特征在一些特征存在的情况下才起作用，增加了网络模型的泛化性。
　　2.2 本文提出的模型
　　鉴于所处理数据规模较小的情况，本文采用LeNet-5基础结构。但该模型在提取特征时只考虑了单尺度特征，忽略了多级特征包含的对识别有用的其他特征。为解决该问题，本文对LeNet-5进行了改进。在网络中引入Inception结构来提取多尺度特征信息。同时为了避免或缓解过拟合现象，在网络中的全连接层引入了Dropout;为缓解梯度消失问题，将网络中的sigmoid激活函数替换成ReLU。
　　改进的网络结构如图2所示。
　　2.3 损失函数
　　本文模型采用的损失函数为交叉熵损失函数：
　　 （4）
　　式中：Y指图像真实的标签值;P指图像预测的概率值;N为总的训练样本个数;K为总的图片类别数。
　　2.4 参数设置及训练细节
　　本文采用随机梯度下降算法进行权值的优化更新，在网络训练中，学习率设为0.001;最大迭代次数设为100 000;衰减系数值为0.5;动量值设为0.9。
　　3 实 验
　　3.1 数据集
　　为探索本文所提出的多尺度深度卷积神经网络的性能，本文新建了一个谷子生长期缺素数据集，包含六类图像，分别是缺钾、缺镁、缺锰、缺硼、缺铁及缺锌图像。每类图像包含约1 000张图像，其中80%用作训练集，20%用作测试集。缺钾、缺镁、缺锰、缺硼、缺铁及缺锌示例如图3所示。
　　谷子生长期数据集不同缺素类别图片的数量见表1所列。
　　3.2.1 网络模型训练及分类结果
　　为验证所提出模型的收敛性，图4给出了其在迭代次数不断增加的情况下，准确率和Loss的变化趋势。从图中可以看出训练刚开始时，识别准确率迅速上升，损失值稳步下降。在第1 000次迭代时，识别率达到94%，损失值从最初的3.76降至0.09。随着迭代次数的进一步增加，模型参数不断得到优化，损失值缓慢下降，识别率不断上升，在
　　第60 000次时准确率达到97.7%，随后模型趋于稳定。最后训练结束时，识别率达到98%，Loss接近于0。
　　在模型训练初期Loss较小，并未出现梯度爆炸的现象，表明本文所提出模型结构较为合理。在后面的迭代中，Loss并未出现大范围的剧烈振荡，表明网络已经收敛。
　　3.2.2 模型改进前后实验结果对比
　　为验证所提出的改进模型在谷子缺素识别应用中的优越性，本小节将其与LeNet-5经典网络结构进行了对比。图5和图6分别展示了LeNet-5与本文改进算法的误差与识别准确率随迭代次数的变化趋势。
　　从图5可以看出，我们的方法与传统的LeNet-5相比，可快速收敛，且误差更小。图6表明，我们的方法获得了更高的准确率。上述结果说明所提出模型在准确性及收敛效率上均优于LeNet-5，验证了所提出模型的性能。
　　3.2.3 激活函数优化前后性能对比
　　为验证所提出模型中的ReLU激活函数在克服梯度消失问题上的优越性，图7给出了模型使用sigmoid及ReLU不同激活函数时的性能。由图7可以看出，使用ReLU激活函数时模型获得了更好的性能，验证了ReLU激活函数在缓解梯度消失上的有效性。
　　3.2.4 Dropout优化前后性能对比
　　为验证Dropout优化对模型的影响，图8给出了模型在引入Dropout前后迭代10 000次的识别率变化趋势。
　　如图8所示，引入Dropout后，在迭代10 000次时，识别率由95.6% 提升到97.2%，验证了Dropout的优越性。需要注意的是，此处Dropout的概率值设为0.5。
　　为进一步验证Dropout概率对模型性能的影响，表2给出了模型在不同概率值下迭代10 000次的识别率。从表2可以看出，概率值从0到0.5时，模型准确率随概率值的增大而提升。而当概率值为0.9时，模型准确率反而下降。表2说明，在一定范围内，Dropout的概率值越大，模型的鲁棒性更强，性能更好。但当概率值超过一定阈值时，模型由于失效的节点过多而不能充分挖掘数据中的信息，从而导致性能下降。从表2得出Dropout概率值为0.5时，模型性能最佳。另一方面，Dropout概率值从0.3到0.5时，模型性能均优于不加Dropout时的性能，进一步验证了Dropout的优越性。 　　3.2.5 Inception优化前后实验对比
　　为验证Inception优化对于模型的影响，图9给出了模型在加入Inception优化前后迭代10 000次的识别率变化趋势。
　　如图9所示，加入Inception之后，模型性能提升明显，说明Inception引入的多层次特征对模型性能的提升非常关键。
　　4 结 语
　　本文基于LeNet-5提出了一个多尺度卷积模型，具体方法是在模型中引入Inception结构。同时，为提升模型的鲁棒性，我们在模型的全连接层引入Dropout及在卷积层后引入ReLU激活函数。大量实验表明，本文所提出模型在谷子生长期元素失衡识别中取得了优于传统单尺度模型的性能。同时，本文建立了一个新的谷子缺素数据集，为后续研究者开展谷子缺素研究提供了数据基础。未来研究工作应聚焦构建更大更丰富的数据集，引入更多缺素类别，并提出更有效的谷类生长期缺素分类算法。
　　参 考 文 献
　　[1]范青慈.植物营养元素缺乏症的判断及施肥[J].青海草业，1994（2）：41-43.
　　[2]陈继侠，任艳华.植物缺氮、磷、钾元素症状及防治技术[J].农学学报，2008（9）：51-52.
　　[3]唐菁，杨承栋，康红梅.植物营养诊断方法研究进展[J].世界林业研究，2005，18（6）：45-48.
　　[4] BLACKMER T M，SCHEPERS J S. Techniques for monitoring crop  nitrogen status in corn [J]. Communications in soil science and plant analysis，1994，25（9-10）：1791-1800.
　　[5] JEYALAKSHMI S，RADHA R. A review on diagnosis of nutrient deficiency symptoms in plant leaf image using digital image processing [J]. ICTACT journal on image and video processing，2017，7（4）：1515-1524.
　　[6] PATIL J K，KUMAR  R. Feature extraction of diseased leaf images [J]. Journal of signal and image processing，2012，3（1）：60-63.
　　[7] WANG Z，LU B，CHI Z，et al. Leaf image classification with shape context and shift  descriptors [C]// International Conference  on Digital Image Computing： Techniques &Applications.IEEE Computer Society，2011.
　　[8] VINUSHREE N，HEMALATHA B，KALIAPPAN V K. Efficient kernel-based fuzzy c-means clustering for pest detection and classification [C]// Computing & Communication Technologies，2014.
　　[9] ASRAF H M，NOORITAWATI M T，RIZAM M S B S.A comparative study in kernel-based support vector machine of oil palm leaves nutrient disease [J]. Procedia engineering，2012，41：1353-1359.
　　[10]龚丁禧，曹长荣.基于卷积神经网络的农作物叶片分类[J].计算机与现代化，2014（4）：12-15.
　　[11]龙满生，欧阳春娟，刘欢，等.基于卷积神经网络与迁移学习的油茶病害图像识别[J]. Transactions of the Chinese society of agricultural engineering，2018，34（18）：194-201.
　　[12] LECUN Y，BOTTOU L，BENGIO Y，et al. Gradient-based learning applied to document recognition [J]. Proceedings of the IEEE，1998，86（11）：2278-2324.
　　[13] KRIZHEVSKY A，SUTSKEVER I，HINTON G. Imagenet classification with deep convolutional neural networks [C]// In Neural Information Processing Systems，2012.
　　[14] SIMONYAN K，ZISSERMAN A. Very deep convolutional networks for large-scale image recognition [C]// In International conference on learning representations，2015.
　　[15] SZEGEDY C，LIU W，JIA Y ，et al. Going deeper with convolutions [C]// In：Proceedings Of The IEEE Conference On Computer Vision And Pattern Recognition，2015.
　　[16] HE K，ZHANG X，REN S，et al. Deep residual learning for image recognition [C]// In Proceedings of the IEEE conference on computer vision and pattern recognition，2016：770-778.
　　[17] HUANG G，LIU Z，VAN DER MAATEN L，et al. Densely connected convolutional networks [C]// In Proceedings of the IEEE conference on computer vision and pattern recognition，2017： 4700-4708.
　　[18]楊楠.基于Caffe深度学习框架的卷积神经网络研究[D].石家庄：河北师范大学，2016.
　　[19] GLOROT X，BORDES A，BENGIO Y. Deep sparse rectifier neural networks [C]// In Proceedings Of The Fourteenth International Conference On Artificial Intelligence And Statistics，2011：315-323.
　　[20] SRIVASTAVA N，HINTON G，KRIZHEVSKY A，et al. Dropout： a simple way to prevent neural networks from overfitting [J]. Journal of machine learning research，2014，15（1）：1929-1958.
转载注明来源:https://www.xzbu.com/8/view-15151407.htm