大数据在智慧农业中的应用研究

来源:用户上传      作者:

　　摘要：分析了智慧农业中大数据的处理流程，设计了智慧农业大数据的总体框架，探究了大数据采集技术、管理技术和处理技术等在农业领域的应用，并结合具体实例进行了研究。对于促进农业转型升级，加快智慧农业发展具有重要的现实意义和应用价值。
　　关键词：智慧农业;大数据;云计算;农业监测系统;可视化农业
　　中图分类号：S24         文献标识码：A
　　文章编号：0439-8114（2020）01-0017-05
　　DOI：10.14088/j.cnki.issn0439-8114.2020.01.003           开放科学（资源服务）标识码（OSID）：
　　Abstract： The processing flow of big data in intelligent agriculture was analyzed， the overall framework of agricultural big data was designed， the application of big data collection technology， management technology and processing technology in the field of agriculture were explored and these application were studied with specific examples. It is of great practical significance and application value to promote the transformation and upgrading of agriculture and speed up the development of intelligent agriculture.
　　Key words： intelligent agriculture; big data; cloud computing; agricultural monitoring system; visual agriculture
　　“十三五”以来，以物联网和智能装备为代表的智慧农业技术逐步渗透到农业生产经营的各个环节中，农业形态和生产过程都发生了重大的变化。一是“智慧化感知”，智能传感系统的广泛应用实现了农业生产全过程的可视化、可感知，包括农作物生长态势、作物营养状况、土壤状况、气候条件等;二是“泛在化互联”，物联网、传感器、互联网等在农业中的广泛应用，一方面实现了农户、农作物与资源环境的互联互通，另一方面实现了消费者、农产品、市场的无缝链接;三是“更深入的智能化”，通过云计算、大数据等技术的应用，对获得的海量数据进行深度处理，使农业生产决策、农产品市场管理更加智慧化。
　　为了促进智慧农业的发展，国家相继出台了一系列支持性文件。2015年8月，国务院印发了《促进大数据发展行动纲要》，明确提出加快大数据在智慧农业中的深入应用;2015年12月，农业部印发了《关于推进智慧农业大数据发展的实施意见》;2016 年1月，国家发展改革委员会发布了《关于组织实施促进大数据发展重大工程的通知》（发改办高技〔2016〕42 号），将大数据作为智慧发展的重点支持内容。由此可见，国家对大数据的发展相当重视，大数据对于智慧农业的发展有着重要的意义。
　　1  相关概念
　　智慧农业是伴随着智慧地球概念的发展而产生的，英文为Smart Agriculture或Smart Farm，由于嵌入式技术的迅速发展，通过微型处理器、传感器，现实世界的各种实体都将具有标签，能够自动采集各种数据，并对数据进行处理和分析，可以与其他实体进行交互与通信。在遥感卫星和无线传感技术的支持下，生产设备能够实现自动化生产，使农资的利用率达到最大化，农产品生产实现绿色、量产化。智慧农业的主要组成部分包括：①环境感知设备，比如温湿度传感器、土壤传感器、空气传感器等，通过无线传感器采集农产品生产的基本数据;②网络传输设备，主要由无线 WIFI、ZigBee 网络等组成，主要用来传输信息，在不同设备之间联通;③决策支持中心，以云计算、大数据等为技术支撑构建的用于数据存储、数据处理、决策分析的平台，通过对采集的数据进行挖掘分析，产生决策依据并实现远程控制、发布命令;④终端设备，例如温室大棚中的卷帘机、喷水机、加湿机等，通过决策支持中心对所有终端设备发布控制命令，驱动设备运行，对生产环境进行调节。
　　2011年5月，国际数据公司（IDC）发布数字宇宙研究报告，对大数据进行了定义，大数据是新一代的信息技术架构和基础设施，可以通过快速的数据采集、處理、分析和发现，从大体量（Volumes）、多类别（Variety）的数据中提取价值（Value）。从大数据中价值发现的角度，通过流程对大数据进行界定。
　　智慧农业中的大数据主要包括土壤信息、水资源信息、气象信息等农业资源环境数据，农业生物资源、农业物种资源等农业生物数据等。就农业生产、加工、销售整个流程而言，智慧农业中的大数据包括农资数据、技术支持数据、农业生产数据、农产品物流数据、农产品储藏数据、农产品加工数据、农产品市场流通数据以及农产品质量安全数据等[1]。大数据在智慧农业中的应用主要体现在以下几个方面：一是通过智能终端、感知终端、视频采集终端、音频终端等设备采集在农产品生产、加工以及农产品流通、消费等过程中产生的文本、图形、图像、声音、视频等数据; 二是融合了各领域、学科的交叉数据，综合、关联的融合式数据共享平台取代了传统的关系型数据库，成为新的数据存储管理形式。基于大数据流、智能化的大数据处理平台在农业中广泛深入的应用，通过可视化交互、社会网络分析、智能管理等技术实现农业生产环境监测、农产品安全溯源;三是在农业产业链上各个环节的政府、科研机构、高校、企业形成竞争协同作业机制，共同促进智慧农业的发展。智慧大数据形成一个可持续、可循环、高效、完整的生态圈。 　　2  智慧农业中的大数据
　　智慧农业中大数据的应用提高了农业的生产效率，实现了农业生产的智能化，保障了农产品的绿色安全，实现了农业系统的生态化。
　　2.1  智慧农业中大数据的系统构架
　　智慧农业中大数据的系统构架见图1。
　　第一层，主要是各种农业生产领域，包括农产品种植、畜牧养殖等和农业关联的各种资源环境、科研数据、自然灾害及农业产业链等数据。
　　第二层，构建适合各个农业元素的数据采集网络。利用各种智能终端实时采集各种农情数据;通过物联网、互联网建立数据的实时传输通道、实时监测农业环境数据。
　　第三层，借助大数据、云计算、云存储等技术，建立智慧农业大数据中心。①在这个过程中要对采集的原始数据，运用数据挖掘的技术对其进行数据预处理数据清洗、去噪、集成等，保证数据质量，形成精準的数据源[2];②通过数据融合实现与气象、水利、地质、国土、林业、环保等数据共用共享，形成大数据共享中心。
　　第四层，利用关联分析、可视化分析、数据挖掘、数据融合等大数据分析方法，解决农业领域的数据监测和数据发现。①在数据价值发现方面，包括精准农业、农业卫星遥感数据、农业生物基因数据农产品质量追溯、农村综合信息等;②可以对各种数据进行监测预警，比如农业资源环境、农业自然灾害、农业环境污染、农产品市场监测预警等[3]。
　　第五层，利用智慧农业中采集的大数据，构建“数据支撑、智能监测，产出高效、产品安全，资源节约、环境友好”的智慧农业。
　　2.2  智慧农业中大数据的处理流程
　　智慧农业中大数据的处理主要包括基础数据的采集、预处理、管理、处理和分析等（图2）。在数据采集阶段，主要通过各种终端采集设备，如传感器、移动终端、无人机、温度计等获取环境数据;在数据预处理阶段，主要完成数据标准化、数据去噪等工作;在数据管理阶段，主要依托大型的数据库管理系统对海量数据进行维护和管理;在数据处理阶段，面对不同的应用场景用不同的技术或平台来处理，比如分布式处理等;数据分析阶段主要是通过数据建模、利用挖掘分析软件进行深层次数量分析，获取数据规律或者事件结果。
　　3  大数据在智慧农业中的应用
　　3.1  智慧农业中大数据的采集
　　3.1.1  农业遥感数据获取  智慧农业遥感数据获取主要通过农业卫星、飞行器等对地面农作物进行大范围监测。
　　3.1.2  农业生产环境数据获取  智慧农业生产环境数据获取是对影响农作物生长的气象因子、非生物环境、土壤条件等数据进行动态监测、采集，主要利用农业遥感技术、智能传感网技术等。随着各学科的交叉融合，光纤传感器、微机电系统、仿生传感器、电化学传感器等新型传感器技术以及多光谱、高光谱、核磁共振等先进检测方法在植物、土壤、环境信息采集方面广泛应用，农业生产环境数据的精度、广度、频度大幅度提高。
　　3.1.3  农产品市场经济数据采集  农产品市场经济数据采集是指对农产品的成本、需求、库存、进出口、市场行情等数据进行动态采集，涉及农业流通、农产品价格、农产品市场、农产品质量安全等，具有较强的突发性、动态性、实时性、变化性，一般由“智能终端+通信网络+专业群体”组成。
　　3.2  基于Scrapy的智慧网络数据采集技术应用
　　3.2.1  智慧农业网络数据抓取  智慧农业网络数据抓取指利用爬虫等网络数据抓取技术对网站、论坛、微博、博客中涉农数据进行动态监测、定向采集的过程，实现各种涉农数据的集成、汇聚，以便下一步进行分析（图3）。Scrapy的爬虫主要有以下几步：①以初始的URL初始化Request，并设置回调函数。当该Request下载完毕并返回时，将生成Response，并作为参数传给该回调函数;②在回调函数内分析返回的（网页）内容，返回Item对象或者Request或者一个包括二者的可迭代容器[4];③在回调函数内可以使用选择器（Selectors）来分析网页内容，并根据分析的数据生成Item;④由Spider返回的Item将数据存到数据库或使用Feed exports存入到文件中[5]。
　　3.2.2  技术实现
　　1）先通过Pip install Scrapy命令安装Scrapy，Scrapy必须安装在Python 2.7以上。
　　2）安装完成后，通过Ins/usr/local/python 2.7/bin/scrapy/bin/scrapy命令，将Scrapy配置为全局变量。通过Scrapy startproject tutorial新建一个Scrapy项目。
　　3）通过Scrapy genspider caas命令，创建一个新的Spider。对于不同网站的爬取，需要建立多个 Spider，多个Spider并发执行，即可实现大量网络资源数据的采集。
　　4）执行Spider进行数据爬取，结果可以导出为json、xml、csv等格式文件。本文将数据导出格式设置为xml 格式。
　　通过执行Scrapy crawl moao moa.xml命令采集安康市农业科学研究所数据，见图4。
　　通过执行Scrapy crawl moao moa.xml命令采集安康市农业局数据，见图5。
　　3.3  大数据管理技术及应用
　　Neo4j是一个高性能的Nosql图形数据库，它将结构化数据存储在网络上而不是表中。它具有如下特征：完整的Acid支持，保证数据一致性;高可用性，不管桌面应用如何变化，Neo4j只会受到计算机硬件性能的影响，不受应用本身的约束;轻易扩展到上亿级别的节点和关系，一个Neo4j服务器便可以承载上亿级的节点和关系，并且支持分布式集群部署;通过遍历工具高速检索数据，每秒可以达到上亿级的检索量，一个检索操作类似于Rdmbs里面的连接（Join）操作，读性能可以实现每毫秒遍历2 000关系[6]。 　　3.4  大数据处理技术应用
　　智慧农业中的研究主要以对农业采集数据处理为目的，分析出农业大数据中潜在的价值和规律，对农业经济发展进行合理的推断和预测，进而指导农业生产活动。
　　3.4.1  大数据处理的关键技术  Spark是Apache旗下的一种基于内存计算、快速、通用、可扩展的开源集群计算系统，是继 Hadoop 之后的新一代大数据分布式处理框架，提供高层次的Java、Scala、Python以及R语言的API接入，支持通用的图处理[7]。
　　Spark主要侧重于轻量级数据处理的应用，代码小，处理速度快，设计灵巧，在技术层面上兼容Hadoop存储层的API可访问HdfsHbase，Sequence File等[8];支持交互式操作，Spark-Shell支持交互式Spark環境，能够提供交互式查询;具有良好的容错机制[9]。Spark运行架构见图6。
　　3.4.2  基于Spark的农技推广数据处理研究
　　1）软硬件环境要求。项目采用 Vmvare 虚拟机，配置硬件参数为：内存4GB，八核CPU，安装操作系统版本为Red Hat Enterprise Linux Server release 6.4[10]。其余软件版本如下：jieba-0.38.zip（md5），Python 2.6.6，mysql Ver 14.14， Distrib 5.1.66，for redhat-linux-gnu （i686） using readline 5.1，Spark-1.6.0-bin-hadoop 2.6。
　　2）操作步骤。将数据导入到Mysql数据库中;为了避免乱码问题，采用utf8数据格式：Set names utf8;source resource.sql登陆数据库[11]，查看表结构见图7。
　　3）利用jieba软件包，使用Python读取数据表中的字段，对title列的数据进行切词处理。本文采用半自动安装模式，下载jieba-0.38 安装文件[12]，解压后运行python setup.py install[13]。采用精确模式进行切词，不对停用词、特殊字符等进行处理，前10行切词效果见表1。
　　4）搭建Spark平台，通过在Spark上对切词代码进行执行，对比执行时间[14]，见表2。
　　4  小结
　　本文围绕智慧农业发展的需求，分析了大数据对于传统农业转型升级的重要作用。通过实例分析了智慧农业中大数据的采集、海量数据的存储、大数据管理、大数据分析等技术，探索了大数据在智慧农业中的应用。利用大数据技术对农业大数据进行清洗、集成、融合、挖掘等，发现隐藏其间的数据价值，可为农业生产经营提供指导，为农业市场经济早期预警，为政府决策提供科学依据，培育新型农业经营主体，推动现代农业建设，保障国家粮食安全。
　　参考文献：
　　[1] 赵春江，薛绪掌，王秀精，等.准农业技术体系的研究进展与展望[J].农业工程学报.2003，19（4）：7-12.
　　[2] 李国杰，程学旗.大数据研究：未来科技及经济社会发展的重大战略领域[J].中国科学院院刊，2012，27（6）：647-657.
　　[3] 孟小峰，慈  祥.大数据管理：概念、技术与挑战[J].计算机研究与发展，2013，50（1）：146-169.
　　[4] 王  珊，王会举，覃雄派，等.架构大数据：挑战、现状与展望[J].计算机学报，2011，34（10）：1741-1752.
　　[5] 于  戈，谷  峪，鲍玉斌，等.云计算环境下的大规模图数据处理技术[J].计算机报，2011，34（10）：53-67.
　　[6] 罗军舟，金嘉晖，宋爱波，等.云计算：体系架构与关键技术[J].通信学报，2011，32（7）：3-21.
　　[7] 陆嘉恒.大数据挑战与NoSQL数据库技术[M].北京：电子工业出版社，2013.
　　[8] 董  辉.基于SOA架构的山东农产品电子商务平台的构建[J].科技信息，2012（25）：34-35.
　　[9] 廖亮权.基于WAMP的农村电子商务交易平台的设计与实现[D].南昌：南昌大学，2013.
　　[10] 程翠玉.农产品电子商务交易系统的设计与实现[D].山东青岛：中国海洋大学，2011.
　　[11] 洪  颖.基于J2EE农产品电子商务平台的设计[J].湖北农业科学，2015，54（1）：193-195.
　　[12] 李承高.环洞庭湖区农产品电子商务平台的构建探讨[J].时代金融，2017（3）：65-68.
　　[13] 连奕锦，邢玉升.试论“互联网+农业”的发展策略[J].北方经贸，2017（4）：34-35.
　　[14] 夏  曼.基于云计算的农产品电子商务平台的设计与实现[D].南宁：广西大学，2015.
转载注明来源:https://www.xzbu.com/8/view-15208236.htm