基于云计算的物联网数据挖掘模式分析
来源:用户上传
作者:
摘要:物联网其实就是指物和物之间相互联系的互联网,随着社会科学技术的不断发展和进步,促进了互联网的快速发展,也让社会经济得到了很好的发展。云计算主要就是指对相关的信息进行虚拟化的计算和存储,对各种信息在互联网上进行规范和整理,这样就能够有效的形成很多个计算中心和数据。
关键词:云计算;物联网;数据挖掘模式;研究分析
1 云计算以及数据挖掘技术概述
1.1 云计算概述
云计算本质上属于一种基于互联网的新计算方式,其能够结合互联网异构、自治服务较好满足用户的计算需要,云计算中的“云”也可以被视作对IT底层基础设施的一种抽象概念。本文研究应用的Hodoop属于典型的云计算基础开发平台,其本质上属于一个分布式系统基础的架构,Hodoop在云计算领域的地位可以说近似于IT产业的Linux系统。Hodoop的核心为分布式文件系统HDFS和Map Reduce,前者具备高容错性、高伸缩性等优点,这些就使得Hodoop的布置能够较为简单且低成本的形成分布式文件系统,而后者则具备保证分析和处理的高效性能力,由此Hodoop即可轻松进行数据的整合。总之,Hodoop这一云计算基础开发平台能够通过轻松组织计算机资源实现分布式计算云平台搭建,并以此实现云计算相关功用。
1.2 数据挖掘技术概述
(1)数据挖掘技术的含义
数据挖掘技术产生时间并不算久,可自从20世纪90年代产生以来,在人类社会中产生了巨大的影响,同时受到了人们的广泛应用。目前来说,数据挖掘并不是一个独立的学科,而是交叉学科,因此不同领域不同行業的人对其理解也存在不同之处,因而对其准确的定义还没有定论。目前,大部分学者比较认同的关于数据挖掘技术的含义是韩家炜等人对其的定义,包括三个方面的内容,第一,具有大量的数据来源,并且是真实的数据;第二,通过数据挖掘获得的信息对人们有着较高的价值与作用;第三,获得信息是可以被人们理解分析,被人们接受与运用,能够以此来做出判断或决策。
(2)数据挖掘技术的特征
数据挖掘技术具有分布广、规模大、节点资源有限以及安全性复杂等特征。物联网数据本身具有分布广的特点,因为数据一般都存储在不同的地方,其次,物联网数据极为庞大,本身有许多传感器节点,因而需要有能够快速解决处理数据的中央节点,再次,节点资源并不是无限的,因而中央节点一般不需要所有的数据,但需要数据参数,从而依靠分布式节点将用户需要的数据传输出去。
2 基于云计算的数据挖掘模型
基于云计算的数据挖掘的平台就是能够提供动态资源池和虚拟化跟高可用性的计算平台。云计算的数据挖掘平台可被用来开发高性能的应用程序,可以利用云计算来进行数据挖掘。
物联网中在基于云计算的数据挖掘系统设计的过程力,先由软件的分层设计思想,将基于云计算的数据挖掘系统的层次自顶向下划分为:用户层、任务层和算法层。在这个平台当中,软件的底层可以透明的为它的上层提供服务,上层就可以通过其层间的开放接口来调用下层的服务,这样就使得层与层之间的功能相对的做到独立,这样设计是易于对数据挖掘系统的二次开发,还在设计算法层的过程中设计了多层插件的框架结构,这样增加了算法的实现和维护的灵活性[4]。基于云计算的物联网数据挖掘既要满足物联网数据的复杂类型还要满足物联网数据的高动态性,故此,这样设计的基于云计算的物联网数据挖掘模式最合适。
3 基于云计算的物联网数据挖掘模型
3.1 挖掘模型的结构
基于云计算的物联网数据挖掘模型一般有五层结构,包括了数据接入层、集成层、挖掘层、业务控制层以及交互层。接入层一般各种传感器终端组成,如无线传感器、RFID、GPS 等,用来监控各对象并进行数据采集。集成层主要是存储接入层中所收集到的数据,形成数据源并为其他层提供必要数据。挖掘层是整个挖掘系统中最重要的部分之一,它为系统提供了挖掘所需要的各模块,使算法能够并行运算,最后将结果反馈到控制层中。控制层主要给挖掘任务提供逻辑运算,并对其进行控制和调控,最后将结果反馈到交互层。交互层是系统和用户相联系的接口,通过窗口可以使用户查看或保存结果。
3.2 功能模块
各层构架中有想用的功能模块,如接入层中的海计算模块、挖掘层中的并行数据挖掘算法模块和并行 ETL 模块以及模式评估模块、控制层中的任务调度控制模块和工作流程控制模块、交互层中的用户管理模块和业务模块以及结果展示模块等。它们在各自所组成的构架中发挥着重要作用。
4 物联网技术数据挖掘存在的挑战
由于物联网技术自身的特点,在数据挖掘中有一定的优势,但新技术在数据挖掘中应用非常多,每个技术都有一定优势,物联网技术在数据挖掘中也存在一定的挑战,主要有以下及方面:
(1)物联网数据存在没有一定章法,比较多,但还比较乱,通过一种中央模式对分布式数据挖掘效果一般。(2)物联网数据规模比较大,需要及时处理,有的还有一定的节点,主要通过中央模式处理,这种模式对计算机硬件要求比较高,现有的硬件模式不能很好的完成任务,因此需要加强新的硬件才能解决数据挖掘问题。(3)数据需求的节点越来越多,但现在能满足的节点数是越来越少,这种需求与供给之间的矛盾越来越多,所以要解决这类问题,可能要接入新技术的引入,才能更好的解决数据挖掘问题,更好的利用大数据解决实际问题。(4)物联网上不稳定因素比较多,比如数据的安全性,网络稳定性等一系列问题都是未来需要解决的方向,因此数据挖掘基于物联网模式研究,需要解决的问题还是很多的,必须建立一个安全可靠的平台进行完善。
5 云计算下联网数据挖掘模式的构建
使用者通过互联网对数据挖掘平台进行连接,在DaaS、SaaS以及PaaS,这三个系统中对使用的账户管理系统进行监控,数据挖掘平台中的每一个环节都在云计算的服务模式下。
数据挖掘中的账户管理系统是对用户的相关服务情况进行管理的系统,它详细的记录了用户的账户使用信息,将使用者在平台中的所有服务和设备的使用记录成详细的账目,为用户提供详细的数据资源。
在数据挖掘中的数据管理子系统主要是将使用者的数据资源进行管理,这个系统是基于云计算的DaaS服务模式下的,使用者通过该系统进行数据的购买等活动。可以保护使用者的隐私,让使用者在数据的处理后再次的进行出售。
在数据挖掘中的子挖掘系统中对使用者的数据进行知识的发现,实现数据的挖掘任务,这个系统是整个数据挖掘系统中的核心部分,具有很强的专业性。想要对知识进行挖掘的使用者可以通过此系统的帮助来完成对数据的挖掘。
6 结语
时代在不断的进步,科技是发展的原动力,放眼近几年的发展,我们不难看出发展带给我们的巨大的变化,在每个领域体现的都非常的明显。信息产业也是不例外的,人们都说我们步入了一个信息的时代,在这个时代里信息的传递与交流是不可少的,像是我们的学习,商务以及很多的其他的方面,这些方面在今天已经离不开了现代化的信息参与。正是因为这样的原因,我们在这一领域在不断的进行探索,目的就是在这一领域更好的满足今天人们的需求。
参考文献
[1]汤勇峰.基于云计算平台的物联网数据挖掘研究[J].电脑知识与技术,2017,1307:218-219.
[2]陈俊丽.基于云计算平台的物联网数据挖掘研究[J].中国新通信,2016,1821:74-75.
[3]武桂云.基于hadoop平台的分布式数据挖掘系统研究与设计[D].天津大学,2012.
(1.作者身份证号码:1306231989****1213;
2.作者身份证码:1306321989****2057)
转载注明来源:https://www.xzbu.com/1/view-14735193.htm