大数据下数据挖掘技术的应用研究

来源:用户上传      作者:

　　摘要：本文探讨了大数据时代的数据基本特征，以及数据挖掘技术与大数据，分析了数据挖掘技术方法，研究了数据挖掘技术的具体应用。
　　关键词：大数据;数据挖掘技术;应用
　　中图分类号：TP311.13 文献标识码：A 文章编号：1007-9416（2020）01-0034-01
　　0 引言
　　大数据是现代互联网信息技术发展的主要内容，互联网数据研究曾指出，互联网现在数据以每年50%的比例在增长，而数据挖掘的关键价值是可以提高人们对大数据的加工能力，从大量的不规则数据中获得新的信息价值，从而实现了数据的信息增值。数据挖掘技术是信息技术不断进步和发展的产物，它促进信息应用的转型和优化，实现数据信息应用的更好发展。
　　1 大数据时代的数据基本特征
　　大数据时代，数据的显著特征首先表现在于大量化，它体现了数据的量和数据的完整性两个特性。大数据的另一个特征反映在多样化，它体现在数据来源的多样化，格式的多样化，特别是其中非结构化的数据占了大部分内容。大数据的再一个特征方面是反映在数据的产生速度，大数据的数据产生的比较快，它很大程度上了满足了现代人们对于信息的需求。大数据这些基本特征，在另一个角度则表现出它的珍贵之处——真实性。真实性，反应数据的重要性对决策支持关键因素。现行大数据的规模形态，仅仅只是决策制定的一个重要因素，而真实性能够保证信息的来源，在利用大数据信息制定相应的决策时，能够让所需的数据满足信息价值的追求。
　　2 数据挖掘技术与大数据
　　随着现代科学技术的不断发展和大数据网络的开展，人工智能技术发展越来越迅猛，其中数据挖掘技术就是人工智能技術发展的一个表现。人工智能技术的运用和数据挖掘技术的应用相对应，从另一方面来说，数据挖掘技术就是依赖相应机器的算法而实现的，数据挖掘技术根本目的是将规律之外的信息，或者是比较复杂的信息进行深入的挖掘，挖掘出比较隐秘的信息，再利用这些隐秘的信息来提升它的潜在价值。数据挖掘技术对于大数据下数据应用来说，对数据信息进行深入研究并转化成有意义的信息，促进决策的生成，并保证决策可以获得预定的应用价值，实现了数据利用[1]。因此，数据挖掘技术是大数据应用环境下的一个重大应用技术。
　　3 数据挖掘技术方法
　　基于对数据挖掘技术与大数据的关系认识，数据挖掘技术是可以实现从大数据中发掘不为人知的信息，来实现决策应用的目的。数据挖掘技术的核心是通过数据分析方法对大数据进行数理分析，挖掘数据的潜能[2]。
　　3.1 聚类分析法
　　聚类分析法的主要特点是将收集到的信息根据共通性来进行相应的分组和分类，让信息以板块的形式呈现。该方法将看似没有关系的数据进行深入研究，根据分析目标，将数据分成了不同的组别，然后利用数据之间的联系，挖掘有价值的信息，挖掘信息的潜在价值。聚类分析法存在有一定的不足，原因在于数据信息本身存在的个性化，使得数据分析在统计学的计算上存在运行难度，在数据的识别上也难以开展。
　　3.2 人工神经网络分析法
　　人工神经网络方法是指试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理的一种方法，它将复杂的、大批量的数据进行分析，进行抽象，获得计算结果并加以利用，如趋势分析等。人工神经网络方法主要是建立数学模型上的算法，而输入到神经网络中的研究值都是数值型，这就要求在收集相应数据的时候要按照自身的实际需求进行相应数据的分析，更好得实现数据的分析工作，保证数据挖掘技术的应用。
　　3.3 关联性分析法
　　关联性分析法，是基于大数据的基础上，发现数据库中不同信息之间的联系的一种分析技术法。关联性分析法能够将收集到的不能直接的对其进行应用的数据和信息进行关联性分析，实现挖掘到隐蔽性的信息和相应处理，实现数据的显性。这种分析方法是有比较好的精准性和目的性，因此这种分析方法比较常应用在数据的精密分析中，比如档案信息管理工作。
　　3.4 特征性数据分析法
　　数据特征分析是基于对数据质量分析的成果上，运用计算数据特定的相关联的特征量等手段而进行的数据分析法，可以将得到的数据挖掘结果与先期所预达到的数据分析结果更加接近或一致，因此运用该种方法来进行数据分析，更好实现大规模数据的分析。大数据时代，海量的数据信息呈现疯狂增长的势态，这使得对数据进行整理与分析会显得更加具有难度，在各种数据分析方法中，特征性的数据分析法是更适合数据量比较多的信息分析方法，它能够从大量数据特征中提取到具有代表性的特征，更加有效的得到数据分析结果，实现信息利用。
　　4 数据挖掘技术的具体应用研究
　　数据挖掘技术是信息技术发展的产物，也是大数据时代下重要的数据分析方法，能够促进数据信息的实效性应用[3]。
　　4.1 数据挖掘技术实现提高行业的竞争力
　　数据挖掘技术主要进行对所保存的数据进行挖掘、分析和运用，首先它表现在提高行业的竞争力的领域。该领域是最先应用数据挖掘技术的，是应用范围较广的领域。数据挖掘技术分析法可以找到数据内部的价值，大大缩短了科学研究的时间，实现了行业竞争力的提升。比如，现在很多的信息都可以通过人工智能技术进行采集和分析，如类似淘宝的平台，他们可以从众多个人数据所形成的大数据中分析到爱好和喜好，根据分析结果给消费者推荐所爱好的商品，从而实现提高行业的竞争力。再如，在制造业中应用大数据的挖掘技术，由于现代生活质量的提高，人们对于基本的生活用品的质量要求也高，所以要求有关的厂家要不断提高产品的质量，在进行分析产品存在不足时，可以运用大数据的挖掘技术，在海量数据中寻找不足的分析结果，帮助企业正视不足并制定相应补救措施，从而帮助企业获得更多的行业效益。
　　4.2 数据挖掘技术在高校管理中的具体应用
　　日前，物联网、云计算等信息产品可以将人们的行动轨迹记录下来，构建出各种大数据平台，也促进数据挖掘技术在各项管理中的应用，如数据挖掘技术可以有效地利用在高校管理中。高校是学生人口比较密集的地方，信息时代，学生的各类数据信息形成了一个庞大的数据量，使得高校的数据信息管理面临了挑战。通过数据挖掘技术分析方法对众多学生信息进行挖掘分析，利用分析结果应用到高校的招生、教学评价、学生的思想政治工作等等方面。比如，利用数据挖掘技术分析学生对授课效果的反应，分析结果可提供为教学效果的参考依据，也可监督授课教师是否开展有效教学工作;再如，对教学课堂或者是学生心理进行数据分析，可以让教师更好了解课堂教学中学生所疑惑的地方在哪里，帮助教师进行教学方案的完善和改革，进行针对性的教学，提高教学效果;再比如，移动学习模式应用下，应用数据挖掘技术对影响网课学习的教学效果各类因素进行分析，如在平台上学生的学习进度、学习疑惑等相关数据，得到的分析结果可以促使教师改进适应移动学习的教学办法，促使移动学习模式的培养效果完善，学习者也可获得更多学习价值。
　　5 结语
　　总之，大数据的最大价值在于可以预测未来趋势，在海量数据信息中，快速发掘有价值的信息，帮助决策者做出判断。大数据时代，数据挖掘技术的应用是现代信息分析技术的研究方向，挖掘信息潜在价值，实现数据应用发展。
　　参考文献
　　[1] 许丽卿.基于数据挖掘的高校教学质量评估系统研究[J].信息技术与信息化，2016（08）：79-82.
　　[2] 程军锋.Web数据挖掘研究[J].重庆三峡学院学报，2013（3）：43-45.
　　[3] 凌小萍，邓伯军.大数据时代高校思想政治教育探究[J].广西师范大学学报，2015（1）：62-67.
转载注明来源:https://www.xzbu.com/8/view-15176540.htm