大数据系统和分析技术研究

来源:用户上传      作者:

　　摘 要：文章的内容主要是以大数据的发展状况作为研究的背景，然后对大数据处理系统以及大数据等等相关内容进行了深入的分析和研究，并且在这个基础上分析发现当前我国大数据计算所面临的困难和难题，并且根据这些难题提出相应的解决措施，希望能够大大的提升大数据的计算工作效率，并且能够进一步的提升系统的有效性。
　　关键词：大数据；数据分析；技术
　　中图分类号：TP311.13 文献标志码：A 文章编号：2095-2945（2019）20-0136-02
　　Abstract： The content of this paper is mainly based on the development of big data as the research background， and then carries on the in-depth analysis and research to big data processing system and big data and so on. On this basis， this paper analyzes and finds the difficulties and problems faced by big data's calculation in our country， and puts forward the corresponding solutions according to these problems， hoping to greatly improve the computational efficiency of big data and further improve the effectiveness of the system.
　　Keywords： big data； data analysis； technology
　　我们从技术的角度来进行分析，可以发现大数据和云计算之间的关系就好像是一枚硬币所存在的正反面。大数据是无法采用单独的计算机而进行工作的，必须是采用分布式的架构方式来进行。它的主要特点就是能够对大量的数据进行分布式的数据挖掘，但与此同时它还必须在云计算的基础上去完成进一步的云储存以及虚拟化技术等等。
　　随着现如今我国科学技术的飞速发展，目前已经进入到了大数据与云时代的发展阶段中，随着大数据在我们生活和工作中的逐渐渗透，大数据因此吸引了越来越多人们的重视和关注。相关的研究人员认为，大数据一般都是用来形容一个公司所创造的大量非结构化的数据，这些数据一般在下载到关系型数据库进行分析应用时就会花费大量的时间以及金钱。与此同时大数据的分析一般都会和云计算紧密的联系起来，最主要的原因是由于实时的大数据分析一定需要数以千计的电脑来进行分配完成工作[1]。
　　1 大数据的处理系统
　　1.1 批量的数据处理系统
　　大数据的处理系统最为主要也是最为重要的任务就是根据大批数据然后分析适当的模式，并且由此提出相关的明确含义，制定出科学合理的应对策略，从而进一步的实现特定的业务目标。一般来说大数据都是源于互联网或者是云计算等等相关的网络平台，能够帮助平台解决所出现的各种难题，并且提出新的问题。对于一个企业来说，企业可以通过处理过程中所产生的相关数据从而进行对恶意软件的有效识别，从而进一步的判断出这些外来的信息是否安全可靠，这样就可以大大的加强公司网络和数据的安全性[2]。
　　1.2 交互式的数据处理系统
　　交互式的数据处理系统和非交互式的数据处理系统相比较来说，前者更具有灵活的特点，该系统能够和相关的工作人员采用人机对话的方式来完成输入工作，这时系统就可以自动的进行数据的分析，并且指导相关的操作人员按照分析的要求去一步一步的展开操作，最终获取得到有效的结果。采用这样的处理方式能够将系统当中的应用信息得到及时的处理，从而便于交互式的数据能够进一步的展开工作[3]。
　　2 对大数据的分析
　　2.1 深度学习
　　在进行分析大数据的过程中，其中最为重要的一个内容就是我们如何才能有效的表达以及学习大数据，因为无论是什么样形式的数据它都具有着很多的表达方式，但是最为主要的方式也是最为简单的模型，这种模型目前来说还处于在低级阶段，因此其并不能给予我们良好的学习效果。针对于此从而产生了深度学习。深度学习主要指的是根据层次的架构中所针对对象在不同阶级上的表达从而解决一些比较抽象不容易直接思考的问题。深度学习主要起源于20世纪的80年代期间，随着近几年科学技术的飞速发展，深度學习无论是在图像领域中还是在语言语音的应用领域中都得到了飞速的发展。在2009年，微软研究院的相关工作人员第1次在关于对语音的处理中开始采用这一深度神经网络，采用这样的方式明显的提升了语音在识别过程中的正确率，因此这种处理模式很快成为了在深度学习过程中最为成熟的应用之一[4]。
　　2.2 知识计算
　　知识计算是对大数据展开分析的一个最为基础的环节。知识计算在目前的世界领域当中是一个非常关键和重要的研究内容，从目前的实际情况来看，国内以及国外一共建立了50多种相关的知识库，相关有效的应用建立了上百种，在这其中比较具有代表性的知识库以及应用的系统有KnowItAll，TextRunner，Probase，Satori 以及一些在维基百科等等相关在线知识百科所构建的知识库，例如DBpedia。随着大数据信息的飞速发展，针对一些规模较大的网页信息中所包含的信息和知识，和自动能够构建知识库这种的方式已经被越来越多的人所重视和接纳。当人们面对大量的知识建库时就会根据不同信息从而建立不同的各种知识之间的相互融合，而这也同样是我们必须要得到快速解决的内容之一。
　　3 目前大数据计算所面临的问题以及提出的相关解决措施 　　3.1 数据的复杂性
　　随着大数据的飞速发展，目前大数据已经融入到了我们生活以及工作中的方方面面，但同时人们在进行计算的过程中也会面临着各种各样的问题，例如大规模样本的出现，这种现象的产生直接导致我们的群众开始面临着各种复杂的数据对象。众所周知大数据的主要特点就是数据的类型以及数据的模式具有多样化丰富化，并且之间的联系也是非常的复杂繁多，数据的质量也是参差不齐，这些种种因素都会导致数据在计算或者是表达的过程出现较大的难题，传统的数据模式下计算的复杂性以及难度会不断的被增大，同时语义的分析也会变得更加复杂。然而从目前我国的发展现状来看，大部分的群众对于数据当中所蕴含的意义理解得并不够深入，再加上大部分人们对大数据的相关知识并不是非常了解，因此在很大程度上严重的影响了计算机模型的设计以及相关的制作。因此我们目前应当加紧解决的重要问题就是要将大数据的复杂本性定量化，并且对数据所包含的问题展开深入性的分析和研究。当我们将上述的问题都得到快速的解决以后那么在一定程度上能够让更多的群众理解大数据的模型是什么，了解到大数据所具有的特征和优点是什么，从而进一步的获取到相关的知识和信息。同时也由此我们可以看出，只有我们不断的去完善以及改进多模式下的数据分析理论以及模型，并且将各个数据之间所存在的联系做到及时的梳理，对复杂的模型进行深入的分析和研究，只有这样才可以真正的降低其的复杂程度，从而让人们对大数据有一个更加透彻的认识[5]。
　　3.2 计算的复杂性
　　我们都知道，大数据的特点就是规模大、速度快以及数据的结构多样等等。而这些特点也导致了过去传统的机器学习以及数据的收集都无法得到当前数据的支持，尤其是当大数据在面对一些小样本的数据时，无法进行全局式的分析以及计算，对此我们的大数据在计算过程中就要选择适当的脱离传统计算的局限性。大数据在进行求解的过程中，我们要提前对它的可计算性进行一个有效的评估工作，并且对计算方法进行进一步的確认，对价值驱动在特定领域的应用给予支持。但是从目前的情况来看，当前我国的大数据样本种类非常繁多，结构也比较复杂，分布的非常不均衡等等这些现象都为大数据的研究工作带来了一定的挑战。对于这种现象我们应当将目光放在大数据的生命周期当中，在大数据自身复杂性的基础上，然后对以数据为中心的计算模式进行深入的研究和分析，并且找出科学合理的改善方式，建立起更加规范科学的数据模式，从而对大数据的相关理论展开进一步的研究工作，最终建立起一套牢固的并且不依赖于全量数据的数据计算理论基础。
　　3.3 系统的复杂性
　　目前有效的支持大数据的研究平台是针对不同数据类型的处理系统。这一数据的处理大平台所面临的难题也非常繁多，例如数据太大、结构复杂、计算过程的周期长以及难度较高等等。这些问题不仅仅会给处理系统的整体结构以及计算方式等等带来更加严峻以及困难的挑战，与此同时也会在数据处理系统的运行速度以及其他方面都带来较大的难题，而这每一个问题都是非常严重以及必须加紧解决的重要问题，是系统想要不断的进行优化的最基本的准则，更是系统想要得到有效处理的重要基础，因此我们要想有效的提高数据的计算能力那么就必须要加强解决这些关键性的问题。而要想解决这些问题那么首先要做的就是要充分的了解大数据在处理过程中所存在的问题，并且针对大数据在价值的基础上进一步的整合大数据的处理以及存储系统的架构，严格的按照执行大数据的感知准则在其系统以及数据的处理方面等等都展开深入的研究和分析，只有这样才能形成一个高效率低耗能的大数据处理系统。
　　4 结束语
　　现如今我国正处于在高速发展的重要时期，科技的发展信息之间的快速流通，人与人之间的交流等等越来越密集，我们的生活也变得越来越方便，大数据正是现如今高科技时代的重要产物。有人将大数据当作为一座蕴藏能量的煤矿，煤矿如果按照性质分可以分为焦煤、无烟煤、贫煤等等，与此同时露天煤矿以及深山煤矿的挖掘成本又会有着巨大的不同。而大数据和煤矿之间有着非常相似的联系，大数据的主要并不在于大，而是在于有用有价值，价值含量高以及挖掘成本都要比数量显得更为重要，因此对于我国很多的行业和企业来说，如何有效的利用大规模的数据才是自身企业赢得胜利的关键内容。
　　参考文献：
　　[1]程学旗，靳小龙，王元卓，等.大数据系统和分析技术综述[J].软件学报，2014（09）：1889-1908.
　　[2]曹军威，袁仲达，明阳阳，等.能源互联网大数据分析技术综述[J].南方电网技术，2015（11）：11-12.
　　[3]张磊，杜冬梅.基于大数据系统和分析技术的研讨[J].现代经济信息，2016（21）：90-91.
　　[4]乔双宁，梁文庆.大数据系统和分析技术综述[J].数字化用户，2018（39）：67-68.
　　[5]吴卉男.大数据系统和分析技术综述[J].信息记录材料，2016（03）：71-72.
转载注明来源:https://www.xzbu.com/1/view-14882195.htm