基于大数据技术的移动用户行为分析研究

来源:用户上传      作者:李志勇

　　摘要：随着移动互联网的不断发展，移动通信网络5G技术的实现，使得移动终端用户数量呈现爆发式增长，移动终端用户的各类行为也成了很多行业的重要研究目标。该文阐述了大数据及用户行为分析相关概述，对移动用户行为分析现状进行了研究，发现了传统移动用户行为分析缺少数据挖掘方法、数据挖掘与分析技术不成熟、系统平台功能落后等问题，并提出了针对性的分析研究方法，有助于大数据技术在移动用户行为分析中的普及与应用，让用户行为分析更加的精准可靠，进一步全面的完善用户画像，对行业的服务能力及质量的提升具有重要的意义。
　　关键词：大数据技术;移动用户;行为分析;用户画像
　　1 背景
　　随着移动互联网的飞速发展和数据的爆发式增长，大数据时代的特征逐渐凸显，并且给用户数据的存储、处理、分析等带来了巨大的挑战和机遇，从移动终端用户方产生的海量行为数据，采用传统的数据分析方式逐渐不能满足各行各业的需要，需借助大数据技术的挖掘与分析方法和工具，采集移动用户行为数据，对数据进行全面而准确的分析，实现移动用户的精准定位，逐渐在大数据技术的驱动下，充分把握用户的个人偏好、使用规律，从而为各行各业提供以数据为支撑的理论依据，更有助于企业制定科学的决策和发展规划[1]。
　　2 大数据及用户行为分析相关概述
　　2.1 大数据的定义及作用
　　大数据，很多的研究机构都给出了自己的定义，如著名研究机构Gartner提出“大数据是需要新的处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产”，而麦肯锡全球研究所则提出“大数据是一种在获取、存储、管理、分析等多方面远远超出了传统数据库软件工具能力范围的数据集合”，这些定义便可以看出，大数据的数据规模庞大、数据处理快速、数据类型多样、数据价值更显著等特点，大数据技术的应用能够让大数据发挥增强决策力、优化流程、发现关联性等作用。目前与大数据相关的技术包括大规模并行处理的数据库、数据挖掘技术及工具、分布式文件系统及数据库、云计算、互联网以及可扩展的存储系统，也就意味着大数据技术涵盖了互联网技术、云计算数据、分布式处理技术和感知技术，可以充分实现数据的采集到数据分析结果形成全过程[2]。
　　2.2 移动用户行为分析的内容
　　从狭义上来说，移动用户行为分析是指在获得移动应用程序或移动通信数据的等基本数据情况下，对这些数据进行处理、分析和统计，从而发现移动用户在这些平台的使用规律，并且将这些规律与其他行业进行融合，发现移动用户的个人偏好，为企业服务提供更加可靠的数据依据。其中移动用户行为分析的主要内容包括行为事件分析、页面点击分析、用户行为路径分析、用户健康度分析、漏斗模型分析以及用户画像分析等六种模型，不同的模型都可以获取不同的用户行为数据，如用户资料、活跃用户、留存用户、使用时长、应用版本、激活量、卸载量、用户属性、网络终端、行为跟踪等，这些数据资料涵盖了用户忠诚度、回复率、用户使用的操作系统和常用的移动应用程序，用户选择的通信服务网络运营商以及联网方式， 并且通过用户行为跟踪，获取用户访问页面、页面停留以及跳出、跳转率等信息[3]。目前市场上出现了很多用户行为数据统计工具，如百度统计、Google Analytics等，以及付费用户行为分析系统如数数科技的Thinking Analytics，不同的业务需求可以采用不同的用户行为分析工具[4]。
　　2.3 移动用户行为分析的方法
　　移动用户行为分析的方法包括数据采集、数据存储、分析模型、报表创建、应对策略等五个层次。数据采集是数据处理与分析的基础，首先要求数据足够准确、数量大、实时，可以通过可视化埋点、SDK埋点、日志数据、历史数据导入等方法获取更为准确的数据[5]。其次要对采集到的数据进行数据存储，打通用户的数据源，建立统一的数据仓库，并且对用户的属性数据和用户行为数据进行清晰、统一的定义，将用户行为有关的数据进行4W1H的描述，在此基础上再分析用户行为背后的原因。用户行为分析是多维的，因此还需要引用很多的分析模型，根据不同的业务场景，进行灵活搭配使用，最后要通过创建报表来做数据结果分析，建立统一的关键指标，让数据更具有决策意义，同时要对这些指标进行持续性的监控，提高数据的决策力和应用价值。
　　3 移动用户行为分析研究现状
　　3.1 传统用户行为分析缺少大数据技术方法
　　传统的数据挖掘工具并不具备大数据挖掘、处理、分析的方法和能力，单一的服务器也不能满足大数据挖掘与处理的需求。一方面数据来源渠道简单，数据采集模式单一，导致传统的用户行为分析数据采集难度大[6]。数据采集是数据分析的第一步，也是关键的一步，决定了数据分析结果的质量，因此更需要大量、来源广泛、全面的移动用户行为数据。另一方面传统服务器已经不能适应当前新兴的数据挖掘、存储、处理等技术的应用，也会显现出数据处理效率不高、不兼容、不匹配等现象。最后传统的用户行为分析大多取决于经验，而且数据的可靠性较差，不能作为决策的关键性指标和最终依据，数据的作用和价值不大，因此传统的用户行为分析方法逐渐被大数据技术淘汰，需采用更加先進的数据分析方法及工具。
　　3.2 用户行为数据挖掘与分析技术不匹配
　　随着大数据技术的快速发展和应用，很多的企业都引进了数据挖掘与分析处理的技术，但是由于不同算法会得到不同的数据效果，很多的企业在应用大数据技术时，与自己的业务需求不匹配，不能针对性地获取用户行为数据，做好用户画像，实现精准定位，从而导致一系列的数据处理问题的出现。目前很多技术专家、学者根据不同的应用场景，不断改进了数据挖掘、分析与处理的算法，如3PC-MDSP、聚类算法、关联算法、移动用户偏好自适应的学习方法等，不同的大数据技术都具有不同的优缺点。但很多企业由于缺乏专业的技术人才，不熟悉相关技术，使得很多的企业即使引进了大数据技术，但是并没有对数据挖掘、处理等算法进行充分的了解、分析及比较，选择适合自己业务需求的大数据技术，也不会明确自己的团队目标，创建合理的数据库，选取更加合适的数据处理方法，在展现数据时，也可能出现图形、图表等可视化的问题，导致最终索要观测的数据结果无法正常显示。 　　3.3 用户行为数据分析平台功能不健全
　　目前大数据分析系统平台架构也有很多种，包括Hadoop、Spark以及Storm/Flink等三大分布式计算系统，其中Hadpoop适合处理离线的静态大数据，Spark适合处理离线的流式大数据，而第三种适合处理在线的实时大数据，不同的分布式系统也具有不同的优缺点，适用于不同的应用场景和企业服务需求，也是造成移动用户行为大数据平台功能不健全的重要因素。而还有很多企业存在的问题在于很多企业使用的数据分析平台功能模块十分落后，不仅没有采用这些分布式处理系统，在使用传统的数据分析工具，而且在建立数据平台分析时，由于用户行为分析模型的多样化，这些数据平台的功能也不能满足模型分析的需要，无法建立全面的用户行为分析，完善用户画像，建立合理的关键指标。
　　4 基于大数据技术的移动用户行为分析研究方法
　　4.1 促进大数据技术方法的场景应用
　　无论是数据采集技术还是数据的展示，传统的用户行为分析方法都显露了其处理效率低下、处理效果不佳等问题，这些问题的浮现也让越来越多的企业充分认识到大数据分析在企业服务与营销中发挥的作用，尤其在当前智能终端的快速发展下，都加快了在移动用户行为方面的数据分析步伐，促进了大数据方法在企业管理与服务中的场景应用[7]。一方面要根据企业自身的业务需要，考虑企业的规模和资金实力，建立企业自主的数据分析平台，另一方面要打造企业的大数据分析技术人才，创建数据挖掘、处理、分析多层次的人才队伍，在数据的驱动下实现企业的快速转型。
　　4.2 加强大数据关键技术的分析与选择
　　大数据挖掘算法包括聚类算法、关联算法、决策树算法、人工神经网络算法等，这每种方法都适用于解决不同的实际应用问题。聚类算法的特点在于处理数值型数据而无法处理文本型数据，适用于客户细分类型的应用场景，而关联算法则结果清晰、耗时可控，但容易忽略稀少数据，使用关联分析，寻找事物之间的关联性，决策树算法则具有模型效率高、计算量小的优点，但不擅长处理连续型数据，可用于预测和探索规则，如应用与客户流失分析，而人工神经网络算法对噪声数据适应性很强，但计算时间很长，且容易出现错误结论，可以用于模式识别，优化算法。由于企业之间的服务内容不同，在进行数据挖掘时的需求也会出现较大的差异，因此一方面要充分了解数据挖掘算法，明确企业需求，另一方面要做好算法的选择，取长补短，为企业制定更优化的解决方案。
　　4.3 健全移动用户行为分析系统架构
　　要建立并健全移动用户行为分析的系统架构，通过不同的移动用户行为分析的模型，建立数据采集、数据存储、数据处理、数据展示等多层的系统架构。对于企业的场景应用来说，三大分布式计算系统并不能完全契合企业的业务需要，因此需要逐步建立、健全企业在移动用户行为分析系统平台，完善系统平台架构，相对于Hadoop分布式处理系统， Spark的分布式集群系统平台架构拥有更先进的基于内存计算的DAG计算引擎，它的运算速度更快，也可以处理更多的数据源数据，在一定程度上更适用于移动用户行为分析的场景应用，可以从服务端数据库和SDK进行从数据采集，且页面简单，方便用户操作[8]。企业需要根据自身需求在数据处理层，也需要进行数据的抽取、合并、清洗、聚合、转换、装载等，最终实现数据的全面展示，满足企业的服务需要。
　　5 结束语
　　在大数据的浪潮下，大数据分析技术的应用越来越广泛，也充分展现了数据的价值，随着移动用户数量的飞速增长，大数据技术在移动用户行为分析方面的实施应用也更加的普遍，但是提高数据存储、挖掘、处理与分析的能力，是未来大数据技术应用需要加强重视的部分，对促进大数据技术的场景应用、完善移动用户行为分析系统平台的功能架构具有重要的意义，也能够有效地提高行业的工作效率，推動各行各业的精准化、个性化发展，加快各行各业进入高质量发展的步伐。
　　参考文献：
　　[1] 孙慧.大数据挖掘技术的图书馆移动用户行为分析[J].现代电子技术，2020，43（18）：164-167，171.
　　[2] 王睿，秦晓安，王保敏.基于大数据的移动用户行为分析系统设计[J].信息与电脑（理论版），2019（11）：88-90.
　　[3] 于泽川.基于大数据的用户精准定位与行为分析[D].北京：北京邮电大学，2019.
　　[4] 黄文彬，吴家辉，徐山川，等.数据驱动的移动用户行为研究框架与方法分析[J].情报科学，2016，34（7）：14-20，40.
　　[5] 黄玉蕾，李海峰.移动互联网下大数据用户行为平台搭建[J].电脑编程技巧与维护，2016（13）：38-40.
　　[6] 罗海艳.移动用户网络行为分析与预测方法研究[D].沈阳：沈阳农业大学，2015.
　　[7] 王靖.移动用户行为分析机制的设计与实现[D].沈阳：东北大学，2015.
　　[8] 于泽涵.移动网络中的大数据用户行为研究与分析[J].信息通信，2014，27（1）：224.
　　【通联编辑：谢媛媛】
转载注明来源:https://www.xzbu.com/8/view-15393131.htm