试论大数据技术网络安全态势感知平台

来源:用户上传      作者:

　　摘  要：在信息技术不断发展进步的背景下，各种网络威胁也变得更加复杂多样化，其技术水平也随之提高，传统的计算模式已经不能满足抵御网络威胁的要求，这就需要基于大数据的应用对多种领域的计算模式进行创新，尤其是对数据信息应用以及协同计算方面的提升有着非常重要的推动作用，根据当前网络安全存在的问题，提出了有效合理的解决方式。根据现阶段网络安全的形势，需要在建立网络安全预警系统的过程中，融入新型的信息技术，保证安全态势感知平台的全面性，进而能够做到有效的应对各种网络安全威胁。
　　关键词：大数据;威胁感知;威胁发现
　　中图分类号：TP393         文献标志码：A         文章编号：2095-2945（2020）10-0023-02
　　Abstract： In the context of the continuous development and progress of information technology， all kinds of network threats have become more complex and diversified， and their technical level has also been improved. The traditional computing model can no longer meet the requirements of resisting network threats， which requires the innovation of computing models in many fields based on big data application， especially in the application of data information and collaborative computing. According to the problems existing in the current network security， an effective and reasonable solution is put forward. According to the current situation of network security， it is necessary to integrate new information technology into the process of establishing a network security early warning system to ensure the comprehensiveness of the security situation awareness platform， so as to effectively deal with a variety of network security threats.
　　Keywords： big data; threat perception; threat discovery
　　随着社会不断的进步与发展，网络态势感知作为一种新型的技术，目前已经成为我国互联网安全的发展方向之一。针对内网环境下，能够改变网络态势的因素进行分析、显示并预测未来的走向的网络安全态势感知平台，通过对各类感知数据源进行整合分析，利用智能算法和安全模型，把各種安全数据转化成直观的信息。
　　1 技术架构
　　建立并完善网络安全态势感知平台，首先要将整条防御链中的相关安全数据进行采集，筛选互联网中各种存在威胁的信息并进行储存，逐步形成一个与网络安全相关的大数据架构。其次，要实现诸多安全规划、分析算法、安全模型等有效的结合，对数据库中的安全数据进行更深层次的挖掘并加以分析，从这些数据之中推算出存在的风险，例如潜在的威胁、安全事件、预判未知风险等等，最终完成整个网络安全态势感知的任务[1]。
　　2 网络安全对数据汇聚与存储的威胁
　　针对于采集和储存威胁数据，首先要对态势感知数据源进行采集;其次需要用到大数据的存储管理技术，在数据平台当中，需要输入采集的数据，这样可以形成初级的安全数据库[2]。其中在态势感知数据源中，可以为数据分析提供一定的技术保障，同时还可以提供各种原始的安全数据。态势感知数据源最大程度的覆盖整个互联网攻击链条下的每一个环节、要素，保证各类数据的全面性;在运用大数据技术进行管理和存储的过程中，不仅需要结合关系数据库系统，同时还需要构建数据库集群、分布式文件系统，从而保证形成混合式数据库的顺利，满足各种数据的存储需求，例如结构化数据、非结构化数据和半结构化数据。
　　3 筛选安全数据
　　在挖掘和分析数据的过程中，需要筛选安全数据，并且需要转变为威胁情报，具体步骤如下;首先，要对数据进行预先处理，利用关联分析、数据融合等方式，对初期的数据进行组织，这样可以形成初步的数据关系图;其次，在对模型进行设计的过程中，需要根据攻击数据的实际情况，不仅需要分析攻击特征，同时还需要对行为特征进行分析，然后制定数据分析的方式，构建分析大量数据的模型。最后，需要运用一些方式对数据进行分析，主要包括了离线分析法和实时分析法等等，对于已经预先处理的数据，需要结合分析模式，开展深入挖掘，从中发掘潜在的威胁、探索网络安全态势[3]。
　　3.1 预先处理数据
　　对数据进行预处理需要以下三个步骤：首先，清洗数据。原始的数据在经过规整以及标注之后，可以保证安全数据的准确性;其次，融合数据。对于基础的安全数据而言，需要与已知的威胁特征进行有效的结合，从而形成数据族。最后，关联数据。在进行数据关联的过程中，需要对数据的时序关系进行关联，同时还需要对数据的交互特征进行关联，从而可以构建数据关系网络图。 　　（1）清洗数据。在数据清洗的过程中，其就是对各种各样安全数据的格式进行转换，然后对数据进行去重和过滤，从而完成数据的清洗工作，其目的是可以清除大量数据中无效数据。将各类数据库做为基础，在对原始数据进行整理的过程中，需要对数据的威胁信息和报警信息进行标注，从而可以保证基础安全数据的准确性[4]。（2）融合数据。其含义是有效的融合各种各样的数据，从而可以形成属性和类别统一的源数据。再结合行为特征、流量特征等，对同一特征、规律的数据进行融合，最终形成一个共性的数据族。（3）关联数据。首先是属性相似的数据族进行关联，在数据族的一些信息相同的情况下，就可以对数据开展关联工作。其次，在对数据进行关联的过程中，可以根据数据的时间顺序进行关联，比如在某些数据中，具备时间顺序的特征，就可以建立关联。通过数据之间的关联，可以重新组织原始数据，并且还可以对数据的关系进行分析总结，从而形成数据关系图。
　　3.2 设计计算模型
　　（1）数值统计模型。在态势感知数据源中含有大量的交互IP、用户行为等数据信息，在这些信息的统计特征当中，可以保证表达网络动作的完整性，而在这些网络动作当中，在运用传统方式进行匹配的过程中，是非常不容易被发现的。因此当数据都表达了同一种网络行为的时候，而且这个行为属于网络攻击的范围之内，那么就可以通过数值统计的方法来发现[5]。（2）算法挖掘模型。在算法挖掘模型数据当中，是根据现有的分析算法，对数据进行挖掘，从而可以发现存在的隐藏风险，其中主要包括的算法：基于统计学方法的度分布计算、基于PageRank的頂点分析算法[6]。基于统计学方法的度分布计算：通过运用此算法，不仅可以掌握数据关系中的节点个数，同时还可以了解节点度的分布曲线。进而能够发现，某一时间段内，活跃人员数量及规模、热点服务器、高危漏洞、严重病毒等，通过运用该算法，可以确定整个数据需重点重视的目标。基于PageRank的顶点分析算法：该算法的核心在整个网络访问的IP网页得到了广泛的应用，这就是属于该算法重点注重的对象，通过运用该算法，可以发现网络中包含的重要信息[7]。
　　3.3 分析安全数据
　　分析数据是基于上述模型的基础之上，对数据进行实时分析和离线分析，进而分析出数据的流向、层次、行为等，这样可以在数据中发现存在的风险，其中主要包括了两个部分：实时分析和离线分析。
　　（1）实时分析。在进行实时分析的过程中，就是对数据进行实时分析，但是在实时分析当中，需要搭建Spark框架，而在Spark中，是运用内存计算的方式，对数据进行大批量的流处理，拥有非常高的并发处理能力、计算能力，因此适用于实时分析计算。实时分析计算中流式计算模型和MapReduce调度计算有着很大的不同之处，流计算可以实现数据的实时处理，可以根据计算范围的情况，对模式进行合理的扩展，保证处理数据计算任务之间关系的灵活性。在实时分析模型当中，需要分析处理在线收集的即时数据，这样可以保证现场处理的有效性，这样就会弱化对安全事件的分析结果准确度要求。在实时分析中，其主要的功能包括了判断威胁类型、挖掘安全事件，这就可以及时的发现存在攻击行为，并且进行预警。而对不能确定的事件，需要交给离线分析进行处理。（2）离线分析。在离线分析中，与实时分析进行比较的情况下，其驻点是反复挖掘数据库的历史数据，并且还需要进行分析和计算，从而保证深入使用数据的最大化。在离线分析模块中，需要收集数据库中全部的历史数据，并存放在数据库中，其中包含了实时分析模块转接的疑难数据。在离线分析模块中，需要对已知安全事件仓库进行维护，在安全事件的来源当中，不仅包括了实时分析的结果反馈，同时还包括离线分析的结构反馈。在对引擎进行挖掘的过程中，需要有效的结合事件仓库，可以更加深入分析和挖掘数据库中的数据，然后对于最新的挖掘结果而言，需要传递到安全事件处理模块中，对挖掘结果进行处理，同时对于新挖掘的事件，需要保存到事件仓库当中[8]。离线分析模块在数据库中提取有效安全事件分析，判别其威胁的类型，在对分析挖掘进行联合的过程中，不仅需要运用数据库中的原始数据集，同时还需要利用数据库中的已知安全事件，然后对多个安全事件的联系进行分析，并根据此联系形成新的安全事件。通过离线分析和实时分析的有效结合，可以保证建立大数据分析引擎的完善性，不但能够对进入系统的实时数据进行现场的分析挖掘，做到第一时间的预警，同时也能够对历史数据进行更深层次的分析挖掘，并通过分析找出存在的安全隐患，预判未知的威胁。
　　4 态势感知在预警业务中的应用
　　态势感知在预警方面主要有着以下三点运用：一是，通过对大数据的分析挖掘，实现网络安全威胁自动预警，防止受到木马传播、仿冒钓鱼等攻击。二是能够实现对重要系统的实时监控，比如对政府部门、事业单位的官网等进行实时全方位的监测，防止网页被篡改、服务器被攻击等现象的发生。三是实现对网络风险的预警及感知，能够对网络攻击行为、安全隐患等进行分析总结，使人们对网络风险有一定的理解并加以预防。
　　5 结束语
　　态势感知是网络对抗预警的重要组成部分，能够从安全数据中分析挖掘出安全风险。本文对当今网络攻击方式和防御需求进行分析，阐述了在大数据技术的应用背景下网络安全的优势，并提出了大数据技术网络安全态势感知平台概念，从多个方面分析了构建此平台的优势以及平台的功能，希望能够帮助更多的单位、企业做好网络攻击防范预警工作。
　　参考文献：
　　[1]董超，刘雷.大数据网络安全态势感知中数据融合技术研究[J].网络安全技术与应用，2019（7）：60-62.
　　[2]卢庆，文卫疆，陈新.大数据技术支持下的网络安全态势感知技术探究[J].网络安全技术与应用，2018（10）：63-64.
　　[3]伍黎明.基于大数据分析的网络安全态势感知技术及评估方法研究[J].电子元器件与信息技术，2018（9）：49-51，101.
　　[4]邓晓东，何庆，许敬伟，等.大数据网络安全态势感知中数据融合技术研究[J].网络安全技术与应用，2017（8）：79-80.
　　[5]付玮.大数据时代背景下的网络安全策略研究[J].网络安全技术与应用，2019（10）：15-16.
　　[6]许暖.基于大数据背景下分析网络安全态势感知关键实现技术探索[J].数字化用户，2019，25（1）：179-180.
　　[7]李若愚，张新跃，张晋豪.网络安全态势感知系统架构浅析[J].信息记录材料，2019，20（8）：101-102.
　　[8]胡志军.基于大数据的网络安全态势感知平台的应用思考[J].金融科技时代，2019（10）：44-46.
转载注明来源:https://www.xzbu.com/1/view-15180096.htm