浅谈大数据技术在网络安全分析中的应用

韦俊旭

（广州南洋理工职业学院，广东 广州 510900）

一、大数据技术与网络安全分析概述

现代计算机互联网已经发展成为当前和未来支持、引领中国经济快速发展的重要动力，它促进了社会主义生产和人民生活方式的变化，激发了网络市场的活力，为促进我国生产发展和科技进步增添了新动能。但同时我们也需要更加意识到，随着现代计算机互联网、特别是智能移动互联网在我们这个世界中广泛普及与应用,在互联网的世界中每一天都有可能会产生大量网络信息材料。这些网络信息材料形式多种多样,来源繁琐,甚至还掺杂着大量可能会直接危及我们的个人隐私、威胁我们国家安全的信息,再加之勒索病毒、木马和部分黑客恶意侵害和威胁的影响,网络安全问题也变得愈发严重,这对于网络安全的分析工作提出了一种新技术要求。

大数据技术作为一种新兴的网络安全信息处理方法和手段，在收集和处理网络安全信息方面表现出了其巨大的规模性、多样性、结构和形式独特的特点和优势。而且，我国的网络安全大数据技术还处于不断发展和完善的历史阶段，技术和能力都在不断提高和升级，这直接决定了其在网络安全信息分析领域的广泛应用。

二、大数据技术在网络安全分析领域的应用意义

（一）网络安全分析应用大数据技术的重要性

为了改善和提高互联网网络信息安全的精度和准确率，就必须采取更多的方法。网络安全分析中利用大数据技术在网络上的应用主要集中于分析数据，传统的对于数据信息进行传递的技术已经满足不了越来越多人日益扩展的需求。而且大数据技术可以在海量、没有一定规律的信息处理中仍旧能够很好地保证其效率与准确度，这些都是传统的信息技术所做不到的。因此为了有效地保障信息安全，就必须要求大数据技术在企业中得到广泛的运用。大数据技术可以有效地提升网络安全性分析系统的内部存储和管理能力。由于网络的信息复杂、巨大，要把这些海量信息进行集中、分析和存储，这就必然需要互联网和大数据技术的协助。并且，大数据技术在网络安全方面的运用，可以有效地降低网络维护和安全管理的成本。大数据所采用的结构化数据库方式较之于传统结构化的数据库方式效率更好，对硬件的要求低，成本更低。

（二）大数据技术在网络安全分析领域的应用优势

1.分析资料更加详实

网络安全问题涉及到诸多影响因素，涉及到与整个网络运行密切相关的各种流程和节点。它要求我们广泛收集和分析网络世界中可能产生的各种海量信息数据。然而，传统的大数据分析技术不能完全满足这项技术的要求。一般只围绕具体问题收集和分析数据，这严重制约了网络安全分析结果的准确性，其工作价值无法得到保证。

大数据技术的发展是为了有效解决网络上数量众多的、非结构化数据的采集和处理问题。利用这项技术，我们可以广泛收集和处理网络世界中人类产生的各种海量信息，这显然在很大程度上增加了丰富的分析数据，我们的研究结论也变得更加可靠。

2.提升分析效率

与其他大数据技术方法相比，传统的数据处理方法和手段主要是处理具有结构和形态多样性的大规模复杂信息，分析和处理这些数据的效率相对较低。我们的网络安全分析基于移动互联网的应用领域。网络世界的每一个地方都会收集到大量与安全密切相关的信息，这就导致了以往传统数据处理技术中所存在的不利局面，阻碍了我们工作效率的提高。基于此，要加强大数据技术在互联网安全分析等新技术领域的实际应用，特别是加强基于大数据技术的信息分析平台的建设和运营，通过分布式数据采集获得的各种海量异构数据资源进行分布式存储和并行计算，全面提升大数据的综合处理能力和效率。

3.降低数据处理成本

信息数据的采集可以通过对现有的网络基础设施进行微小的改动直接实现，信息数据的采集可以通过移动终端直接完成。由于大部分数据处理任务都安装在云端，本地人员无需部署大量计算机和计算机分析资源，有效降低了系统的运营成本。

4.提升分析结果的可靠度

与传统的数据处理技术主要针对特定问题、进行无限有限的数据采集和分析相比，大数据技术的优势在于在数据吞吐量方面具有海量数据的特点。它使我们能够广泛收集与当前互联网安全密切相关的各种信息，也可以从不同层面收集、对从不同角度收集的数量众多的异构化数据进行耦合分析，计算结果明显更加准确，比从单个角度和围绕特定问题计算的结果更准确和完整。

（三）大数据技术在网络安全平台中的构架方案

根据网络安全分析的特点，大数据技术的安全防护平台构架方法如下：第一，在大数据技术中的数据采集层中，系统会按照分布式的方法进行数据流以及用户信息的采集，并及时发现网络安全系统中的隐患；第二，大数据存储层，对于该种网络平台系统，通过大数据技术的运用，可以将分布式文件系统的构建进行处理，确定长期、全量的信息存储方案，并利用结构化以及非结构化的平台进行数据资源的统一存储，提高网络安全的管理效率。第三，将大数据技术运用在网络安全平台中，通过数据挖掘分析层的设计，系统会按照网络安全分析状况，进行数据的实时分析以及安全事件的挖掘，避免网络异常现象的出现，提高各项网络安全数据的处理效率。第四，在数据呈现层的设计中，通过大数据技术的结构化处理中，不仅可以进行网络安全数据的查询及定位处理，也可以利用多维度的方案确定网络安全的运行状态，充分保证网络系统的安全、稳定运行。

三、大数据技术在网络安全分析中的应用

（一）信息的采集

在对数据分析过程中可以将信息的采集作为基本条件，需要结合网络安全的需求科学合理的采集数据信息，大数据技术在信息采集阶段的应用十分必要，信息采集作为信息整合与分析的前提基础，完善采集工作板与后续工作的顺利开展。在大数据技术的采集阶段应用汇总，其常见的技术手段有Flume、Kafka、Storm 技术，以便于大数据进行各种分布式的采集。这种数据采集的方式比较高效，其采集的速度可以达到每秒内数百兆左右，从而使得它们在对各种日志数据信息等进行处理的过程中得以获得显著地成效。这几项信息采集技术的应用会将所采集信息中有价值的信息分离出来，再讲分离出来的价值信息进行重新整合与分析，最终生成数据报告和完成数据传输工作。需要强调的是，在最终生成的数据传输工作前，其数据要进行检查和分类，确保数据格式的正确性能够符合消费者所需服务的要求。

（二）信息的储存

能否有效地存储安全的信息和数据，是我们衡量网络安全分析的一个重要产赵武，信息的收集和存储对于互联网网络安全的分析来讲很重要，而且在实际中运用到了大数据技术就能够通过多种形式采取不同的存储手段来处理和应对不同类型的信息和数据，从而大幅度地提升了数据的查询与存储的顺利性以及其工作效率。在信息的存储过程中，必须要考虑到数据信息的类别和数量，信息的存储一方面要确保数据信息分类的科学性，另外，在存储量上一定要确保容量，确保数据存储的安全稳定不易丢失，只有明确好这些点才能够选择最为合适的存储方法，以便提高数据的查询速度和存储效率。在网络组织架构的计算过程中，必须要考虑到安全实施的标准，把分布式作为依据，在数据的设置和分析过程中，要注重节点上的计算，使用脚本挖掘来更好地分析网络的安全级别，通过列式的方式存储数据，把需要分析的数据资源放到每一个计算的节点中，系统在此就会对其进行快速的分析，并且完成信息的统计工作，最后再通过流式的方式把分析的结果放在数据库当中。

（三）数据的检索

数据的检索是在数据分类存储的基础上进行的，通过对数据信息进行检索有利于促进网络安全数据分析工作的顺利进行，科学合理的检索信息，从而使得使用者通过查找关键词的方式即可查询到所需数据信息，能够提升网络安全分析的性能，同时在数据分析质量提升方面起着举足轻重的作用。在开展网络安全分析工作过程中，有必要检索数据信息，通常使用MapReduce 方法对数据进行检索，把提出的查询请求传送到各个处理节点，然后将查询请求进行有效处理，接着采用分布式计算，可以加快相关数据信息的检索。检索速度的提高有利于促进网络安全数据分析工作的顺利进行，同时在网络安全性能提升方面发挥着至关重要的作用。

（四）数据的分析

数据信息的分析是指对于收集存储信息的梳理和预判，数据的整理和预判大致可以划分为两类，一种是对于实时数据的整理和预判，另一种则是对于历史资料的整理和预判。结合考虑到网络安全问题，对于网络中实时信息和数据的分析我们可以采取流式进行计算，然后利用关键分析算法、CEP 技术等手段来辅助进行分析，最终分辨出当下传播的信息是否属于或可能成为网络安全问题。对于历史数据的分析，主要使用分布式存储和计算方法。为了深入分析网络中的历史数据，我们还可以考虑在处理时使用分布式存储和计算方法。这种信息处理方法是为了更好地深入收集数据，规避风险，从而有效判断当前或未来需要收集的信息，实现网络安全控制。

（五）构建基于大数据分析技术的网络安全平台

在了解各种网络安全设备、构建一套网络安全防护体系的基础上，我们还需要构建基于大数据分析技术的网络安全平台。网络安全平台的建设分为数据采集层和数据处理层。数据信息采集层分为数据信息分析采集层和大数据技术信息存储层，数据处理层分为数据挖掘层、分析层和显示层。在这些层面内能够对所得到用户各式各样的数据信息展开逐一分类，以方便对这海量数据的量化存储。至于展示层就是通过大数据分析技术对数据进行特定的检索，并将其可视化，最后将安全规范数据多维度的空间模型来呈现网络的安全性。基于大数据分析技术网络安全平台的构建在运行期间通常会采用Hive 的方式来统计和分析所得到的海量数据，通过分析、检索得到的数据可存储在HDFS 内。对于数据挖掘层而言，可采取基于Hadoop 技术的机械化数据挖掘技术(对于海量的静态数据而言，Hadoop 技术对数据的处理速度要远远大于Spack 技术)，对于海量数据进行深度挖掘与整理，并且能够按照数据分析所引用的事件流来进行特殊化分析工作。在最后可以采用CPE 技术来对平台内的不同类型、不同时间的数据加以分析，并且能够较好帮助建设关系库，从而更好实现平台对数据处理的整体性，以保障网络环境的安全与防范。

四、结束语：

我们国家的经济社会正在蓬勃发展,科技也正在飞跃。而这种网络安全的问题其实也就是一种网络信息安全的问题。任何一项个人信息在互联网上的披露对我们个人、社会都有很大的威胁。传统网络安全分析方法采用的技术已经不适合当今时代的技术水平。大数据技术的深入应用已经是中国移动互联网迅猛发展的一个重要象征。大数据技术目前应用广泛,效果明显，能有效提高工作效率，节约成本。将先进的大数据技术应用于网络安全分析，可以有效提高网络安全性，为用户提供良好的生活和工作环境。