浅议网络安全分析中大数据技术应用

张宝飞

一、网络安全分析和大数据技术概述

计算机网络已经成为当前和今后支撑并引领经济社会发展的一股重要力量，它使社会生产和生活方式发生了巨大变革，激发了市场活力，为我国的发展和进步注入了新动能。但与此同时，我们也要清醒地认识到，随着计算机网络尤其是移动互联网的普及应用，网络世界中每天都会诞生海量的信息数据，这些数据的形态各异、来源复杂，甚至掺杂了不少危及个人隐私和国家安全的信息，再加上病毒、木马以及黑客的肆虐影响，网络安全问题日益严重，对网络安全分析提出了更高的要求。

大数据技术作为一种新兴的信息处理手段，它在处理大规模、多元化、结构形态各异的信息时表现出了得天独厚的优势，而且大数据技术目前还处于不断发展完善的阶段中，技术能力还在不断地升级改进，这些都决定了将其应用到网络安全分析领域正当其时。

二、大数据技术在网络安全分析领域的应用优势

（一）分析资料更加详实

网络安全问题涉及的因素众多，牵扯到与网络运行相关的所有流程节点，要求对网络世界中产生的各种海量数据进行广泛采集和分析。但传统的数据分析手段无法达成这一要求，一般只是围绕某一具体问题进行资料的收集和分析，这就制约了网络安全分析结果的可靠性，使工作价值无法得到保障。

大数据技术的诞生就为了解决海量、非结构化数据的处理问题，利用该技术可以对网络世界中产生的海量信息进行广泛采集和处理，这显然极大地丰富了分析资料，据此得到的结论也更加可靠。

（二）提升分析效率

与大数据技术相比，传统的数据处理手段在处理大规模且结构形态各异的复杂信息时，数据的分析处理效率偏低。而网络安全分析立足于互联网领域，网络世界中每天都会产生与安全相关的海量信息，这就造成了过去的数据处理技术呈现出了“小马拉大车”的不利局面，为工作效率的提升造成了阻碍。基于此，有必要强化大数据技术在网络安全分析领域的应用，尤其要强化基于大数据技术的信息分析平台的构建和使用，通过对采集到的海量异构数据进行分布式存储和并行计算，全面提升数据的处理效率。

（三）降低数据处理成本

信息数据的采集可以通过对现有网络设施的小幅改动实现，而信息数据的处理则可以交由云端进行。因为数据处理任务主要放在云端，本地不需要部署海量的计算分析资源，从而有效降低了运行成本。

（四）提升分析结果的可靠度

相对于传统数据处理手段大多围绕一个具体问题进行有限量数据的采集和分析，大数据技术在数据吞吐方面具有海量的特性，它能够广泛收集与当前网络安全相关的各种信息，并能从不同层级、不同角度对采集的海量异构数据进行耦合分析，这样得到的结论显然比从单一角度、围绕一个具体问题得到的结果更加准确可靠。

三、应用流程分析

在网络安全分析中，利用大数据技术可以对网络运行的日志数据和流量数据进行整合，并通过综合采用分布式存储和集中存储技术，实现对海量信息数据的聚集管理；在此基础上，进一步应用并行计算、数据挖掘等技术手段，就可以及时观测到涉及安全相关的敏感信息；接着，通过多种层级、不同角度的数据耦合计算，对与敏感信息关联的安全问题进行可靠性验证，为安全问题的及时发现与处理提供依据。显而易见，通过应用大数据技术，网络安全问题的主动识别和处理能力将得到有效加强。具体应用流程如下。

（一）数据的采集和存储

一方面，通过应用分布式采集和存储技术，加强对网络运行日志数据的收集工作；另一方面，可以对当前的网络设施进行改造，对涉及安全运行的一些关键网络节点，应重点提升监测能力。数据的采集是大数据产生的前提和基础，其覆盖是否全面、信息量是否足够丰富，将对最终的网络安全分析结果产生重要影响。

（二）采集信息的预加工

利用大数据技术收集到的信息具有体量规模庞大、结构形态各异、数据来源复杂的特点，如果不加以甄别处理，就会使数据分析工作无从下手，增加了数据处理的盲目性。此时就需要依据数据的结构形式，构建分门别类的信息预加工库。针对特定数据，调用相应的数据预加工策略，从而使采集到的数据由体量庞大、混乱无序、价值隐性向规模较小、有序、价值显性的方向转变。

（三）模型分析

数据经过预加工后，会被大数据处理模型识别，从而进入数据处理阶段。基于大数据技术的网络安全分析模型是建立在分布式计算、并行计算以及信息融合的基础之上。分布式计算可以实现对采集数据的就近分析处理，与分布式存储联合应用可有效提升数据处理效率，并降低大数据处理中心的业务压力；并行计算可以保证信息数据的聚集分类与计算处理同步进行，提升数据处理的实时性；信息融合技术主要瞄准采集数据结构形态各异的特点，通过信息融合与耦合计算，可以挖掘到信息数据的本质特征，为挖掘信息安全的本质特征并加以验证提供了有效手段。