基于大数据分析的网络安全态势感知技术及评估方法研究

伍黎明

（湖南电子科技职业学院，湖南 长沙 410000）

0 引言

自我国普及网络以来，网络安全问题一直是首要问题。根据数据显示，我国网络安全面临多方面的威胁，提高网络安全防范已经刻不容缓。大数据和云计算信息技术时代的来临，标志着计算机模式的变革，数据信息应用的变化，协同计算能力的提高，也对网络安全问题提出了更加行之有效的策略。

1 网络安全防御存在的问题

我国网络安全体系包括P2DR安全运维模型、线式防御模型和立体防御模型[1]。基于这三大模型，安全产品体系得到了有效保障，但是任何人都无法保证安全领域百分之百安全，任何一种产品都达不到防御所有攻击的效果。那么，传统安全防护理论和产品对于防范病毒、攻击、已知威胁或未知威胁，它们的步骤都是从发现、分析、形成特征规则，再对威胁进行防御。这种模式的应用需要软件的不断升级和优化，对于设备来说，其内存就存在问题，要想解决存储问题，可以裁剪特征库，但是这样一来，就容易出现更多的安全问题。无论如何，传统安全防护模型存在着对网络安全的已知、未知威胁无法检测和感知，也不能有效防御，更不能溯源分析等问题，这些问题导致许多潜在、微小、孤立的问题扩展成大的安全问题[2]。

2 基于大数据的网络安全态势感知平台

2.1 态势感知技术架构

网络安全态势感知平台的数据采集涉及到了防御链中各个安全数据。首先，收集威胁信息，统一存储这些信息，建立安全数据库；其次，结合安全规划、安全模型、分析算法等，对数据库的安全问题进行分析；再次，利用大数据对已知的网络威胁情报进行分析；最后，基于威胁情报，分析如何对网络风险预警和感知、可视化态势的系统进行有效应用。从这一防御链可以看出，整个网络安全态势感知技术架构分为3个层次，这3个层次相辅相成，互成体系[3]。

2.2 网络安全威势数据采集与存储

威胁数据的采集与存储涉及到态势感知数据源的采集和大数据存储而形成的数据库。从安全方面考虑，确定一次网络攻击包括认证身份、发现恶意代码、风险报警等环节，这些环节都与网络攻击息息相关，都可以从中发现非法行为特征。那么，当网络安全进行防御的态势感知数据源覆盖整个网络中的各个环节时，与网络安全相关的流量、监测、情报等各类有效数据才能够正常采集和存储起来，以便于后续管理和维护[4]。

大数据存储与管理是指大量感知数据源的存储和管理，例如分布式文件系统、关系数据库系统，这些系统构成了混合式数据仓库，满足了各种数据的需求，包括各类结构化、非结构化、半结构化数据。其存储量可达PB级，例如分布式文件存储系统（HDFS），它具有高容错性、高吞吐量的特性，其文件数据是由可以创建、维护多个副本的数据块组成，能够存储在不同服务器上。同时，基于就近原则和并行I/O，HDFS在分布式环境中有效提高了数据读写能力。本文利用运行在HDFS上的分布式非结构化数据库Hbase，部分分析结果存储在关系型数据库中，数据库间采用Sqoop进行数据传输[5]。

2.3 面向威胁情报的大数据分析

2.3.1 数据预处理

数据预处理是发现威胁情报的主要过程。它可以采用特征抽取、数据融合、关联分析，重新组织原始数据，形成关系图。因此，它包括三个过程：数据清洗、数据融合和数据关联。

2.3.2 模型设计

模型设计是数据分析模型构建的过程。在模型设计过程中，可视化信息，即安全日志和报警数据转化而成的信息，能够形成威胁发现、态势感知机制等。这里的模型主要包括数值统计模型、算法挖掘模型、攻击树推理模型。在数值统计模型中，用户行为、交互IP、网络流量等表现出的统计特征可以表达一个规则匹配、黑白名单、策略控制等方式的网络动作，这些动作行为很难被发现。目前常用的数值统计方法，详见表1。

表1 常用的数值统计方法Table. 1 Numerical statistical method in common use

算法挖掘模型能够挖掘现有的数据，从数据中发现安全风险。算法挖掘模型的构建方法有很多，例如：基于统计学方法的度分布计算算法、基于聚类的相似度分析算法、社区发现分析算法等[6]。

攻击树推理模型是对安全威胁建模的过程，它将这个过程表现为树结构，树的根节点表示网络攻击的目标，叶节点表示可采用的手段，从根节点到时节点的路径表示攻击过程。通过建立攻击树模型，在节点推理的过程中，就可以预测到攻击动作或潜在威胁，攻击树模型如图1所示。

图1 攻击树模型图Fig. 1 Attack tree model diagram

2.3.3 数据分析

结合模型设计，数据分析能够进行实时、离线计算，对流向、行为、层次等进行梳理，包括在线实时挖掘和离线挖掘分析。在线实时挖掘是指分析实时数据。基于SPARK框架，实时在线分析能够对批量数据进行高效和并发处理。离线挖掘分析是指对历史数据反复进行挖掘计算，对数据进行深度加工，并利用ETL技术对数据仓库中的历史数据进行处理[7]。

2.3.4 态势感知和预警业务应用

网络安全威胁报警、重要安全系统的实时监测和网络风险预警等都属于态势感知和预警业务的应用。基于大数据技术，安全态势感知和预警业务成功地应用于网络安全态势感知平台上，且成功上线试运行。集 ETL、Kafka、Hbase、Spark等软件和 100 TB光存储陈列和多台高性能服务器硬件于一体，平台成功构建了大数据存储、分析、计算、扩容等完整服务的集群[8]。

3 态势评估方法分析

目前，态势评估主要分为静态和动态两个类型。静态评估和动态评估的区别在于网络安全状态时间点，前者重在攻击发现前，后者重在攻击发现后；前者侧重于分析和评估存在的风险和安全隐患，主要目的是预防；后者侧重于反映安全问题的指标数据收集，根据数据进行评估或预判。为了进一步对网络安全状态进行评估，各类攻击信息或告警信息都会被分析出其对网络的影响程度。因此，目前有很多研究者对评估方法进行了对比分析，下面本文将着重对基于知识推理的方法和基于统计的方法进行对比分析[9]。

3.1 基于知识推理的方法

基于知识推理（Knowledge-based inference）是指计算机通过模拟人的推理方式，利用形式化的知识，借助概率论、证据理论等，进行思维和求解，得到结果的过程。而网络安全的知识推理主要利用网络状态要素的不确定性，将各种要素和属性融合，借助已有经验进行建模和评估，得出受保护网络的安全态势。基于知识推理的方法可以分为基于图模型和基于证据理论的推理，前者如贝叶斯网络和模糊认知图等；后者如D-S证据推理等[10]。

基于图模型的推理方法利用有向图，将网络中的状态描绘出来，对不确定性因素和信息进行分析，包括数值和非数值的方法，得出攻击行为的影响程度。在实际操作过程中，由于变量之间很难保证相互独立，因此也就增加了推理和存储图的难度，因此，这种方法只适用于小规模的网络环境安全性评估[11]。

3.2 基于统计的方法

基于统计的方法（Statistic-based Model）是指综合评估网络安全影响的态势要素的评估过程的方法。将网络安全态势要素与网络空间映射结合起来评估函数，它的重点在于网络安全态势要素在网络中重要性权值的计算，例如层次分析法（Analytic Hierarchy Process）。AHP利用定性和定量统计方法，将问题按层级分解。同时，层次分析法根据总目标，按层级评估网络安全态势，并按网络安全态势因素间的影响，将各因素进行组合，构建分析模型，将问题归结为提供方案或措施的最低层，计算出整个网络安全态势值[12]。

3.3 态势评估方法对比分析

从准确性来看，基于知识推理和基于统计的方法都能有效评估出攻击行为对网络安全状态的影响程度。而对于同一攻击行为来说，两种方法各有千秋，例如在遇到DOS攻击时，在网络层会出现大量IP数据包，而在传输层会出现大量TCP链接[11]。因此，通过建立更加细化的指标体系，多层面安全态势评估能够识别不同层面的表现。从评估指标粒度来看，网络行为状态不同，对设备的景程程度也不同，脆弱性状态将严重影响服务器，但对工作组的普通主机影响较小。从评估过程中权重确定来看，基于知识推理的方法和基于统计的方法都考虑了资产和设备的重要性，赋予了相应的权值，但在计算方面，存在主观片面性，对准确评估安全态势产生了一定影响。从评估过程中对攻击识别程度来看，两种方法都集中于静态评估，而对攻击行为的变化情况还需要进一步分析。

总之，基于知识推理和统计的方法都具有实时性和自适应性的特点，能够评估网络安全态势的各种安全事件特征，不仅对当前网络安全状态进行评估，还能评估预知的网络行为对网络安全造成的影响。