一种入侵检测警报关联分析方案设计

张冬芳 张茹 李斯祺

摘 要：针对当前入侵检测的攻击警报误报率高、关联性差的问题，设计一种基于多维度的IDS警报误报消除算法，利用粗糙集理論设计一种新型警报聚合算法，通过改进警报因果关联算法，提出新型警报关联算法，简化原有关联算法的复杂度，提高警报关联的效率，为持续性网络攻击（如APT攻击）分析提供数据支撑。

关键词：误报消除；关联分析；聚合算法

中图分类号：TP393.0 文献标识码：A

Abstract： Aiming at the problems of high false alarm rate and poor correlation of attack alerts in intrusion detection， a multi-dimension IDS false alarm cancellation algorithm is designed， a new alarm aggregation algorithm is designed based on rough set theory， and a new alarm association algorithm is proposed based on the improving causal association algorithm， which makes the original association algorithm simpler and more effective. The new association algorithm can provide the data support for the APT attacks.

Key words： false alarm cancellation； association analysis； aggregation algorithm

1 引言

当前的网络安全防护，主要通过访问控制、身份认证、数据加密、边界防护和入侵检测技术等措施实现，网络中部署的安全设备，如防火墙或入侵检测系统（IDS）等用以检测或防止各种网络攻击行为，但很多入侵检测系统只能对攻击过程中的单个攻击行为产生报警，展示的是系统所检测到的原始事件，不能展示隐藏在这些原始事件背后的关联关系和最终意图，因此如何在大量无用的告警之中提取出关键信息，并且将孤立的警报进行关联分析，使其更精确、更全面地反映出网络的安全状态，也是目前的研究热点之一。

基于此，论文以IDS产生的告警日志作为研究对象，针对IDS产生的告警信息误报较多，且警报间无明确关联信息等问题，开展警报的误报消除、警报聚合和警报关联技术研究，对警报进行多维度特征消除误报，结合粗糙集理论和因果关联算法实现警报聚合和关联分析，从而为持续性网络攻击（如APT攻击）分析提供数据基础。

2 技术思路

目前，在基于IDS日志检测持续性网络攻击方面，大部分的IDS只能对单步的攻击进行报警，并且IDS告警信息误报多。基于此，针对IDS产生的告警信息误报较多，且警报间无明确关联信息等问题，通过统计、分析IDS告警日志，利用误报和真实警报的特征区别，设计一种IDS警报误报消除算法，消除警报中的大部分误报；利用粗糙集理论，设计一种新型警报聚合算法，通过对警报从多个维度不同层次进行聚合，提高警报聚合方法的精确度；通过改进警报因果关联算法，提出新型警报关联算法，简化原有关联算法的复杂度，提高警报关联的效率。

3 算法实现

3.1 误报消除算法研究

IDS产生的告警日志存在大量的重复报警，如果不加处理直接进行关联分析，将会浪费大量的资源和时间，而且会影响关联分析结果的准确度。对IDS告警日志进行安全特点分析后发现，相关或相似的警报在警报密度、周期性以及时间长度上具有很强的关联性。因此，论文在对大量真实警报和误报进行特征分析的基础上，分别从三个维度对IDS警报进行特征提取和分类分析，从而实现对IDS警报的误报消除，为后续警报聚合和关联分析做好数据基础。

3.2 警报聚合算法研究

当前聚合算法种类繁多，然而在实际运用中发现，随着IDS的不断演变，以及攻击类型和复杂度的不断变化，IDS警报出现的属性分类也不断变化，因此单一的属性相似度已经无法满足警报聚合的要求，论文基于粗糙集理论设计基于相似度的警报分层聚合算法，使警报聚合算法更适合APT等复杂攻击的阶段性特征。

对于APT攻击场景重构来说，聚合算法必须尽可能将一步攻击行为的多个警报聚合在一起，但是传统基于粗糙集的算法无法完成这一任务。这主要是因为在传统粗糙集算法中对警报的时间属性采用了分片的处理方式，聚合算法只会对数秒的时间切片内的警报进行，但是对于一般的攻击来说单步行动并不一定会在数秒中完成，而且一步行动可能会跨越两个时间切片，这就导致传统算法只是减少了警报数量，而无法真正做到将一步攻击行为的多个警报聚合在一起。

针对该问题，论文通过某种时间处理方式来改进基于粗糙集的聚合算法，并以此算法为基础，在实施过程中加入分层考虑特征属性值的模块。通过在不同的属性上，依据不同聚合方法来对警报信息进行聚合。在发挥基于属性相似度警报聚合方法原有优势外，规避掉其聚合方法单一的问题，提高聚合准确度。

通常IDS产生的警报具有“开始时间”和“持续时间”两个属性，如图2所示。

图2中，t1s、t2s分别表示警报1和警报2的开始时间，t1d、t2d分别表示警报1和警报2的结束时间，当t2s-（t1s+t1d）小于阈值tth时，判定两个警报可以进行聚合。

其中ti为某一类警报中所有可能出现的间隔，ni表示ti间隔出现的次数。

这里为tth设定了tMAX（一般tMAX=60）的上限，主要是考虑到如果攻击者在某一步中采用脚本攻击的基础上又对攻击结果进行分析时，会对警报的时间间隔造成影响，从而使得本不应该聚合的警报发生了聚合。

論文改进粗糙集算法，判定只有满足时间阈值和相似度阈值两个条件的警报之间才进行聚合，既保证了警报之间的相似性，又能使单步行为的多个警报不会被时间切片分割，这就保证了尽可能地将一步攻击行为的多个警报聚合在一起。

基于属性相似度将IDS警报分为四层：

第一层，根据告警日志的源IP地址将警报数据进行聚类，可分为五大类；

第二层，在IP地址聚类内部根据攻击类型进行聚类；

第三层，在每一个类型聚类内进行属性相似度计算，根据计算结果继续聚合；

第四层，通过计算不同的警报聚类之间的攻击距离，将小于设定阈值的警报关联到一起，形成新的聚类，如图3为算法步骤。

3.3 警报关联算法研究

在APT等复杂网络攻击中，通常下一步攻击需要上一步攻击所获得的权限或信息，因此多步攻击的攻击步骤必然在时间上有先后顺序，因此“时间顺序”是警报的内在联系之一。但是只依靠时间顺序对警报进行关联会存在问题：警报中含有不同攻击者对不同目标发起的攻击，如果只按照时间顺序进行关联，得到的关联结果仍然是混乱且没有任何意义的。论文研究一种反向因果关联算法，通过确定攻击者和攻击目标的关系保证关联结果的准确性。它与因果关联算法的区别在于，它在进行关联时，是首先从攻击的最后一步开始，一步一步往前溯源，直到找到最开始的一条攻击，这样做的好处是提高了因果关联的效率，优化了因果关联的时间复杂度和空间复杂度。

反向因果关联算法的分为几个步骤。

第一步：根据常见的多步攻击可以将攻击类型分为：扫描类攻击、漏洞利用类攻击、权限提升类攻击、拒绝服务类攻击四种，如图4所示，这四种攻击从时间和逻辑上是有一定先后关系的，因此可以作为关联分析的基础。

第二步：将警报中的各项警报按照这四类进行归类。如将ICMP_Ping_Sweep攻击、IP_Sweep攻击、Port_Sweep攻击等归类在扫描类攻击里，将SQL注入、XSS注入、弱口令登录等归类在漏洞利用类攻击里。

第三步：根据分类好的警报，先从最后的拒绝服务类攻击开始，选择Alert a，然后利用因果关联分析的方法，在设定的时间范围内选择权限提升类攻击中的警报Alert b，Alert b满足其攻击结果与Alert a的攻击前提是相匹配的。找到此Alert b后，再在设定的时间阈值范围内从漏洞利用类里面匹配攻击结果与Alert b的攻击前提相匹配的警报，以此类推，直到找到再扫描类攻击里所匹配的警报，完成一次关联分析。

4 结束语

警报分析是攻击场景挖掘和安全态势评估的基础。课题综合利用多种数学理论和深度学习算法改进误报消除算法、警报聚合算法和警报关联算法，使警报分析具有层次化特点更适合APT阶段性特征，从而提高警报分析的准确性。

参考文献

[1] 邹柏贤，刘强.基于LSSVM模型的网络流量预测[J].计算机研究与发展，2010，39（012）.

[2] BLUM M. How to exchange （secret） keys [J]. ACM Transaction on Computer Systems. 2008，（1）：175-193.

[3] ZHANG Xiao-song， NIU Weina， YANG Guowu， et al. Method for APT Prediction Based on Tree Structure[J]， Journal of University of Electronic Science and Technology of China， 2016， 45（4）：582-588.

[4] CHEN P，DESMET L，HUYGENS C. A Study on Advanced Persistent Threats[C]. Communications and Multimedia Security Berlin，Heidelberg：Springer，2014：63-72.

[5] SkyEye： OceanLotus APT Report [2015-05-29]， https：//ti.360.net/static/upload/report/file/OceanLotusReport.pdf.

[6] Feng Xuewei， Wang Dongxia， et al. A Mining Approach for Causal Knowledge in Alert Correlating Based on the Markov Property[J]. Journal of Computer Research and Development， 2014，51（11）：2493-2504.

[7] FU Yu， LI Hongcheng， WU Xiao-ping， WANG Jiasheng. Detecting APT attacks： a survey from the perspective of big data analysis[J]. Journal on Communications， 2015，36（11）：1-14.

[8] S. Noel， S. Jajodia， Advanced vulnerability analysis and intrusion detection through predictive attack graphs， in： AFCEA09： Critical Issues in C4I in Armed Forces Communications and Electronics Association Solutions Series， IEEE， 2009， pp. 1–10.

[9] Choi C， Choi J， Kim P. Abnormal behavior pattern mining for unknown threat detection[J]. Computer Systems Science & Engineering， 2017， 32（2）：171-177. [090].