高速网络入侵检测中流量数据约简研究

摘要： 高速网络数据庞大且高维度，网络入侵检测系统要面对流量数据约简的问题。如何有效地实现流量数据约简是网络入侵检测系统需要研究的一个重要问题。文中首先介绍网络入侵检测中流量数据抽样和特征降维基础;然后从网络流量数据抽样和网络流量特征降维两个方面总结了网络流量数据约简研究进展;最后阐述了网络入侵检测中流量数据约简研究的未来发展趋势和面临的挑战。文中所研究的流量数据约简为进一步探索网络流量测量和网络空间安全提供参考和借鉴。

关键词： 网络入侵检测; 流量数据约简; 流量数据抽样; 流量特征降维; 网络安全; 发展趋势

Abstract： The high?speed network data is huge and high?dimensional， so the traffic data reduction is of great concern to the network intrusion detection system. How to effectively implement the traffic data reduction is an important issue that needs to be studied for the network intrusion detection system. The traffic data sampling and feature dimension reduction basis in network intrusion detection are introduced. The research progress of network traffic data reduction is summarized in two aspects： network traffic data sampling and network traffic feature dimension reduction. The development trend of traffic data reduction research in the network intrusion detection and the challenges to it are described. The network intrusion detection researched in this paper  provides some references for further exploring network traffic measurement and network space security.

Keywords： network intrusion detection; traffic data reduction; traffic data sampling; traffic feature dimension reduction; network security; development trend

0  引  言

随着通信技术的不断发展，网络已渗透到各个社会领域，互联网上的攻击手段更加隐蔽、更加智能。在高速网络环境中，网络入侵检测过程需要获取、处理和传输海量的网络流量数据，如何实现在线实时地异常入侵检测是网络安全监控领域的一个热点和难点。

网络安全领域的分类问题由于数据量极其庞大且高维度，导致入侵检测的分类器过于复杂，因此不少入侵模式并不能被准确检测到，且网络入侵检测效率较低，无法满足高速网络环境下大规模异常入侵检测的实时性要求[1]。为解决上述问题，需要对网络数据流量进行实例抽样约简优化和特征降维约简优化，从海量数据集中抽象出最相关的信息，降低复杂度以获取更好的知识抽象[2]。减少攻击检测的存储和计算压力和提高攻击检测的检测效率和精度。网络流量数据约简方法的好坏直接影响入侵检测的结果[3]。如何有效地实现网络流量数据约简，以提高网络入侵检测系统的性能已成为许多研究的焦点。

1  网络入侵检测中流量数据约简

网络入侵检测通常包括四个步骤：数据抽样、特征构造、模型构建和异常检测[4]。数据约简就是在尽可能保持原始数据完整性的前提下，最大限度地精简数据量，去除冗余数据，保留有价值数据，缩小数据挖掘所需的数据集规模[5]。网络入侵检测中的流量数据约简的常用方法包括流量数据抽样和流量特征降维，分别通过网络流量数据集中数据量的减少或维度的减少，来达到降低数据规模的目的。

1.1  网络流量数据抽样

网络流量数据抽样是统计学方法在网络流量测量领域的应用。无论是主动测量还是被动测量， 随着流量速率的增加， 分析全部的网络流量分组已经变得越来越困难，一种可行的解决办法就是使用网络流量抽样技术。网络流量抽样是数据量缩减和保留原始数据细节的折衷。选择合适的网络流量抽样方法可以减少工作量，并能在一定程度上反应网络的全局特征[6]。高速网络入侵检测中，按照合理的抽样规则，通过从整体网络流量中抽取部分有代表性的网络流量数据， 然后将抽取到的结果进行科学合理的分析，推断原始网络流量数据的特征，以此来估计整个网络的特性，掌握整个网络的行为特征，进而发现网络攻击[7]。因此，网络入侵检测中的流量数据抽样是一种有效且值得研究的技术。

1.2  网络流量特征降维

特征是指一个对象的某方面性质或特性，一个对象是由若干个特征来描述的。高速网络中网络流量数据可由成百上千个特征来刻画，其中某些特征可能是不重要的，或不相关的， 或已经包含在其他特征中， 甚至包含了错误的相互关系[8]。因此，需要对网络流量数据进行特征降维约简优化。网络流量特征降维旨在减少网络流量数据集的维度随机变量的数量，有两种众所周知的方法，即网络流量特征选择和网络流量特征提取。特征选择通常是选出重要的特征的维度，并抛弃不重要的维度;而特征提取则是更广泛意义上地把一个高维的向量映射为一个低维向量，得到的结果特征值已经不一定是原始的值。特征选择保留了训练样本的原始物理意义，但是当数据间相似的依赖性很强时，检测冗余信息对计算要求非常高;特征提取将原始高维特征空间映射到新的低维特征空间，可以有效地去除冗余和不相关特征[9?10]。

5  结  语

网络流量数据约简在网络入侵检测中应用非常广泛且重要。本文对高速网络环境下网络入侵检测中流量数据约简的基本概念、研究进展和发展趋势进行论述、总结和展望。面对新问题研究新方法，进一步探索高速网络入侵检测中流量数据约简的理论和技术，对于网络流量测量和网络空间安全的研究和发展具有重要意义。

参考文献

[1] 姜滨.基于特征选择的网络入侵检测模型[J].现代电子技术，2019，42（1）：87?90.

[2] 胡志刚，李佳，郑美光.云环境下面向负载均衡的数据密集型工作流的数据约简策略[J].计算机应用研究，2019，36（8）： 2410?2414.

[3] 陈良臣，刘宝旭，高曙.网络攻击检测中网络流量数据抽样技术研究[J].信息网络安全，2019，19（8）：22?28.

[4] WANG W， HE Y Z， LIU J Q， et al. Constructing important features from massive network traffic for lightweight intrusion detection [J]. IET information security， 2015， 9（6）： 374?379.

[5] 杜嘉薇.网络安全态势感知：提取、理解和预测[M].北京：机械工业出版社，2019.

[6] 张忠琳.网络质量探测应用的研究[D].北京：北京邮电大学，2015.

[7] SU Liya， YAO Yepeng. Hierarchical clustering based network traffic data reduction for improving suspicious flow detection [C]// 12th IEEE International Conference on Big Data Science and Engineering. New York： IEEE， 2018： 1?3.

[8] 郭春.基于数据挖掘的网络入侵检测关键技术研究[D].北京：北京邮电大学，2014.

[9] 曹杰.基于SVM的网络流量特征降维与分类方法研究[D].长春：吉林大学，2017.

[10] YAO Yepeng， SU Liya， LU Zhigang. DeepGFL： deep feature learning via graph for attack detection on flow?based network traffic [C]// MILCOM 2018?Military Communications Conference. Los Angeles： IEEE， 2018： 579?584.

[11] 董书琴，张斌.一种面向流量异常检测的概率流抽样方法[J].电子与信息学报，2019，41（6）：1450?1457.

[12] 刘珍.互联网流量分类中流量特征研究[J].计算机应用研究，2017（1）：8?14.

[13] DONGHWOON Kwon， HYUNJOO Kim， JINOH Kim， et al. A survey of deep learning?based network anomaly detection [J]. Cluster comput， 2019， 22（1）： 949?961.

[14] ANUSHA K， SATHIYAMOORTHY E. Comparative study for feature selection algorithms in intrusion detection system [J]. Automatic control and computer sciences， 2016， 50（1）： 1?9.

[15] 陈良臣，高曙，刘宝旭，等.网络加密流量识别研究进展及发展趋势[J].信息网络安全，2019，19（3）：12?25.