网络数据流量分析研究

河南中烟工业有限责任公司许昌卷烟厂 王新峰



网络数据流量分析研究

河南中烟工业有限责任公司许昌卷烟厂 王新峰

【摘要】随着现代卷烟工业园区的不断建设与发展，厂区的网络结构也采取了最新的网络技术，整个厂区的网络区域分为：核心区、管理业务服务器区、生产业务服务器区、互联网区、广域网区、安防网区和生产网区，其中生产网区下面又接入了：制丝中控网络、卷包中控网络、生产视频监控、动力能源和物流自控等网络区域。整个厂区的网络规模复杂性比较高，为了保障业务更好的运行，对网络的流量分析提出了更高的要求。

【关键词】网络流量；趋势分析；异常报警；信息审计

1 项目目标

流量分析是一个有助于网络管理者进行网络规划、网络优化、网络监控、流量趋势分析等工作的工具，通过对网络信息流（数据流）的采集并分析可帮助网络管理者得到网络流量的准确信息，为网络的正常、稳定、可靠运行提供保障。为厂数据采集系统、MES系统等业务系统提供可靠的网络运维环境，保障烟厂的生产连续性。本次主要是帮助网络管理人员了解企业内部网络之运行状况，及时发现并解决网络中的性能瓶颈问题、网络异常现象，也能方便网络管理员进行网络优化、网络设备投资、网络带宽优化等的参考，并方便网络管理员及时解决网络异常问题。

2 技术特点

2.1 高效数据采集机制

综合采用SNMP、SPAN数据采集技术和带外数据传输机制，能够透明部署在核心链路上，对原有系统的稳定性和性能无负面影响。

2.2 良好的兼容性和扩展能力

基于行业标准的数据采集协议和Collector+Controller的方案架构，能够提供对不同品牌设备良好的兼容能力，并可以较小代价实现系统的扩充升级，有效保护既有投资。

2.3 异常行为判别

实时检测因大量数据包的泛滥式攻击造成的网络流量异常，包括网络中的DoS/DDoS攻击、蠕虫病毒、大量的垃圾邮件等异常流量。

2.4 异常行为溯源

通过异常行为特征信息和IP路由、端口CAM信息关联分析，可将异常流量源头准确定位到网元设备物理端口级别上，为实施针对性的防护响应提供明确指引。

2.5 应用层攻击检测

采用数据流智能重组、特征检测、协议分析相结合的检测方法，根据强大的攻击特征库检测各种攻击，并提供攻击报告和补救建议措施。

2.6 通信服务质量实时监控

通过对网络设备和网络流量的实时监控，提供多种详细的设备、系统、带宽资源占用情况和服务进程响应情况的图形和报表显示，便于管理员了解和掌握全网运行状况和通信服务质量，保证关键业务安全稳定的正常运行。

2.7 攻击实时响应

对于检测到的异常流量，将通Syslog、Email、SNMP Trap等进行报警，并可将异常流量隔离进行重点监控和深度检测，如调整ACL、黑洞路由、防火墙、防垃圾邮件系统等安全设备对各种异常流量进行防御等。

3 实施效果

系统提供万兆网络流量数据实时采集、实时分析、高效存储，提供历史数据分析以及简单高效的数据挖掘技术，帮助用户重现发生故障时的历史网络通讯状态，快速分析当时的网络故障原因。同时，系统能够对挖掘的网络数据进行精细化的二次分析，实现集中、高效的网络管理需求。

3.1 实时监控

系统对关键网络链路提供持续的图形化流量监控功能，能够对流量数据进行长期的统计分析，主动分析网络和应用运行规律、网络行为规律，以及运行的趋势，从而帮助用户确立网络运行的基线，便于在网络日常运行过程中发现异常情况。

3.1.1 实时流量监控

系统采用全新的图表控件，直观的展现网络流量运行趋势。趋势图是以时间为单位，能够对各种网络流量参数进行监控和趋势展现，包括利用率（总利用率、进网利用率和出网利用率）、数据包（总数据包数、进网数据包数和出网数据包数）、总流量（总流量、进网流量和出网流量）和TCP数据包（TCP同步包和TCP同步确认包）。

3.1.2 异常流量报警

系统可实时进行网络异常流量监控，对于异常流量，产生告警信息。同时触发的警报信息可以通过E-mail发送给指定人员，或者是发送到指定的SYSLOG服务器。

3.2 流量趋势预警

3.2.1 基于流分析

系统基于流的流量分析功能，可通过旁路抓包采集数据，也提供收集Flow信息的能力；可以对接口、传输协议、应用协议、源目的地址、源目的端口、会话进行统计分析，可以多条件组合分析；支持流量趋势分析；支持流量分析的下钻与上卷；可对数据包的字节数、包个数、传输速率进行统计、分析、告警。

系统可对设备总流量、接口流量、上下行流量、接口进出流量进行统计分析，包括流量字节数、包个数、速率等，用户可自定义查询时间段和查询条件。

可基于流量某种属性进行TOP排名，以该属性为出发点进行多次下钻，最终定位到最细粒度（源IP、目的IP、应用协议、传输协议）的会话流量字节数、包个数、历史趋势图等。

3.2.2 端口流量分析

端口流量分析可以统计TCP端口和UDP端口的流量信息。通过数据挖掘功能，可以快速挖掘到与该端口相关的客户端IP、TCP会话/UDP会话和服务访问记录。

3.3 数据流中的攻击检测功能

以数据流为对象，通过特征检测、协议分析相结合的检测方法，检测网络流量中的各种数据流攻击。并提供攻击报告和建议措施，包括各类攻击的详细内容和可采取的安全措施。系统支持自定义攻击事件，用户还可以基于每个规则制定不同的响应措施。

3.3.1 入侵检测

系统内置入侵检测规则库，可自动识别、监测蠕虫攻击、木马攻击、SQL注入、RPC调用、溢出攻击等检测，用户也可以自定义安全行为特征，手动更新规则库。

3.3.2 DDOS检测

系统可检测FLOOD攻击、异常包攻击，对产生的攻击进行日志留存、告警处理，对于用户重点关注的设备，如服务器、路由器等，如被DDOS攻击，可直接查看当前的资源耗用情况。

3.4 通信行为分析

3.4.1 应用监控分析

系统支持对用户指定的自定义应用进行实时监控和质量分析。实时监控界面中根据刷新频率显示应用的实时数据、趋势图、TOP网段、TOP主机、警报日志和矩阵信息。质量分析界面中显示了选中时间段内，该应用的统计数据信息，统计视图包括客户端、服务器、网段统计、IP会话、TCP会话和警报日志。

3.4.2 应用交互分析

系统支持对用户指定的自定义应用进行交互分析。通过应用交互分析，可以直观的看到该应用交互处理数量、交互处理时间和交互窗台趋势图，以及各种流量参数、会话参数、交互统计参数和交互日志等信息。

3.5 通信服务质量实时监控

可自动发现网络设备，可对网络设备进行分类，如交换机、路由器、服务器等，可针对客户重点关注的网络设备，如服务器、交换机等，实时监控设备状态，包括网络设备的链路连接状态、端口启停、开启服务、CPU、内存、存储、流量等状态；系统可结合设备的相关告警信息进行整个设备的风险评估分析。

3.6 网络信息审计

3.6.1 时间窗口

网络流量趋势可以直观的反应出网络通讯的正常与否。系统以时间为单位，直观的展现出该时段的流量趋势，用户可自由的放大或缩小时间窗口。系统提供4分钟、20分钟、1小时、4小时、10天等时间窗口供用户选择，配合时间选择器的使用，快速检索到异常数据。

3.6.2 数据存储

系统最大支持万兆处理性能，实现骨干链路大流量的线速分析能力。同时，系统支持多网卡捕捉，同时汇聚分析多路网络流量。

系统具备长时间、大容量的数据存储能力，能长期实时保存捕获的原始数据包、数据流、网络会话、应用日志等各种统计数据。同时具备快速的数据检索能力，能够方便的对已发生的网络行为、应用数据和主机数据进行回溯分析，用户可以随时分类查看及调用任意时间段的数据。

当发现问题时，提供一定时间范围内的回溯分析，为迅速定位问题发生原因提供了更全面的分析依据，同时为网络安全提供了强有力的数据分析保障。

➢数据包存储

数据包是网络通讯最真实、最原始的数据，系统支持全千兆流量的数据包长期存储功能，全面保存所有通讯的数据包。同时，系统具备灵活的扩展性，可以通过增加服务器的存储空间以满足存储容量增加的需求。

➢网络会话存储

网络通讯会话是分析网络问题的关键数据之一，通过对网络会话的存储，用户可以查看和了解任意时间的网络会话信息，及时发现异常的通讯会话，快速查找各种网络问题。

➢统计数据存储

系统实时分析、统计和存储各种网络通讯数据，如协议统计、总流量、广播/组播流量、上行/下行流量、数据包、利用率等多种网络数据，帮助用户快速了解和掌握网络运行状态，及时发现异常数据。

3.6.3 数据挖掘

系统支持快速、易用的数据挖掘功能，能引导用户从不同的视角，不同的层次快速挖掘所需要的数据，使用户在海量的网络数据中快速查找到需要的数据。

➢简单易用的挖掘分析

➢多角度，多层次的挖掘分析

3.6.4 专家分析

在数据挖掘过程中，可以对选取历史时间段时所得到的数据，进行专家分析。数据包解码精细分析提供详细、直观的数据包解码分析视图。为用户判断分析网络问题和应用问题提供最可靠的数据依据。

➢数据流分析

➢日志分析

➢诊断

3.7 报表与告警

3.7.1 报表系统支持报表功能，系统提供的报表包括全局流量报表、流量报表、IP地址流量报表、IP地址应用报表、MAC地址流量报表、应用质量分析报表、Top应用报表、Top主机报表、Top内网主机报表、Top网段报表、警报统计报表，支持的报表格式包括：Pdf、Excel、Csv、Html。

3.7.2 告警

系统可将异常流量告警、入侵检测告警、DDOS攻击告警、设备性能告警等信息通过多种方法外发，通知管理员。

告警方式包括：Syslog告警、SNMP Trap告警、邮件告警、防火墙联动等。

4 创新研究与分析

4.1 历史数据回溯

在传统的网络管理中，当网络中发现问题或被报告出现问题时，由于没有保存当时的数据，往往错过了最佳分析时机，不能得到有效的分析数据。

网络流量管理回溯分析系统有效的解决了这一问题。系统利用存储的数据，能够再现历史故障现象，包括故障产生时相关的异常信息，对稍纵即逝的问题进行精细重现，帮助用户快速发现并解决网络问题。如关键网络业务在某个时段间歇性出现问题时，可直接将该时段的通讯数据导出进行分析，快速分析定位问题产生的原因。

4.2 基线学习技术

系统可基于正常网络流量进行基线自学习，学习出正常网络情况下，单个主机被访问的数据包个数速率、主机之间的数据包传输个数速率，该基线值可用于异常流量检测、DDOS检测等。

4.3 虚拟链路分析技术

系统支持创建虚拟链路。用户可以根据需要创建VLAN类型或者MPLS VPN类型的虚拟链路。在创建虚拟链路时，同一条链路中的虚拟接口类型必须一致。

4.4 多段分析技术

多段分析是针对同一条会话在两个或两个以上采集点上获得的数据进行对比和关联分析，并提供直观的分析界面，帮助用户快速定位网络中的故障点。

多段分析包括概要分析和详细分析，在详细分析界面中，还可以查看单个数据包的解码信息。

参考文献

[1]Flow-Scan网站:http://www.caida.org/tools/utilities/flowscan/.

[2]韩春静,唐海娜,李俊.IP网络协议分析仪的设计与实现[J].计算机工程与应用,2005.

[3]宫一鸣.利用NetFlow在大规模网络进行蠕虫和网络异常行为监测[J].

[4]Lincoln D.Stein著.王超,刘云译,Perl网络编程[M].北京科海电子出版社,2002.