基于改进极端学习机的网络流量预测

刘春

四川建筑职业技术学院网络管理中心，四川德阳 618000

基于改进极端学习机的网络流量预测

刘春

四川建筑职业技术学院网络管理中心，四川德阳 618000

为了提高网络流量的预测精度，针对极端学习机的训练样本选择问题，提出一种改进极端学习机的网络流量预测模型（IELM）。根据最优延迟时间和嵌入维数对网络流量重构，建立网络学习样本，将学习样本输入到改进极端学习机进行训练，随新样本加入而逐步求解网络的权值，以提高学习速度，引入cholesky分解方法提高模型的泛化能力，采用具体网络流量数据进行了仿真测试。结果表明，IELM不仅可以获得较传统网络流量预测模型更高的精度，并且大幅度减少了计算时间，提高了建模效率，可以较好地满足网络流量预测要求。

网络流量；相空间重构；极端学习机；输出权值

随着互联网规模增大，网络上的业务种类越来越多，网络拥塞频率越来越高，而网络流量预测是网络研究中的重要技术之一，因此建立高精度、速度快的网络流量预测模型至关重要，成为了当前网络流量研究领域中的热点问题[1]。

针对网络流量预测问题，国内外学者进行了大量而深入的研究，提出许多行之有效的网络流量预测模型，并取得了比较理想的预测结果[2]。当前，网络流量预测模型主要分为：传统预测模型和现代预测模型两种。传统预测模型主要为线性预测模型，包括时间序列法、多元线性回归等[3-4]。这些模型均是基于网络流量是一种线性变化规律进行建模，建模速度快，可以对网络流量进行短期预测，但是实际网络流量受到多种因素影响，具有时变性、混沌性等非线性变化特点，导致传统模型的预测精度低，预测结果不可靠[5]。现代预测模型主要是以神经网络为代表的非线性学习算法，它们可以对网络流量变化趋势进行较好的跟踪，预测精度较传统模型得到大幅度提升[6-9]。其中极限学习机（Extreme Learning Machine，ELM）是一种新型的前馈神经网络，相对于传统神经网络，ELM提高了建模效率[10]。但ELM采用随机确定输出权值，泛化能力差，易出现过拟合缺陷。为了克服ELM缺陷，文献[11]基于结构风险最小化原理，提出了正则极端学习机（Regularized Extreme Learning Machine，RELM），从而提高了ELM的泛化能力。然而，RELM只能对网络流量进行离线建模，不能满足网络流量在线预测要求[8]。为此，有学者提出在线贯序极端学习机（Online Sequential Extreme Learning Machine，OS-ELM），但是其存在计算复杂度大，建模效率低等不足[12]。

为了提高网络流量的预测精度，针对极端学习机的训练样本选择问题，提出一种基于改进极端学习机的网络流量预测（IELM），并通过网络流量预测仿真实验加以验证。

1 改进正则极端学习机（IELM）

Huang等人提出了一种单隐层前馈神经网络的新学习算法，称为极限学习机（ELM），并不需要对所有参数进行调整，输入权值和隐含层偏差在训练开始时随机给定，输出连接权值通过最小二乘法得到[13]。设收集到的时间序列为：Xp表示重构后的时间序列，n为嵌入维数，k表示样本数。基于ELM的时间序列预测模型为：

式中，αk=[αk1αk2…αkn]为连接第k个隐层神经元的输入权值；f()为隐层神经元函数；γ为经验与结构风险的调节参数；L为隐层神经元的数量；bk为第k个隐层神经元的偏差；βk为连接第k个隐层神经元的输出权值；εp为回归误差。

直接对式（1）进行求解不太现实，引入拉格朗乘子建立相应的函数：

式中，Hk为神经元矩阵；Tk为输出向量；w为拉格朗日权值。

对拉格朗日函数各变量求偏导并令偏导数为零，可得：

式中，I为单位矩阵。

这样RELM的时间序列预测模型为：

式中，t和x分别为输入和输出。

根据式（4）可知，RELM的训练过程就是对βk进行求解，该过程涉及矩阵求逆运算，计算量大，降低了时间序列的建模效率[14]。为了解决该难题，为此提出一种改进正极端学习机。设根据时间序列Sk已得到输出权值βk，当前训练样本加入时，RELM输出权值为：

将矩阵求逆引理应用于式（6），则Pk的递推表达式为：

对式（6）两端同时求逆后代入式（5），可得βk的递推表达式为：

利用Cholesky分解方法来对βk进行求解，简化建模过程。根据式（3）可得：

那么βL求解过程可被转化为求解形如式（10）的线性方程：

式中，SL是一个三角矩阵。

最后βL计算公式为：

其中，sij表示SL中不为零的元素；fi计算公式如下：

相比于ELM算法的βk求解过程，IELM采用Cholesky分解法对βL求解，只利用简单的四则运算就可实现，加快算法学习速度。

2 IELM的网络流量预测模型

2.1 相空间重构

设网络流量时间序列为：{x(i)，i=1，2，…，n}，根据Takens嵌入定理进行相空间重构，得到的多维时间序列为：X(t)={x(t)，x(i+τ)，…，x(i+(m-1)τ)，考察相空间中的一对相点：X(i)和X(j)，rij(m)表示两点间的欧式距离：

式中，r为样本点之间阈值。

将网络流量数据{x(i)，i=1，2，…}可划分成t个子时间序列，则有：

式中，Cl表示第l个子序列的相关积分。

最后得到如下方程：

与ΔSˉ(t)第一个极小值相对应的τ为网络流量时间序列的最优τ。

式中，Xi(m+1)表示第i个重构相空间向量；Xn(i，m)(m+1)表示与Xi(m+1)最近的向量。

2.2 基于IELM的网络流量建模步骤

（1）收集网络流量历史时间序列数据，并进行归一化处理，归一化公式如下：

式中，x(i)和x′(i)分别为原始和归一化后的网络流量，max()和min()分别取网络流量的最大值和最小值。

（2）采用相空间重构方法确定最佳延迟时间（τ）和嵌入维数（m），根据τ和m对原始网络流量时间序列进行重构，得到训练集和测试集，训练集用于IELM网络学习，测试集用于检验模型的泛化性能。

（3）确定IELM输入权值αk及隐含层偏差bk值，并将网络流训练集输入到IELM进行训练。

（4）计算隐含层输出矩阵H。

（5）计算输出层权值βk。

（6）将βk代入式（4）建立RELM预测模型，并采用该模型对测试集进行预测，并根据预测结果对IELM的拟合性能和泛化推广能力进行测试。

基于IELM的网络流量预测模型工作流程如图1所示。

图1 基于IELM的网络流量预测流程

3 仿真实验

3.1 数据来源

采用网络流量标准测试数据集http：//newsfeed.ntcu. net/～news/2013/的主节点路由器2013年10月11日到12月30日的每小时访问流量，得到1 000个数据，共收集到1 200个数据点，具体如图2所示。前1 000个网络流量数据点作为训练集，最后100个数据点作为测试集。

图2 收集的网络流量数据

3.2 对比模型及评价标准

在intel酷睿i7 4770K CPU，彩虹iGame780Ti 4 GB RAM，Windows 8操作系统上，选择文献[12]的改进极限学机（OS-ELM）、ELM进行对比实验，以测试IELM的优越性。模型性能评价标准为用最大相对误差（Max_ error）、均方根误差（RMSE）、平均相对误差（M_Error）。它们定义如下：

式中，n为测试样本数；yi和y′i分别为实际值和预测值。

3.3 网络流量学习样本的构建

网络流量的最优延迟时间和嵌入维数确定过程如图3所示。从图3可知，网络流量时间序列的最优延迟时间τ=6，嵌入维数m=7，根据τ=6和m=7对原始网络流量数据进行相空间重构，得到网络流量的学习样本。

3.4 结果与分析

3.4.1 单步预测结果与误差分析

图3 延迟时间（τ）和嵌入维（m）的确定

采用IELM对网络流量进行建模与预测，测试集的一步预测结果和预测绝对误差如图4所示。从图4可知，网络流预测精度相当高，预测误差相当小，结果表明，IELM可以较好地描述网络流量变化特点，获得比较理想的预测结果。

IELM、OS-ELM、ELM模型的单步预测误差见表1。从表1可知，与对比模型相比，IELM模型的网络流量预测误差最小，预测精度更高，能够满足实际网络流量预测的要求，可以有效避免对比模型所存在的过拟合现象，对比结果验证了本文对传统ELM模型改进的有效性。

表1 不同模型的单步预测性能比较

3.4.2 多步预测结果与误差分析

图4 IELM的单步预测结果

图5 IELM的多步预测结果

采用IELM建立网络流量的多步预测模型，其2步骤预测结果和预测绝对误差如图5所示。从图5可知，网络流量预测误差不大，预测结果与网络流量原始变化曲线比较接近，预测误差控制在有效的范围内，实验结果再一次验证了IELM用于网络流量预测的有效性。

IELM、OS-ELM、ELM模型的多步预测误差见表2。从表2可知，与对比模型相比，IELM模型的网络流量预测误差最小，预测精度更高，能够满足实际网络流量预测的要求，能有效避免对比模型存在的过拟合现象，对比结果验证了本文对传统ELM模型改进的有效性。

表2 三种预测模型的多步预测性能对比

对表2的各模型预测结果进行分析可以得到如下结论：

（1）ELM由于无法对网络流量进行在线预测，这样，随着网络流量预测步长增大，预测模型无法对网络流量变化趋势进行准确描述，预测误差越来越大，预测结果极不可靠，而且易出现过拟合现象。

（2）相对于ELM，IELM和OS-ELM的预测精度得到相应提高，有效减小了网络流量的预测误差，这主要是由于IELM和OS-ELM对模型的训练方式进行了改进，较好地克服了ELM存在的不足，可以对当前时刻网络流量变化趋势进行准确刻画，网络流预测结果变化十分稳定，预测结果更加理想。

（3）相对于OS-ELM，IELM的网络流量整体预测性能更优，预测精度得到了进一步提高，这主要是由于IELM不断将新样本加入训练样本集同时，对模型参数进行了相应的更新，使得更新后的预测模型始终描述当前时刻网络流量最新变化状态，预测误差明显小于OS-ELM，可以始终保持对于网络流量的准确预测。

3.4.3 预测模型的训练时间比较

当隐层神经元的数量L=50时，IELM，OS-ELM和ELM的训练时间如图6所示。对图6可知，相对于OS-ELM、ELM，IELM的训练时间仅为OS-ELM、ELM的1/3左右，大幅度提高了训练速度，这主要是由于IELM减少了矩阵求逆运算，计算量急剧下降，减少了网络流量的建模时间，更加适合于网络流量的在线建模与预测。

图6 三种模型的训练时间对比

当预测步长为2、4、6时，IELM，OS-ELM的Pk值更新次数如图7所示。从图7可知，随着预测步长的增加，OS-ELM的Pk更新次数大幅度增加，建模效率明显降低，难以满足网络流量的在线建模要求；而IELM的Pk更新次数明显少于OS-ELM，提高了网络流量的建模效率，其更符合网络流量在线预测对于计算速度和预测精度的要求。

图7 IELM和OS-ELM的更新次数比较

4 结束语

传统极端学习机不能对网络流量进行在线建模预测，而且OS-ELM存在训练速度慢、预测精度低等不足，为了提高网络流量的准确性和建模速度，提出一种改进极端学习机的网络流量预测模型，并通过仿真对比实验对模型性能进行检验。结果表明，IELM较好地解决了传统极端学习机存在的不足，获得高精度的网络流量预测结果，可以准确对网络流量变化趋势进行描述，更适合进行网络流量在线性建模与预测，更具普适性和鲁棒性。

[1]李超，赵海，葛新，等.基于混沌特征的网络延迟预测模型[J].电子学报，2009，37（12）：2657-2661.

[2]姜明，吴春明，张曼，等.网络流量预测中的时间序列模型比较研究[J].电子学报，2009，37（11）：2353-2358.

[3]宋杨，涂小敏，费敏锐.基于FARIMA模型的Internet时延预测[J].仪器仪表学报，2012，33（4）：757-763.

[4]邬平，吴斌.采用回归方法优化网络流量管理模型处理性能[J].计算机工程与应用，2012，48（4）：104-106.

[5]温祥西，孟相如，马志强，等.小时间尺度网络流量混沌性分析及趋势预测[J].电子学报，2012，40（8）：1609-1616.

[6]赵云，肖嵬，陈阿林.基于加权支持向量回归的网络流量预测[J].计算机工程与应用，2012，48（21）：103-106.

[7]张强，许少华，李盼池.分式过程神经元网络在网络流量预测中的应用[J].计算机工程与应用，2012，48（35）：62-66.

[8]罗赘骞，夏靖波，王焕彬.混沌-支持向量机回归在流量预测中的应用研究[J].计算机科学，2009，36（7）：244-246.

[9]张文金，许爱军.混沌理论和LSSVM相结合的网络流量预测[J].计算机工程与应用，2013，49（15）：101-104.

[10]姚奇富，李翠风，马华林，等.灰色系统理论和马尔柯夫链相结合的网络流量预测方法[J].浙江大学学报：理学版，2007，34（4）：396-400.

[11]党小超，郝占军.季节周期性Elman网络的网络流量分析与应用[J].计算机工程与应用，2010，46（28）：98-101.

[12]张弦，王宏力.基于贯序正则极端学习机的时间序列预测及应用[J].航空学报，2011，32（7）：1302-1308.

[13]Liu N，Wang H.Ensemble based extreme learning machine[J]. IEEE Signal Processing Letters，2010，17（8）：754-757.

[14]Lan Y，Soh C Y，Huang G B.Constructive hidden nodes selection of extreme learning machine for regression[J]. Neurocomputing，2010，73（16）：3191-3199.

LIU Chun

Network Management Center,Sichuan College of Architectural Technology,Deyang,Sichuan 618000,China

In order to improve prediction accuracy of traffic network,a novel network traffic prediction model is proposed based on improved extreme learning machine.The learning samples of network traffic data are obtained by the optimal delay time and embedding dimension,and then the samples are input into improved extreme learning machine to train,and the network weights are gradually updated by adding new samples to fasten the speed and cholesky method is introduced to improve generalization performance.The simulation experiments are carried out to test the model performance based on network traffic data.The results show that the proposed model has improved prediction accuracy of traffic network compared with traditional network traffic prediction models and greatly reduced the computing time to improve the efficiency,so it can meet the requirements of the online prediction for network traffic.

network traffic;phase space reconstruction;extreme learning machine;output weight value

A

TP391

10.3778/j.issn.1002-8331.1312-0139

LIU Chun.Network traffic forecasting based on improved extreme learning machine.Computer Engineering and Applications,2014,50（21）：91-95.

刘春（1981—），男，讲师，主要研究领域为计算机网络管理。

2013-12-10

2014-02-28

1002-8331（2014）21-0091-05

CNKI出版日期：2014-07-02，http://www.cnki.net/kcms/doi/10.3778/j.issn.1002-8331.1312-0139.html