面向智能交通系统的大数据分布式存储算法

王涛涛，姚磊岳

(1. 江西科技学院信息工程学院，江西 南昌 330098；2. 南昌大学信息工程学院，江西 南昌330098)

1 引言

随着交通建设工作的不断发展，城市交通问题日渐凸显，为解决交通基础设施建设的长久维护，同时实现交通管理的可持续发展[1，2]，现阶段交通部门通常选用快捷的管理技术规划交通设施。智能交通系统(Intelligent Traffic System，ITS)被广泛采用，通过该系统对多城市交通数据的进行管理，能够有效维护交通设施的建设[3-5]。因此，智能交通系统中的海量数据存储，能够保障系统中的数据被有效使用[6]。许多学者对大数据存储算法进行设计，常用算法有海量空间数据云存储与查询算法和基于Hadoop的地质矿产大数据分布式存储算法，但这两种算法对于已存储的大数据抗攻击性难以保障[7，8]，因此，本文提出面向智能交通系统的大数据分布式存储算法，通过云存储架构，构建大数据分布式存储算法，并通过超混沌算法实现数据加密，保障存储数据的抗攻击性，实现大数据分布式加密存储。

2 面向智能交通系统的大数据分布式存储算法

2.1 基于云存储架构的大数据分布式存储算法

当数据存储需求被存储节点获取时，分布式数据存储持续发送保存请求，因此，通过本文所设计的存储能力分析以及数据存储层次，若经运算后能够达成式(7)的需求，则保存数据，若不能达成，即重复执行式(1)至式(7)。同时，将数据保存过程调整为三个层次，首先上层完成数据高度访问，下层实现数据归档，而中层主要承接上下层之间的连接[9]。其中，数据存储过程中的上层主要通过以下式(1)至式(7)表示。

若通过P(x)表示分布式数据的采用机率，则倒数关系出现在其采用机率的期望值为EP(x)以及弹性期望值为E[T(x)]，因此，通过式(1)计算分布式数据的弹性期望值

(1)

式(1)中，分布式数据的服从程度由λ描述。

若式(1)所得结果为负时，可知数据存储时堵塞状态与顺利状态成反比，此时，继续完成数据分布式存储。若所得结果为正，则需要控制数据存储过程中的保存能力，通过修改数据粒度，实现数据的持续存储[10]。

由于式(1)所得结果会使数据存储顺利程度受到影响，且计算值为负，若数据粒度较小，式(1)计算所得结果可能会出现正数情况，因此，通过粒度率p操纵数据弹性T(x)，能够改善数据存储的拥堵性，还能降低存储空间被占用程度。

由于负相关存在于T(x)与p之间，因此，依据该结论，可知T(x)通过式(2)能够维持原值

T(x)⟹p

(2)

式(2)中，T(x)⟹p的预计值E[T(x)⟹p]能够达成时间函数，因此，通过式(3)描述E[T(x)⟹p]

(3)

因此，依据式(3)，若现阶段依然设p为数据保存接入粒度率，即下一时刻T(x)可通过以下式(4)完成

(4)

由于大数据存储过程中，分布式存储具有有限带宽，因此，T(x)能够被存储层次完整覆盖，同时，通过式(5)能够表示与随机时刻Δt相应的确认覆盖关联ΔT(x)

(5)

以式(5)为基础，通过式(6)描述大数据分布式存储强度指数Δλ

(6)

依据式(6)的计算，通过式(7)能够完成数据弹性T(x)与大数据分布式存储梯度Δ的计算

(7)

通过式(7)，能够达成数据分布式存储的过程。同时，经式(8)描述最终的大数据分布式存储的形式Δ(X)

Δ(X)=Esent(c)·c·P(x)·Δλ·T(x)

(8)

式(8)中，即为经计算后，大数据分布式存储的保存结果。

2.2 大数据超混沌自动加密优化算法

通过超混沌自动加密优化算法，对已存储的数据进行加密，能够有效实现大数据的自动加密传输与数据防护。

2.2.1 大数据加密的密钥构造

定义Decrypt(sk，c)Z，其为超混沌算术编码密文m=(m0，…，ml-1)的发送，且mj←[c]pjmod 2。

(9)

[cmodpi，j]

=CT([c1modpi，j]2，…，[ctmodpi，j]2)

=C(m1[i，j]，…，mt[i，j])

(10)

基于授予密钥的权限，构造大数据的二维编码，并针对加密、解密密钥进行同步构建，依据超混沌映射对此进行构建。

2.2.2 大数据的超混沌加密传送输出

通过同态融合构建大数据加密过程，需基于非线性向量量化编码方法。构建随机线性的加密、解密密钥，并通过二维重新排列超混沌混合加密中的连续差分函数，获取si，其为分布的码元数量，使ck=Encrypt(pk，mk[i，j])1≤i，j≤μ，1≤k≤t，将新的需加密数据比特序列X=(x1，x2，…，xn)设计在模糊聚类中心，并通过-log2(P(si))描述均衡互信息量，设x1，x2，x3，…，xr为大数据加密后的随机分布情况，因此，通过式(11)描述与之相应的均衡信息量；

(11)

基于分段线映射过程，设s={si，i=1，…，M|si∈S}为大数据加密密文，并以S等同自变量为基础，通过式(12)描述加密密文

(12)

式(12)中，Sn∈S，n=1，…，N。若1≤i≤τ，则ximodpj=2ri，j，当混合加密的大数据隐写特征映射ri，j←Z∩(-2φ′-1，2φ′-1)，存储了以往保存在加密比特序列中的缓冲区m=(m0，…，ml-1)时，通过式(13)、式(14)描述已实现加密的比特块密钥

Ii=f-1(x)(Ii+1)

(13)

size(Ii)=Pisize(Ii+1)

(14)

同时

(15)

因此，能够获取加密后的大数据所发送不存在效果的密文，并通过式(16)表示

(16)

针对大数据使用同态融合加密过程，此步骤基于非线性向量化编码过程，并同时构建RkeyGen(param，rskIDi，IDi，IDj)为随机线性的加密、解密密钥，并通过式(17)表示

(17)

并同时通过式(18)表示密文校验过程

(18)

通过上述步骤，完成面向智能交通系统的大数据加密过程，使大数据分布式存储过程的数据保密能力提高。

3 实验分析

将本文大数据分布式存储算法应用于某城市智能交通系统，对该智能交通系统的大数据实施分布式存储加密。数据存储传输速率为265kbps，数据存储周期大小为500s、数据存储节点能耗为1534J。并选取海量空间数据云存储与查询算法和基于Hadoop的大数据分布式存储算法作为本文的对比算法同时进行实验分析。

分析不同算法在不同数量下大数据存储需花费的时间，分析结果如表1所示。

表1 不同算法存储花费时间

根据表1可知，随着数据数量的增长，三种算法的存储花费时间逐渐增多，在数据量为2000Mb时，海量空间数据云存储与查询算法的存储花费时间最高，达到67s，且当数据量为20000时，该算法的存储花费时间在三种算法中保持最高，为156s，高于基于Hadoop的大数据存储算法算法15s，高于本文算法84s，本文算法存储花费时间最少仅为26s，因此采用本文算法，能够有效降低大数据存储花费时间。

原始大数据进行存储时，若其存在不均衡分布状态，则容易产生局部热点情况，使得较大的负载出现在某些节点中，并同时使空载情况持续出现在某些节点中。因此，依据原始大数据分布均衡度，分析不同算法的原始大数据分布均衡状态，并通过式(19)进行均衡度计算：

(19)

式中，设全部原始大数据数量由S表示，服务器个数由N表示，某个原始大数据由xi表示。

选取2500Mb数据进行存储，分析三种算法的分布均衡度，分析结果如图1所示。

图1 不同算法分布均衡度

根据图1可知，随着原始大数据的数量的上升，本文算法的分布均衡度出现上升变化，但传统算法的上升曲线呈上下波动形式，且分布均衡度始终低于本文算法，本文算法始终保持最高的分布均衡度，且上升趋势十分稳定，说明本文算法在大数据存储过程中分布均衡度较高。

对读/写数据的能力进行分析，能够有效判定存储算法的实时性，在不同数据量的情况下，通过数据读写操作，对比不同算法，分析结果如表2所示。

根据表2可知，三种算法在数据数量为2000Mb时，读数据速率分别为79Mb·s-1、46Mb·s-1以及51Mb·s-1，当数据量不断上升，三种算法的读/写速率都有所提升，但数据量达到10000Mb时，基于Hadoop的大数据存储算法的读数据速率在三种算法中保持最低，本文算法在该数据量下，读、写数据速率分别为93Mb·s-1、94Mb·s-1，在三种算法中保持最高，且在其它数据量下，本文算法依旧保持最高的读、写数据速率，因此，表明本文算法拥有较高的读、写数据速率，能够实现速度较快的大数据分布式存储。

表2 不同算法读/写速率对比

通过能耗均衡性分析，能够衡量智能交通系统中，大数据分布式存储的性能。通过数据节点残余能量的方差φ，对能耗均衡性进行分析，并通过式(20)计算

(20)

图2 不同算法能耗均衡性分析

随着大数据数量的上升，当能耗的标准方差越高，即能耗均衡性越差。因此，根据图2可知，三种算法的能耗标准方差都随着大数据数量的上升有所增高，其中，海量空间数据云存储与查询算法在大数据量为3000Mb时，能耗的标准方差最高，达到235nJ，而基于Hadoop的大数据存储算法虽然低于该算法，但在大数据数量为500Mb时，其标准方差要高于海量空间数据云存储与查询算法。而本文算法在三种算法中始终保持最低，因此，本文算法具有最小的能耗标准差，能够实现较低的负载均衡性。

分析不同迭代次数下的数据加密能力，通过三种算法对比，得出不同算法的加密抗攻击性，分析结果如表3所示。

表3 数据加密抗攻击性

根据表3可知，随着迭代次数的增加，三种算法的数据加密抗攻击性随之增加，本文算法的数据加密抗攻击性在迭代次数100～600之间始终保持在90%以上，说明本文算法数据加密的抗攻击性较强。

4 结论

本文研究面向智能交通系统的大数据分布式存储算法，通过云存储架构设计大数据分布式存储的过程，并将已存储的大数据采用超混沌自动加密优化算法完成数据加密与解密，使存储大数据更具有安全性，并通过实验验证本文算法存储能力，可知本文算法的存储分布均衡度较高，能耗负载均衡性较低，且加密抗攻击性较强。在未来研究阶段，可不断优化大数据分布式存储算法，使之能够应用于各个领域。