SDN在高效大数据交换中的应用研究

叶飞 李家兵 金宗安 张明存

大数据处理是当前计算机界研究的一个热门课题，大数据给数据存储、数据管理、数据检索带来巨大的挑战，它对存储硬件、存储策略、检索方法等方法设计给出了不同以往的需求。研究如何利用SND开发大数据交换系统，为以改善客户体验为目的的网络业务升级提供了全新的思路和实现手段。

SND;信息系统;大数据

由于网络数据流具有动态性和变化性，因此网络管理面临着困难，大数据的流量控制和带宽需求分析异常复杂，这就需要实现网络管理技术的智能化。SDN网络的出现为大数据时代的来临做好了准备，这种可编程网络为大数据处理带来了新的解决思路。OpenFlow标准为可编程网络的实现提供了实例化手段。通过对业务数据的传输、更新、迁移等操作流程的跟踪分析，提出以下几个方面问题并给出解决方案。

一、大数据交换的基本现状

（1）前期业务数据网络的分析

由于计算机技术的普及和移动通信网络时代的来临，迅速地各种软件系统也在不断发展更新，作为最重要的海量数据，必然需要在这个大潮中被带动着穿梭于网络世界，为了处理关系数据库中数据异构带来的不便，大量研究机构和学者都从许多层面做了诸多研究工作，为异构数据的彼此转化提出不同的处理方案，使数据能够在多种数据库之间精确、快速的进行转移。由于对于不同的研究讨论方案来说，表构造的异构问题是比较困难的迁移阻碍之一。

（2）面向业务的数据交换算法设计

基于权重构建的业务数据的hafman树，以此设定一个根服务器，我们确保所有数据都位于根节点上。例如A1、A2、A3业务通过B1、B2、B3大数据交换获得C1服务器上的某数据D1，通过交换机的业务流量学习功能，经过交换算法我们获知C1实际放在服务器C2上最佳，大数据交换基于事先设定的策略在交换业务数据同时把数据D1迁移到C2上。

（3）大数据交换的基本工作原理的设计

目前，数据交换从功能上分为二层交换、三层交换和七层交换，本项目着重于二层交换，基于以太网、ATM、帧中继等网络协议开展项目研究，通过端口镜像、流量根系、网络设备操作系统的跟踪技术等手段获取数据流信息，获取整个交换网络。通过基于大数据交换的分析软件的二次开发，来获取网络数据流的当前拓扑和未来拓扑，以此管理、重构数据链路。

二、基于SND的大数据交换的研究目标

（1）研究基于OpenFlow协议开发Cloud Data交换通信协议，抽象出一个与在数据和通信网络之间的一个类似数据链路层的“数据交换层”，其能够实现数据传输和迁移的抽象管理与控制，更加简单、便捷、有效管理数据传输信道。

（2）研究大数据交换的工作机理和实例化方法，包括数据服务接口的设定，從而重构云数据中心的数据交换网络，使得数据传输过程可以脱离传统网络通信管理、服务器组织架构、数据异构问题等的束缚，在一个全新的SDN交换网络中高效传递。

（3）研究Cloud Data交换算法，力图实现在不增加流量的情况下传输更多数据，包括服务器间的数据迁移、业务流量的发送等，从而实现高效利用网络带宽，降低业务运行成本  。

三、大数据交换的研究内容

（1）云数据服务的控制管理

由于对大型计算机网络难以实现集中控制，因此核心问题是如何使用OpenFlow协议开发出专门服务于业务数据传输抽象网络，发挥其简单和局部控制效果好的优点，数据流量等参数的动态控制，在保障使用者服务的QoS的基础上发现获得最佳网络性能的措施来开展服务工作。

（2）网络的软件化、虚拟化的途径

面对这一现状，我们都清楚为什么需要网络的软件化、敏捷化，满足最终客户的需求，这是必然的。满足客户需求是为了更加快速地附带地改低Capex和Opex。项目研究如何从设备可编程转变为网络可编程。

SDN作为可以通过程序设计工作流程的方式，不只是针对单个网络节点而言的，同事是可以对全部网络进行程序控制，基于SND的控制器具有全局的拓扑，能够算出任意端点之间的路由，并控制转发路径。同样其也可以控制每个端点的接入权限，当然无论我们通过什么节点联入，比如我们能够将VLAN绑定、802。1x认证通过控制器来做，转发层面设备完几乎不能感知具体情况。SDN的实质本来就是让用户/应用能够使用软件编程完全的控制网络的各种动作，让网络软件化，从而敏捷化。SDN中的接口具有开放性，把控制器当做逻辑中心，南向具体实现数据层通信，北向具体实现应用层通信。此外，因为单一控制机制经常导致造成控制节点失效，特别容易影响性能，那么久必须使用多控制器方式，这个时候，多控制器之间将采用由东向西的通信方式。开放式接口的研究，这样一定会更加的推动SDN的进一步的发展。

基于这些开放式接口的讨论组，控制器南向接口作为数据与控制分离的核心从而花大力气开展研究，成为业界经常讨论和关注的一个问题。由于控制层与数据层解耦合，由此不低不针对这两层的改进分开进行，在层与层之间只是需要给出标准南向接口即可。南向接口是SDN分层架构的关键元素，但是从逻辑层面来说，它在确保数据层与控制层之间的一般通信的同时，还得支持两层各自同时产生的需求;物理上，设备生产厂商不得不开发同事支持此种标准接口的产品，因为传统网络产品是无法实现在SDN网络之中启动、计算、传输使用。那么这样，我们研发南向标准接口就是一个SDN基础研究中的一个重要内容。

四、解决关键问题的方案设计

（1）业务数据的内部结构描述：云数据中心涉及面太广，现有业务和技术都太复杂。也许下一步追求的是一个逻辑清晰简单的解决方案。随着硬件技术的进一步发展，软件定义网络SDN业务提供一种更为简单明了的内部结构描述。

（2）网络资源的抽象管理：针对多样化网络业务融合控制的软件定义网络平台，如何设计合适的算法应用于高速网络的业务管理和流量控制，为了确保在网络中不同的多种业务并存的情况下，在保证实时业务传输的同一时间，使网络的资源获得以被最大化的充分的利用。还有就是，SDN控制下的网络便可以不需要受制于OSPF/ISIS/TRILL/SPB这些标准协议本身的能力，在使用时，即便不得不去使用它，管理员可以在任何两个机架之间设置直达链路并立刻投入使用，不用再去解决STP的限制，也不需要去关注ECMP（等价多路径）的问题，比如能力限制。

（3）大数据交换和数据业务的无缝集成。通过虚拟数据中心管理器的协调， VDC（Virtual Data Center） 虚拟数据中心业务开通、虚拟机的迁移、加载以及负载均衡和网络策略的迁移、生成可以实时联动，从而使业务响应速度、业务服务质量进一步提升。更进一步的是，应用可以通过SDN Controller提供的接口为特定用户流量设置安全策略、QoS，比如屏蔽某个恶意攻击的用户MAC地址、为特定用户/应用预留带宽。

（4）消除网络数据震荡，由于业务的多样和频繁程度的不同，会导致数据迁移出现某种程度的过度现象，它如同广播消息的泛滥一样会导致网络的阻塞。可以考虑基于业务类型、业务范围等属性进行限定，预防数据迁移的频次和范围。如对于简单的查询操作不做服务器之间数据交换，仅仅做一个数据的传递操作。

五、此项研究方案的优势

实现数据迁移的完全透明化，开发者和使用者完全不用关注数据的流动过程，而只需要关注业务本身。云数据中心的数据迁移完全随着业务需要，不在受制于各种统计算法的限制，使得数据流动过程更为及时、高效。

傳统的数据迁移工作，要求大多存在于关系数据库中，比如数据迁移就是这种，因此，如何去除关系数据库中数据异构的麻烦，比如使用变长染色体遗传算法。或者使用最小生成树算法，遗传算法对多结点问题处理的不足，在多衍生表情况下最小生成树算法运行效率稳定性方面的缺陷。

而基于OpenFlow的交换算法可以摆脱这些结构上的问题困扰，直接考虑数据的转发问题就可以了，从而从根本上解放了程序员的手脚。

将网络完全统一到业务层面，Cloud Data交换机既是信息交换工具也是业务开展平台，整个系统不再依托传统的分层结构网络开展设计、开发、使用流程，开发者和使用者完全可以基于统一的业务层面开展各项工作。极大降低 了系统开发成本，节约了使用者的学习时间，从而降低整个系统运营成本。

参考文献

[1]SDN交换机及其星载交换的实现方案初探[J].陈果，徐展琦，杨帆，冯淼淼.无线电通信技术. 2017（06）

[2]ChinaNet向SDN演进的方法[J].张家欣.通讯世界.2017（16）

[3]基于SDN技术的电视制播网的设计与实现[J].刘含书.西部广播电视.2017（12）

[4]基于SDN的5G移动通信网络架构[J]. 裴峰，陈永全.中国新通信.2017（16）

[5]safe，efficient update protocol for Open Flow networks.Mc Greer R.Proceedings of Hot SDN . 2012大数据技术应用中的问题研究论述[J].梁鼎.农家参谋. 2017（15）

[6]大数据技术在环境信息中的应用[J].杨满仓，赵鹏.网络安全技术与应用.2017（10）.