大数据时代与数据传输技术

摘要：随着云计算、大数据、物联网、人工智能逐步发展，大数据时代的到来离不开信息的大量采集，本文从电信号、光信号和无线信号的传输种类和技术特点进行总结分析，深入解析网络OSI开放系统互联参考模型的七层协议用途和数据传输的特点，并对数据传输的发展和未来的应用情景进行展望。

关键词：大数据    数据传输   协议  网桥  光缆  5G  GPRS  WiFi

近年来，云计算、大数据、物联网、人工智能逐步发展，信息量呈几何级数的增长直接造就了大数据概念的出现。大数据时代的到来离不开信息的大量采集，就数字信息的采集技术而言，目前的数字信息采集方法已经完善，文字、图片、音频、视频等多维度的数字信息的采集手段和技术基本完备，数据的采集越来越实时化，随处可见实时音频直播和视频直播。可以说信息的采集环节已经基本实现实时化，但在信息传输和处理还有较大的开拓和发展空间。

数据传输就是按一定规则把数据从数据源传输到数据终端，实现点与点之间的信息传输与交换。需要传输的数据根据协议被分解成一个一个数据包（其中包括本地机和目的机的地址），通过网线传输给目的机。

以早期电话线上网为例，接到用户的请求后，数字信号从Internet上下载，通过ISP接入用户所在区域的交换机，通过D/A变换变成模拟信号，传到调制解调器，再经A/D变换，还原成计算机可接受的数字信号。

数据通过信号进行传输，包括电信号和光信号，电信号又分为模拟信号和数字信号，模拟信号是指随着时间连续变化的电压或电流等;数字信号是指自变量和因变量都离散的信号;光信号就是电磁波谱中的可见光。

把数字信号转换成模拟信号，即调制;把模拟信号恢复成数字信号，即解调。负责这两项功能的调制解调器（Modem），就是常说的“猫”。

在OSI开放系统互联参考模型中，网络从上至下分为七层：物理层、数据链路层、网络层、传输层、会晤层、表示层、应用层。每一层都有各自需要遵守的规则，称为“协议”。

1、物理层（Phisical Layer）：是OSI的最底层，实现系统与通信介质的接口功能，为实现链路实体之间透明地传输比特流提供服务。

2、数据链路层（Data Link Layer）：在相邻两系统的网络实体之间，建立、维持和释放数据链路连接，实现透明的可靠的信息传输服务，数据传输的基本单位是帧（frame）

3、网络层（Net Work Layer）：网络层主要涉及通信子网及与主机的接口，以实现两个端系统中传输实体间的通信，传输的基本单位是组（packet）。

4、传输层（Transport layer）：为不同系统内的会晤实体间建立端-端的透明可靠的数据传输，执行顺序和流量控制，管理多路复用等，数据传输的基本单位是报文（message）。

5、会晤层（Session layer）：为不同系统内应用进程之间建立会晤连接，提供一个能满足多方面要求的会晤连接服务。

6、表示层（Presentation Layer）：向应用进程提供信息表示方式，对不同系统的表示方式进行转换、通信，提供标准的应用接口和通信服务，如数据加密，正文压缩等。

7、应用层（Application Layer）是OSI最高層，为应用进程访问OSI环境提供手段，其他各层都通过应用层的应用进程提供服务。

OSI参考模型层次划分及数据流动原则：

1、网络中各主机都具有相同的层次

2、不同主机的同等层具有相同的功能

3、同一主机内相邻层之间通过接口通信

4、每层可以使用下层提供的服务，并向其上层提供服务

5、不同主机的同等层协议来实现同等层之间的通信。

TCP/IP协议就是一组最常用的网络协议。主要包括五层，将会晤层、表示层、和应用层三层合在一起作为应用层，即物理层、链路层、网络层、运输层、应用层，上下层、同等层之间也通过协议进行通信.

数据传输物理层主要由网线（双绞线、光缆）、网卡、路由器、交换机等硬件构成;网关则在网络层以上实现复杂的网络互连功能。

网卡：网卡和计算机之间的通信通过I/O总线以并行传输方式进行，网卡的ROM由销售商分配唯一的MAC（48位串行号）地址，安装网卡后用户可以通过电缆或无线连接计算机与外界局域网。网卡驱动程序会告知网卡应该把局域网传送过来的数据存储在什么位置。网卡上传数据时发出中断请求把收到的帧交给协议栈中的网络层，由协议栈向下交给网卡发送到局域网。

双绞线：网线的压接通过RJ-45接头完成。它里面有8个铜片可以和网线中的4对双绞（8根）线对应连接。1、2线是传送数据的，3、6线是接收数据的。1、2，3、6之间是一对差分信号，波形一样，相位差180度，同一时刻的电压幅度互为正负。这样可以使信号可以传递的更远，提高抗干扰能力。

光缆和光猫：利用光导纤维传递光脉冲来进行通信，光纤传输的是光信号，需要通过光模块、光猫进行转换才能被电脑CPU读入。光模块的作用就是光电转换，发送端把电信号转换成光信号，通过光纤传送后，接收端再把光信号转换成电信号。光猫负责将光信号转换成标准的互联网以太网协议信号。

数据的有线传输发展的同时，无线数据传输的技术近年来发展迅猛。

常见无线传输方式有两种：近距离无线通信技术和远距离无线传输技术。近距离无线通信技术是指通信双方通过无线电波传输数据，并且传输距离较近。常用的近距离无线通信标准有：Zig-Bee、蓝牙（Bluetooth）、无线宽带（Wi-Fi）、超宽带（UWB）和近场通信（NFC）。目前广泛应用的WiFi技术与蓝牙技术一样，属于在办公室和家庭中使用的短距离无线技术。

远距离无线传输技术：广泛应用的无线通讯技术主要有GPRS/CDMA、数传电台、扩频微波、无线网桥及卫星通信、短波通信技术等，可以在较远、有污染或环境恶劣区域等。

（1） GPRS/CDMA无线传输：

GPRS（General Packet Radio Service）是一种以全球手机系统（GSM）为基础的数据传输技术，是GSM的延续。GPRS和以往连续在频道传输的方式不同，是以封包（Packet）式来传输，GRRS的分组交换技术具有实时在线"按量计费"高速传输等优点。

5G网络指的就是在移动通信网络发展中的第五代网络，其峰值理论传输速度可达20Gbps，合2.5GB每秒，比4G网络的传输速度快10倍以上。一部1G的电影可在4秒之内下载完成。

CDMA是中国电信运行的一种基于码分技术和多址技术的新的无线通信系统，其原理基于扩频技术。

（2） 数据传输电台：

数传电台采用数字信号处理、数字调制解调、具有前向纠错、均衡软判决等功能的一种无线数据传输电台。在航空航天、铁路、电力、石油、气象、地震遥感、遥测领域得到广泛应用。

（3） 无线网桥：

無线网桥是无线射频技术和有线网桥技术相结合的技术。无线网桥是为使用无线（微波）进行远距离数据传输的点对点网间互联而设计，在数据链路层实现LAN互联的存储转发设备。

（4）卫星通信：

卫星通信是利用人造地球卫星作为中继站来转发无线电信号，从而实现在多个地面站之间通信的。卫星通信系统通常由卫星端和地面站二部分组成。

目前以GPS全球定位系统、北斗定位系统已经达到非常精确的程度，海底电缆、移动通信和全球定位系统三大信息技术的发展，迎来了互联网时代海量的数据产生，任何一秒钟产生的共享数据量都是惊人的，每一位终端用户都是独立的个体，并不断更新和活跃着。

在大数据的时代，通过信息和数据的有效传输和处理，将大大提高沟通的效率、促进人类科技和文化交流的繁荣，全面提高人类的生活质量。

参考书目：

[1]孟宪伟，许桂秋.大数据导论[M].北京：人民邮电出版社，2019：3-11.

[2]谢希仁.计算机网络[M].北京：电子工业出版社，2017：46-63.

[3]汤小丹等.计算机操作系统[M].西安：西安电子科技大学出版社，2014：350-368

作者简介：

刘增文  1969年出生，男，汉族，山东省诸城市人，大学本科，高级工程师，研究方向为农业装备与汽车、工程机械、数控机床维修与技术改造、工业互联网技术等。