新一代箭载高速光纤总线技术研究与应用*

2022-08-26 09:39张宏波
计算机与数字工程 2022年7期
关键词:链路交换机总线

郭 萌 张宏波 柳 柱 薛 宁 梁 烁

(北京航天自动控制研究所 北京 100854)

1 引言

近年来,随着我国航天器控制系统、计算机、传感器等技术的不断发展,航天电子设备日益趋向于高度集成化、智能化和信息综合化,箭上信息传输量大幅增加。新一代火箭控制系统比任何时候都更依赖高带宽、强实时、开放式的数据通信来进行多方数据综合处理从而提高其控制性能,这也对新一代箭载总线提出了更新更高的要求。

传统的箭载控制系统总线主要使用的是20 世纪70 年代初期美国空军莱特实验室提出的飞机内部时分指令/响应式多路传输数据总线[1]——MIL-STD-1553B。1553B 总线网络在航天领域得到了很大的应用与发展,且均取得了巨大的成功[2],但其典型的1Mbps 的带宽和32 个终端数量极大地限制了其拓扑架构的可拓展性,已不能满足如今高带宽的复杂航天控制系统的应用。此外,由于传统总线功能的不完备性,控制系统中还存在多种总线并存、数据传输错综复杂的特点,不同设备间使用不同总线传输不仅检测可靠性差,故障诊断难度也较大。传统总线带来的多方面问题已经成为制约航天控制系统发展的瓶颈。

伴随着航天电子综合系统结构的复杂化和大数据量通信传输需求急剧增加的应用背景需求,将光纤传输技术应用于航天控制系统已成为当今控制系统总线技术的重要研究和发展方向之一。本文提出了一种基于FC-AE-1553 协议的命令响应式串行光纤总线——GLink 高速光纤通信总线(以下简称GLink 总线)。该总线在继承了光纤通道高带宽、低延迟、高可靠性的传输特性同时,又具备了极高的应用灵活性和低功耗结构特性。GLink 总线的技术研究满足了新一代箭载通信的对高速、强实时、一体化等需求,具有重要的国防军事意义与应用价值。

2 光纤通道协议介绍与研究

2.1 光纤通道协议层介绍

光纤通道协议(Fibre Channel,FC)是由美国国家标准委员会(ANSI)制定的一种高速串行计算机通信协议,具有带宽高、延迟低、拓扑结构灵活、对距离不敏感等优点,传输速率可达10GB。光纤通道凭借其优异性能被大量应用于航空航天高速电子设备互连当中,如F-18E/F、AH-64Apache、B-1B、V22 等,在未来军用领域有很大的前景[3~6]。光纤通道协议主要分为5 层模型结构,各层结构如图1 所示。其中FC-0 接口与媒体层,用来定义物理链路及特性;FC-1 传输协议层,定义了编码/解码方案、字节同步和有序集;FC-2 链路控制层,定义了传送成块数据的规则和机制;FC-3 通用服务层;FC-4 协议映射层,定义高层协议映射到低层协议的方法[7]。

图1 光纤通道协议

FC-AE-1553 协议(Fiber Channel-Avionics Environ-ment-Upper Layer Protocol MIL-STD-1553B Notice 2)是一种命令/响应式总线,是基于FC-AE底层协议在FC 上层映射MIL-STD-1553B 协议[8],使得FC-AE-1553 兼顾对传统MIL-STD-1553B 网络的保留与继承,便于原有型号应用移植的平滑过渡。FC-AE-1553 协议在终端数量、带宽、子地址等功能上有了极大的扩展,网络互连能力较传统MIL-STD-1553B 有了质的飞跃。GLink 总线在FC协议的基础上对FC-AE-1553 各层协议进行了分析与裁剪,并根据新一代箭载总线的实际应用需求进行了设计。

2.2 GLink底层协议研究

GLink 总线在FC-0 层采用并串/串并转换(SERDES)实现高速数据通信,利用CDR 技术从数据流中恢复时钟和数据。传输介质可包含电传输和光传输两类,如双绞线、同轴线缆、单模或多模光纤,支持板上、板间、机间和机外传输。根据FC-0协议规定,光缆支持最高到10km 的点到点连接长度,适应目前箭载控制系统所有介质的不同距离不同用法。

在FC1层,GLink总线根据FC协议定义采用了8B/10B 编解码方式,每8bit 字节采用10bit 编码。这样的编码方案保证了有足够的信号传输数量,以支持线性同步,并能传送特殊的控制字符[9]。在FC-2 层,FC 协议完成了帧格式的定义、交换的管理、流量控制机制、CRC 校验等。流量控制方面Glink 总线采用的是FC 协议中定义的缓冲到缓冲(buffer-to-buffer)的流量控制方式,根据接收方缓冲的容量来确定发送控制的信用值(credit),表示当前已发送但还未被确认的帧的数目,并根据实时发送帧和接收到R_RDY 原语信号来对信用值进行加减。通过比较信用值与接受缓存设定的值的大小关系,可判断出目前链路的拥堵状态进而实现发送接受仲裁。同时,GLink 总线采用CRC 校验原理对收发数据进行校验,可实现大容量、高速度、高可靠性和高效的信息传输,可以有效地提高系统的检错能力[10]。

2.3 拓扑结构研究

FC-AE 协议中定义的主要基本拓扑结构为环状拓扑和交换拓扑,为满足航天控制系统的可靠性需求,基本拓扑主要以双向环和双冗余交换机的拓扑型式作为典型应用。典型拓扑结构介绍如下。

1)双向环设计

双向环拓扑如图2 所示,通过采用正、逆向双环结构增加仲裁环的余度和可靠性。双向环中环节点任意两个设备间可通过顺时针或逆时针方向进行数据通信,容忍在顺时针或逆时针方向存在一路链路故障而不影响通信正常完成。

图2 双向环拓扑

2)双冗余交换拓扑

双冗余交换拓扑(图3)是在典型交换拓扑的基础上根据航天实际应用需求设计的应用拓扑架构。通过使用双冗余交换机,可实现航天设备通道间的物理隔离和冗余备份,从而实现航天设备通信数据的双冗余传输,极大地提高了系统可靠性。

图3 双冗余交换拓扑

3)混合拓扑

为满足箭上系统设备间多样的数据类型和复杂的连接需求,GLink总线在满足以上基本的交换网络和环网络外,还支持多种形式的混合拓扑,可根据不同箭载系统的实际需求和控制系统的特点进行混合和使用。如图4 所示,双向环可基于桥接节点实现多个环的混合拓扑。在该拓扑架构中,通过桥节点实现多个双向环网络之间的级联。

图4 混合双向环拓扑

图5 为一种典型的双向环/交换混合的应用拓扑。在该拓扑架构中,桥节点通过连接在双冗余交换机上实现了交换网络与双向环网络的级联,基于此拓扑,连接在交换网络中的设备可以和连接在环网络中的任一设备进行数据交互,实现了混合拓扑的通信。

图5 混合拓扑

3 Glink总线网络节点设计及关键技术研究

3.1 网络节点设计

FC-AE-1553 协议中定义NC 为网络控制器,即交换发起者;NT 为网络终端,即交换响应者。Glink 总线采用FC-AE-1553 提供的十种传输格式中的NC-to-NT 和NT-to-NC 以及模式码传输格式进行信息传输,采用与传统MIL-STD-1553B 相同的“命令+响应”的消息结构实现通信。GLink 网络内传输由网络控制器NC主动发起,网络终端NT接收到NC 发出的有效命令帧后,向NC 发出响应;NC确认响应正确后,结束当前传输。GLink 总线基于FC-AE-1553 协议设计的网络终端节点模块如下图6所示。

图6 网络节点模块结构组成

GLink 总线网络终端节点模块以基于FPGA 开发的IP核模式实现了网络控制器NC、网络终端NT和监听NM 三大块功能,可在Xinlinx K7、V7、Z7 系列等带有GTX/GTH 资源的FPGA 中进行移植使用。采用与BU61580相似的存储器管理架构,可在保留软件架构的前提下,实现从传统MIL-STD-1553B 通信平滑过渡到光纤通信。为满足实际应用中总线上控制流和大数据流两类典型传输业务的需要,设计出了控制流NC(CtrlNC)和智能NC(SmartNC)两类NC和控制流NT(CtrlNT)和智能NT(SmartNT)两类NT。控制流NC、NT 的主要特征在于提供CPU访问接口和存储缓冲管理机制,适用于有处理器参与数据处理的数据传输量较小的应用场合;智能NC、NT 的主要特征在于对外提供FIFO访问接口和单次大数量传输,除满足控制流传输外,还可以满足图像或视频类数据传输业务需求,适用于由FPGA 器件直接处理传输数据的无CPU或减少CPU处理负荷的场合应用场合。

FC-AE-1553与传统1553B总线的一个重要区别在于,在FC-AE-1553 网络中可允许同时存在一个或者多个网络控制器,为多数据源并发提供了基础。GLink 总线在此基础上,对每一个节点均基于协议实现了控制流NC、NT和智能NC、NT的集合功能,可根据数据传输需要可以配置为单功能站点或NC/NT 混合功能站点。基于此,GLink 总线网络内各NC 终端均可以自主发起数据传输,也支持多个处于NC模式下的网络终端同时对一个处于NT模式下的网络终端发起访问。NT网络终端按照时间顺序依次对各NC进行响应,极大地提高了网络效率。

3.2 关键技术研究

1)通道双冗余发送和去冗余接收

传统1553B 总线传输消息仅可在单通道上发起传输,且传输速率较慢,若当前使用的通道存在瞬态故障时,发送端需等待较长的超时时间后才能启动重传操作,对数据的实时性产生了较大影响。为有效避免单通道瞬态/永久故障带来的重传需求,设计在发送数据时同时在A、B两个通道上发出有效负荷完全相同的数据;对于接收数据的网络终端,负责接收A、B两个通道上相同拷贝的数据,并在接收站点上自动实施去数据冗余操作,避免了因单通道传输可能产生的故障影响传输效率和可靠性。

2)重传管理

由于环境或链路等产生的故障从而导致的传输失败需要总线进行识别并组织数据重传,但传统总线不区分重传与新数据的操作会使得网络终端可能对相同数据响应多次从而影响数据顺序接受。为使重传的数据与新发起的传输区别开来,总线通过记录上一条接收命令的时间标记对比从而识别出重传消息或新消息,进而实现对一条消息只响应一次的目的,保障网络终端接受数据的完整性。

3)传输业务按优先级分类管理

同时间段内控制系统总线上可能存在多种数据类型,其传输特性的需求也不尽相同:比如控制指令要求低传输延迟特性的传输业务,遥测数据则数据量相对较大,对传输延时要求不高。为适应系统对于不同数据流需求的轻重缓急性质不同,对于发起数据传输设计出了传输的不同优先级配置,总线内通过FC-2层的流量控制对实时带宽进行分析监控,从而分配不同优先级业务的带宽传输。

4 GLink总线的系统应用及验证

4.1 GLink总线的系统应用

火箭的电气系统与控制总线的拓扑结构息息相关,各个设备间的信息交互关系都可由总线拓扑架构体现。环型拓扑相对实现成本低廉,且双环的冗余设计保障了因单一链路故障导致的整个环路传输失败,提高了可靠性。但由于环上所有节点均数据转发共享带宽,设备越多,环拓扑延迟越大,因此实时性效果较差,不适宜传输数据量较大的信息。因此在实际使用中,环型拓扑适合多个对带宽和时延要求不高的需要相互交互的设备连接使用。

交换型拓扑可同时支持多个设备通信并且不共享带宽,因此能提供更多的冗余带宽,为实时消息传输提供了更好的保证。交换型拓扑还具有热插拔特性,可在保证其他设备通信的条件下进行设备的增加和删除,保证级间分离后处于工作状态的电气系统设备间能够继续可靠通信,这保证了交换网络有比环型拓扑更高的可靠性和确定性。因此适合火箭级间分离设备和对带宽要求较高的设备使用。交换网络物理链路与信息流向一致,拓扑结构简单,但仍具有占用资源较大,长通信线缆多等问题。

近年来,随着任务复杂程度的提高,环境要求变得更为苛刻,所需处理的数据复杂程度和数据负荷量都有了质的飞跃,对传输的可靠性和带宽有了更高的要求。基于以上各类拓扑的特点,根据实际环境利用GLink 混合拓扑能够很好地支撑火箭复杂集成度高、小型化等问题,实现全系统各层级总线一体化应用互联。典型的箭上拓扑架构使用如图7所示。

图7 典型箭上拓扑架构

箭上所有设备全部基于GLink 总线进行通信。根据火箭的分级结构及每级的特性,总线采用了交换+环的混合拓扑进行布局:根据火箭的分级结构,每级采用交换机作为级间连接,保证级间分离后处于工作状态的电气系统设备间能够继续可靠通信。考虑到箭上控制系统通常以箭载计算机为中心进行各个系统的大量数据交互和传送,可将箭载计算机作为总线控制器端(NC)并采取冗余措施提高可靠性[11]。箭上其他非关键传感器类设备可采用单节点方式接入。系统总线每级的交换机采用双冗余机制,保障通信的冗余性和可靠性。交换拓扑可最多支持4096 个设备;采用交换机可以拓展每级可连接的设备,可以满足目前日益增长的设备数量和日益增高的通讯数据传输率。交换机还具有全网无遗漏监听功能,通过交换机网络内任意一级交换的本地监听端口,可实现对各级交换机内数据通信的无遗漏监听。

箭上设备可分为机内和机外设备。由于机外更容易处于不稳定或恶劣的环境,可能对链路产生影响,因此为增强可靠性,对于机外设备优先考虑连接在本级的双冗余交换机上,保证通信的可靠性。对于机内设备,由于机内设备间多用链路连接多走插板或背板式,链路质量相对保障性高,因此对于需要互相通信的场合可以采用更加节约资源的环状拓扑,通过将环状拓扑连接到交换机上可使机内机外设备互相通信,主机板可迅速掌握各设备的状态并根据情况进行处理。

对于地面测发控控制,GLink 总线提供最长距离可达10km 的光纤通讯通道,使得自动化程度高的远距离测试发控模式成为可能。为保证电气系统测试时箭地指令发送与数据传输质量,特别是某些应急操作的可靠性,地面设备通常采用双机热备冗余方式连接至冗余网络[12],此时可同时采用双冗余交换拓扑保障数据通讯。此外,地面测试设备可通过GLink 总线在地面通过监听获取箭上交换机全网设备间的通讯数据并进行分析测试,从而实时掌控各设备的运转情况和运行阶段。基于GLink总线,火箭控制系统可实现从箭上到地面、从机内到机外外真正的箭地通信一体化。

4.2 系统搭建及验证

为测试GLink 总线技术功能是否正常,以及设计的拓扑机构是否能满足火箭控制系统实际使用,设计了GLink 总线混合拓扑验证系统。系统包含总线控制器、交换机、桥三类设备,均为基于FPGA的成熟的IP 核实现的设备,CPU 通过EMIF 接口对设备进行配置和状态查询。

设备板卡构成框图如图8 所示,IP 核移植在Xilinx K7 410t 系列FPGA 端,可实现总线控制器、交换机、桥三类设备的核心功能。板卡采用DSP6713 通过EMIF 接口对设备的寄存器和存储器进行功能配置和数据读写。板卡提供16个GTX 高速口和光口,IP 核传输的数据通过FPGA 提供的GTX端口与光电模块进行连接,并采用光缆进行设备间的连接和传输。

图8 光纤总线设备板卡构成图

图9即为GLink总线混合拓扑验证系统。该系统包含了两级交换机级联,每级交换机采用双交换机冗余的模式模拟箭在总线的硬件架构,并在第二级交换机上设置监听设备进行全网监听。同时,通过交换机+桥的混合拓扑结构,模拟机内机外设备连接模式。在此高度集成的混合拓扑架构下,可验证实现节点通过交换机级联的传输、NM 对全网数据的监听、混合拓扑终结点之间的通信等多个功能。

图9 混合拓扑验证系统

通过搭建混合拓扑验证系统,考核了混合拓扑下总线通信各项功能和性能参数,如系统的传输带宽、控制类数据传输发起策略、响应时间、中断机制、多种存储器管理模式,大数据类数据传输带宽,长时间通信误码率统计。同时,实验还通过在通信中进行通道瞬态故障和永久故障的模拟与注入,确认故障自动检测和传输自动重传机制的有效性与可靠性,进而确认总线数据传输的容错性与安全性。

实验表明,总线传输带宽范围为0.6Gbps~6.25Gbps,比传统总线提升了3 个数量级。三种节点类型IP 核功能可满足功能需求,并且混合拓扑结构下可实现大带宽的通讯速率和较好的故障容错率,数据通信链路双冗余的设计可实现高可靠、低误码率的实时数据传输,传输误码率优于10-12,相较以往降低了5 个数量级。传输时间确定可控,同时具有异常检测、隔离和自动重传功能,相较MIL-STD-1553B 在各个方面的性能都有极大的提升。GLink 总线与1553B 总线的性能比较如表1 所示。

表1 GLink总线与1553B总线的性能比较

5 结语

GLink 总线是基于FC-AE-1553 研制的新一代箭载高速光纤总线,具有高带宽、强实时、低误码率等特点,在可靠性、带宽、传输效率等性能方面相较传统总线产生了质的飞跃。运用GLink 总线支持的多种拓扑架构,运载火箭可实现系统间、设备间、板卡间设备的所有通信,并具有极强的可拓展性,可实现箭地通信一体化。通过实验,验证了GLink总线的优异性能及各项拓扑结构的有效性,满足了火箭对安全性、可靠性、数据吞吐率等各方面要求,可为今后的各类火箭提供更高性能的数据传输服务。

猜你喜欢
链路交换机总线
一种移动感知的混合FSO/RF 下行链路方案*
基于Android设备的异构无线链路聚合软件①
关于CAN总线的地铁屏蔽门控制思路论述
浅谈交换机CAN基本配置
一种IS?IS网络中的链路异常检测方法、系统、装置、芯片
罗克韦尔发布Strat ix 5410分布式交换机
信息网络中交换机的分类和功能
Q&A热线
PCI9030及其PCI总线接口电路设计
DHCP Snooping模式的部署