一种高性能低成本闪存系统设计

王晓伟,彭佳煜,余江南

(中国航空工业集团公司西安航空计算技术研究所,陕西 西安 710065)

0 引言

高性能存储技术在现代航空航天系统中占有非常重要的地位,存储系统是航天航空系统中重要的基础装备,其可靠性、安全性、维修性对信息系统具有重要影响。随着航空航天的蓬勃发展,大量新技术的应用以及复杂的用户需求,必将要求存储系统大幅度提高操作灵活性、存储容量以及存储速率,并且在保证可靠性的前提下尽量缩减成本。与传统的航空航天产业相比,对存储系统的需求变更主要体现在以下几个方面:(1)成本优先,使用低等级、工业级元器件。(2)冗余容错设计,提高系统可靠性。(3)标准化、模块化设计,提高系统扩展能力以适应不同客户需求,减少研制周期。

基于上述的发展趋势和需求分析,本文提出了一种以创新性的可重构系统架构、先进的存储管理体系、关键级的冗余容错设计为核心的低成本、高性能大容量闪存系统。

1 系统设计

整个存储系统由1块数据输入接口板、1块主控板、3块存储板、1块压缩板共6块功能板组成,所有功能模块共同插在设备顶部的母板上。

其中,数据输入接口板负责接收前端相机系统传输过来的图像数据,对输入数据进行缓存、识别、分拣,转化成存储需要的数据包格式,通过16路GTH接口将数据包传送给主控板。主控板为整机核心控制单元,对外接收上位机遥控指令,并按要求返回存储系统的状态参数,对内运行文件管理系统,向存储板的存储单元传输控制命令,同时管理数据的复接及分发,通过20路GTH将数据包传输给10个存储单元,每个存储单元对应2路GTH。存储板为存储基本单元,以NAND FLASH作为存储介质,管理NAND FLASH地址映射关系及坏块替换,管理NAND FLASH的接口控制器,将数据存储到NAND FLASH中。压缩板为存储后级处理单元,管理对图像数据的压缩功能。

存储系统工作在记录模式时,数据输入接口板接收高速串行图像数据,将数据帧送至相应的数据缓存区。缓存区的数据达到传输阈值后将数据送往主控板。主控板作为前端处理模块,一方面通过16路GTH接收写入数据,另一方面通过主控板后端的20路GTH链路管理存储板上的10个存储单元。当存储板收到开始记录指令和所需的数据量后,将数据发送给NAND FLASH闪存阵列。存储系统工作在回放模式时,主控板找到回放文件对应的逻辑地址,然后将其发送给存储板。存储板根据接收到的逻辑地址,查找映射表得到对应的物理地址,将数据从NAND FLASH中读出来,通过GTH发送给主控板。主控板将收到的10个存储单元的数据进行组包,在收到压缩板的数据请求信号后,通过与压缩板相连的8路GTH接口将数据传输到压缩板,完成数据的回放[1]。

1.1 数据输入接口板电路设计

数据输入接口板作为存储系统与用户之间的数据接口,采用Xilinx Virtex-5高性能FPGA并挂载大容量DDR缓存,数据输入接口板与主控板之间为16路GTH互连,根据不同客户需求,对外可灵活配备不同的接口,如光纤接口、Cameralink接口等,通过数据接口接收来自相机的图像数据流,并根据高速串行总线数据传输协议将输入数据组成系统内部帧格式,将图像数据帧通过FIFO和DDR缓存处理后送给主控板。

1.2 主控板电路设计

主控板作为闪存系统的核心控制单元,采用Xilinx Virtex-7高性能FPGA及大容量DDR缓存,与各个存储板的存储单元之间通过2路GTH全双工互联。限于FPGA芯片GTH通道数量,每个Master板可管理 10个存储单元,通过对存储单元的灵活配置,既可以根据用户存储速率及容量要求减少存储板卡装机数量,降低系统功耗及重量尺寸,又可以根据可靠性要求提供冗余设计,提高产品使用寿命。

主控板的数据搬运的主要工作模式有2种,一种是从数据输入接口板取数送给存储板的存储单元,将数据记录到NAND FLASH中;另一种是从存储板的存储单元中取数,将NAND FLASH中的数据回放出来通过GTH接口送给压缩板。硬件设计的架构上也相应地分了前后两部分。每部分都由输入输出模块、DDR控制器、VFIFO和总线构成。除此之外,2部分都被以MicroBlaze为核心的控制模块所管控。各个模块中大部分采用了AXI总线的方式相互连接。

1.3 存储板电路设计

存储板设计为标准板卡,每个板卡容纳 3个完全独立的存储单元。存储单元为存储板的基本单元,采用Xilinx Virtex-7高性能FPGA和MLC型NAND FLASH存储芯片,辅以大容量DDR缓存,每个存储单元设计存储容量4 Tbit并且存储单元具有独立的FLASH地址管理、坏块管理及接口管理系统,面向主控板的是一个只有逻辑地址的存储区,为主控板灵活组合、配置多个存储单元提供支持。

存储板装配了10个存储单元,其中在正常工作时使用了8个存储单元,总容量为32 Tbit,为了延长产品的寿命,在其内部采用了磨损均衡算法,32 Tbit容量交替使用,为了进一步确保产品的寿命,额外添加了2个存储单元作为冗余备份,当在使用过程中发现某一个存储单元的坏块数明显增多,无法满足设计要求时,使用冗余备份的两个存储单元将其替换掉,然后执行全部擦除指令即可,不影响产品的正常使用。在数据传送过程中,用于数据保护的 ECC 模块包含在存储模块内部,用于对写入数据时产生错误校验码及读取数据时对产生的错误进行纠错的功能。

1.4 压缩板电路设计

压缩板为后级处理单元,负责图像数据的压缩、加密以及单机数传部位的接口管理。在单机工作模式中,支持图像数据的直接数传、图像数据压缩后数传或进行离线压缩,将压缩数据回写至存储单元,并在过境时数传压缩数据。压缩板与主控板之间为8路双工 GTH互联,对外输出的4路差分数据信号及相关握手信号。

压缩板主要由3片Xilinx Virtex-5高性能FPGA、大容量DDR缓存及压缩芯片组成。其中一片主控FPGA主要完成CAN总线、RS422总体通信、数据收发、与另外两片FPGA之间各4路GTX数据传输等功能,另外两片FPGA主要和压缩芯片完成压缩功能,两片为对称性设计,其中,除每1片均与主控FPGA通过4路GTX收发器通信外,各有4片DDR芯片进行数据缓存,12片压缩芯片进行数据压缩。

2 关键技术

2.1 NAND FLASH芯片磨损均衡技术

本设计采用低成本大容量的MLC型NAND FLASH芯片作为存储介质,相对于传统存储系统常用的SLC型NAND FLASH芯片,MLC型FLASH擦除次数大大缩减,SLC 可重复擦写次数都在6万次左右,而 MLC型FLASH只能达到3 000 次,成为产品使用寿命的最大难题。NAND FLASH芯片的磨损均衡技术就是为了解决 MLC型FLASH 寿命问题,设计存储单元独立管理FLASH坏块及映射关系,对所有FLASH块的擦除次数进行统计、监测,动态调整逻辑地址与物理地址的映射关系,有效利用每一个FLASH块以降低擦除次数,并使所有FLASH块擦除次数“均衡”增长,超过设定的擦除次数波动范围,则优先使用擦除次数最少的块,以达到磨损均衡的目的。.

2.2 标准化、模块化、开放性设计

相对于传统存储系统构架,本设计将每一个存储单元设计成一个标准化的“小型存储系统”,一个主控板上的主控单元与多个存储板上的存储单元构成一个星形存储结构,存储单元负责NAND FLASH 存储介质的具体管理操作,对外仅是一个透明的存储空间,而主控板的主控单元负责对存储单元的上层调度及对外接口,保证了系统的可扩展性和开放性。根据不同的可靠性需求,可以选择装机备用存储单元进行冗余设计。在应用中,主控板可按地面指令随时调整存储单元的组合数量及组合方式,即使在寿命末期也可以通过减少存储单元的组合达到容量、速度降级使用的目的,提高系统运行可靠性。

2.3 多级容错设计

为了降低成本,本系统大量使用工业级器件,对空间环境的适应性降低,因此必须在系统中加入多级容错设计。首先内部数据链路全部采用 AURORA协议,减少信道误码率;主控板和存储板上的DDR缓存全部采用40比特ECC纠错设计,降低空间单粒子对DDR芯片的影响;在接收数据流中嵌入RS纠错码,并在系统出口进行 RS纠错,减少系统级误码概率;在NAND FLASH芯片存储最底层,加入 RS存储编码机制,使得存储数据 0、1负载均衡,降低NAND FLASH芯片读写误码率,通过多级容错全面提高存储系统的可靠性安全性级别。

2.4 掉电保护设计

掉电保护设计的目的是发生异常掉电时,有效地保护DDR缓存中没来得及存储到NAND FLASH中的数据以及各种表项。增加掉电保护功能电路,系统5 V电压异常掉电时,电路监测到外部输入电压低于阈值电压,启动掉电保护机制,启用储能电容进行供电,通知主控端做数据备份流程,将缓存中的数据写入NAND FLASH,通过计算最大需要60 ms的时间可以完成写入,在设计中储能电容可持续保持120 ms为存储单元供电,留有一定的裕量,在此时间内将缓存中的数据写入NAND FLASH[2]。

2.5 多通道并行存储技术

闪存系统的存储容量为40 Tbits,共10个存储单元,8个存储单元用于存储有效数据,2个存储单元用于备份,其中每个存储单元存储容量为4 Tbits,固件中频率越高,通道数越多,读写性能越强,该芯片可以设置8个通道,每个通道都独立于其他通道执行操作,互不干扰,如命令执行、数据传输等,因此可以并行地执行多个存储任务,性能相比于单通道,最高可以达到单通道性能的8倍[3]。

3 结语

本文瞄准航空航天迅猛发展的市场前景,介绍了一种以高性能低成本的工业级器件为核心的闪存系统,经过了在轨飞行验证,运行状态正常。基于该技术研制的闪存系统具有高传输带宽、大容量、低成本的优点,使用磨损均衡、多级容错、掉电保护等先进技术提高了系统在轨可靠性,通过核心模块的标准化、模块化设计支撑灵活的系统冗余能力,同时带来强大的扩展能力以面向不同用户需求。