互联网时代运营商三大存储场景技术选择解析

广东省电信规划设计院|李雪永 汪梦云

互联网时代运营商三大存储场景技术选择解析

广东省电信规划设计院|李雪永 汪梦云

爆炸式增长的数据对存储容量、访问性能和存储成本等提出了前所未有的挑战。不分应用场景，单维度地选择存储技术已经不能满足当下庞大的数据存储需求。如何选择最合适的存储技术实现存储资源的最大利用？本文尝试浅析一种新的选取方法，对不同应用场景中如何选取存储技术提出建议。

面对爆炸式增长的数据存储需求，本文针对不同应用场景下如何选取最适合的存储技术提出分析方法，并选取其中部分应用场景，通过分析方法，试图找到该场景下存储技术的最优选择。

运营商现有存储系统存在惟高端论、惟容量论、惟价格论等问题，未综合考虑业务场景、性能要求、成本等因素，盲目选购高端存储，大材小用造成资源浪费。或者单纯以容量为选型标准，忽视存储技术的多样性，加剧每TB成本的不合理构成。以广东某运营商为例，FC SAN存储总容量中高端SAN存储容量占比高达94%。随着ICT产业演进到以云计算、大数据、移动、社交媒体为依托的第三平台，全球数据存储量呈爆炸式增长。

据Gartner预测，到2020年，全球数据量将达到40ZB，年复合增长率超过50%。为适应上层应用的结构性变革，对应底层存储也经历了直连式存储、传统存储、云存储三个阶段。爆炸式增长的数据对存储容量、访问性能和存储成本等提出了前所未有的挑战。不分应用场景，单维度地选择存储技术已经不能满足当下庞大的数据存储需求。如何选择最合适的存储技术实现存储资源的最大利用？本文尝试浅析一种新的选取方法，对不同应用场景中如何选取存储技术提出建议。

分析方法与场景分类

对于不同场景的存储技术选择，可以按照指标选取、基准分析、场景选取及分类、指标排序、场景分析的流程进行，如下图1所示。

应用场景按照存储的数据类型可分成数据库场景和文件及对象场景两大类场景。具体场景分类详见下表。本文仅选取其中的内存数据库、普通文件读写及历史文件、海量大文件三种场景进行分析方法的阐述。

存储技术选择分析

高性能内存数据库

1、场景描述

主机在内存中运行内存数据库，存储的读写压力来自内存数据库的数据定期确认，数据容量小于100G。但要求在规定的时长（如5～10分钟）完成，单库带宽要求为大于300MB/s，且系统要求日志实时落盘，因此延时小于5ms。内存数据库使用块存储，且数据容量极小，通常小于100G。

2、指标选取

由于该场景IO块属于带宽和时延敏感性的场景，可以减少考虑IOPS指标。

3、指标分析

内存库使用块存储，因此可选的只有FC SAN、IP SAN和分布式块存储。从性能需求来看，只能选择FC SAN才能稳定保持5ms以内，加上带宽需求，可选只有部分高端存储和闪存阵列。加之使用内存库的场景均属于核心系统，对于安全可靠性要求比较高。高端存储和闪存技术成熟，在安全可靠性及管理便捷性均能满足需求。

4、结论

由于内存库的容量比较小，且性能要求高，因此非常合适全闪存阵列，如果使用高端FC阵列，保证性能可增加SSD。因此，内存数据库场景推荐使用FC SAN组网，配置全闪存盘阵或混合盘阵，保证高带宽和低延时性能，如图2所示。

图1 分析方法流程图

普通文件读写及历史数据

1、场景描述

该场景属于性能要求不高，IOPS级别为几万、低时延小于20ms、数据量适中，为几十TB或几百TB。

2、指标分析

该场景属于文件存储，容量适中，因此可选的是NAS、FC SAN（配合文件系统存放数据）、分布式文件存储和对象存储。

3、场景分析

NAS、FC SAN（配合文件系统存放数据）、分布式文件存储和对象存储的性能、容量及扩展性、安全可靠性和管理便捷性均可满足需求。由于该场景性能要求不高，一般存储方案均能满足，但考虑造价因素可以排除FC SAN。分布式文件存储和对象存储从性价比来说优于传统NAS存储，且更符合未来发展趋势。

4、结论

普通文件场景推荐使用IP组网，配置分布式文件存储和对象存储，减少传统NAS的使用，严禁采用FC SAN存储普通文件或历史数据，如图3所示。

海量大文件

1、场景描述

该场景一般为视频的采集、处理、共享、分析等或高品质音乐文件。数据特征为顺序读、追加写，数据量大（PB级），如互联网电视视频文件的存储。

2、指标选取

IOPS对该场景的意义不大，因此性能指标仅考虑带宽和延时。

图2高性能内存数据库

图3 普通文件读写及历史数据

图4 海量大文件场景

3、指标分析

该场景属于文件存储，因此可选的是NAS、分布式文件存储、对象存储和共享式集群文件存储（FC SAN+共享文件系统）。

4、结论

NAS、共享式集群文件存储、分布式文件存储和对象存储的性能、容量及扩展性、安全可靠性和管理便捷性均可满足需求。海量大文件通常要求低造价，分布式文件存储和对象存储从性价比来说优于传统NAS存储，且更符合未来发展趋势。要求应用比较丰富或写入后不再更改的场景宜采用对象存储；如果大文件需要反复修改就不合适采用对象存储。

海量大文件场景推荐使用IP组网，配置x86大容量存储服务器节点，部署分布式文件系统、分布式对象系统，如图4所示。面对爆炸式增长的数据存储需求，本文选取几个常用存储场景，并针对目标场景需求按照指标模型分析，再与各种存储技术（传统存储、云存储）的典型指标逐一对比，试图找到每种场景适用的存储技术，并且在某运营商已经开始运用。

编辑｜王熙 wangxi@bjxintong.com.cn