云存储步入微秒时代

2019-08-30 08:23郭涛
中国信息化周报 2019年27期
关键词:全栈硬盘时延

郭涛

我去成都基本都是为了工作,所以一直没机会体验他人口中惬意的成都“慢生活”。据说,热爱生活的成都人在罕有的出太阳的日子里,不惜放下手中的工作,也要呼朋唤友地去晒太阳、喝茶、打麻将……

与听来的成都“慢生活”不同,我出差时在成都看到的多是在各种科创园区里行色匆匆的年轻人的身影。又有谁留意过这“慢生活”背后的紧张与忙碌?

众所周知,成都是很多国内外知名企业重要的研发基地,因为这里高校林立、人杰地灵,而且这里的人有种与生俱来的坚韧不拔的精神。

华为全球存储研发的大本营就设在成都。7月2日,乘着“成都·选择不凡——华为云城市峰会2019”召开的东风,华为云存储All-Flash战略正式发布,全新一代极速IO云硬盘也同时亮相。

微秒时代已来

大容量、高性能、低成本,这应该是与存储紧密捆绑的几大核心关键词。全新一代极速IO云硬盘的发布,是华为云存储All-Flash战略落地的关键一步,也标志着华为云存储从毫秒时代正式迈入微秒时代。

作为云存储微秒时代的“代言人”,华为云极速IO云硬盘的表现可圈可点、名副其实:时延低至50μs~100μs,具有4GB/s带宽和高达100万IOPS的性能,能够满足结构化数据库、半结构化数据库和ELK分布式日志应用,以及流处理等诸多应用场景对性能的极致要求。

在古龙的武侠小说《小李飞刀》中曾这样描写小李飞刀:例无虚发,只出一刀,无人能挡,只因天下武功无坚不摧,唯快不破。如今看来,存在于武侠小说中的“唯快不破”,在真实的存储世界中同样适用。Flash闪存对传统机械硬盘的替代也少不了一个“快”字。

华为全球产业展望(GIV)报告显示,全球年数据增量将从2018年的32.5ZB快速增长到2025年的180ZB。这其中涉及两个问题:一方面是数据量爆炸性增长带来的存储容量和访问的压力;另一方面,当前企业数据的利用率只有区区10%,数据背后的价值远未得到有效释放。二者之间的矛盾也成了推动存储不断创新、求变的最大驱动力。研发出更高性能、弹性伸缩、无限扩展、最优性价比的云存储势在必行。

在这次成都城市峰会上,华为云CTO张宇昕举例说,随着人工智能、VR/AR、5G、自动驾驶等技术的快速发展,应用对云存储的实时处理能力提出了更高的要求。比如,金融风控要求延迟在30毫秒以内;自动驾驶则要把延迟控制在1毫秒。其实,不仅仅是互联网应用、金融业务等需要快速响应,就连许多工业领域的应用也要求极低时延。企业应用快速上云,云存储即刻响应,这已经是各行业普遍性的需求,是大势所趋。毫不夸张地说,支撑智能世界的数据平台至少要达到百微秒量级,才可能满足数据实时性的需求。那么,存储性能的瓶颈究竟该从哪里打破?谁又能来引领从毫秒到微秒的飞跃?

5G时代正加速到来,广域网传输的时延可以控制在毫秒范围之内。也就是说,未来网络并不是最大的瓶颈,真正的瓶颈来自于数据中心内部。数据通过服务端软件、网络、存储服务器,最终抵达介质,这一过程就是实现性能突破的“最后一公里”。进入百微秒级时代,平均时延达4毫秒的机械硬盘(7200转)成了第一个被优化和颠覆的对象。相比机械硬盘,闪存具有更高的性能和20μs的极低时延。

回想当初,从闪存被用于企业级存储的第一天起,人们就已经在畅想未来全部由闪存构成的云数据中心。今天,全闪存的高光时刻终于到了:从应用的角度来看,AI、实时分析、高并发处理等,要求一个新的以闪存为核心的企业智能数据底座;从存储技术本身看,全闪存无论是从技术成熟度、应用优化,还是业务场景的开拓上,已经到了厚积薄发的最佳时机;再从云存储厂商的角度看,以华为云为代表,不仅大力投入全闪存的技术研发,从芯片到硬件系统,从算法到存储软件,从解决方案到云存储服务,形成了全栈能力,而且通过多轮的全闪存普及风暴,对整个市场、合作伙伴和行业客户进行了有效的先期教育和培养。全新一代极速IO云硬盘的推出,就像是打开了一道闸门,微秒时代的数据洪流将喷薄而出,势不可挡。

“最后一公里”这样被突破

以全新一代极速IO云硬盘为开端,华为云希望以独特的创新技术产品、接地气的服务,打造全新的智能数据底座。全新一代极速IO云硬盤的与众不同之处可以用“2+3”来概括,即“两个创新和三个加持”。

第一“新”,全新的Flash-Native存储引擎。不要折中,也不要妥协,为全闪存应用而设计和优化。针对闪存本身具有擦除寿命、不支持覆盖写等限制,全新设计的Flash-Native存储引擎采用闪存友好的数据布局,可提升闪存寿命5倍以上,数据持久性高达“11个9”。据张宇昕介绍,Flash-Native存储引擎可支持不同负载的应用,充分发挥多核调度优势,并且保证数据读写路径最优,从而带来低于百微秒的时延与百倍以上并发访问性能的提升。

第二“新”,全栈架构创新。闪存纵有千般好,但独木难支,孤掌难鸣。闪存的设计和优化是突破口,但整个架构的创新才是最重要、最基础的保障。华为云通过全栈架构的创新实现了数据IO与控制分离,让芯片重构数据读写,让软件实现智能调度。张宇昕举例说,部分算法被卸载至芯片中,网卡可以直接将数据写入闪存介质,从而节省大约60%的CPU开销,再配合华为的极简网络与数据中心级的创新,整体能耗可节约30%。

“两个创新”为华为云存储提供了一个更多施展和上升的空间。然而就像火箭的发射,还需要一级一级的助推器,不断施加动力。自研芯片、算法、AI就像是三大助推器,让智能数据底座更快、更稳。

华为云All-Flash战略

下面,我们就来说说“三个加持”。

第一个“加持”,全系列自研芯片。极速IO云硬盘因为有了华为全系列自研芯片的加持,从“算、传、存、智”四个维度增强了数据处理全流程。芯片与架构紧密配合,充分发挥了华为鲲鹏CPU在多核、低功耗等方面的优势;同时,通过高性能智能网卡芯片、SSD存储控制芯片实现了数据的直接访问;结合华为昇腾AI芯片,让全栈软硬件联动创新,并首次实现了云存储在芯片级的深度定制优化。

第二个“加持”,硬核数学算法。极速IO云硬盘因为有了硬核数学算法的加持,将存储写带宽与数据重构带宽提升数倍的同时,通过自适应差量压缩算法,将数据压缩率提升3倍,通过大规模网络拥塞控制算法,可以大幅度降低网络拥塞的发生概率,将长尾时延降低30%,时延稳定性也更优。

第三个“加持”,AI。极速IO云硬盘因为有了AI的加持,可以让存储“越用越快”。华为云存储将人工智能技术融入分布式存储的全生命周期,可智能识别用户业务模型,实现存储平台的自主调优和自我进化。借助AI的预测能力,可以预判30天的性能趋势,提前14天发现故障盘并自动隔离;AI控制的引入,可以智能预测用户系统的性能趋势,并根据用户提前配置的自动扩容等策略完成调整,保障业务平稳运行。

需要强调的是,华为云要打造的不仅仅是一系列新的全闪存产品和服务,而是一个能够支撑企业数字化的新型智能数据底座。因此,华为云的创新不是一个个孤立的点,而是一个面或者说一个整体,即融“全闪存、全系列、+智能、全栈创新”为一体的战略布局和规划。未来,华为云将致力于让AI加持的云存储时延逼近介质的极限,并让块存储、文件和对象存储都实现基于全闪存的进化。

其实,无论在生活中,还是在IT世界中,“快”与“慢”都要辩证地看。以华为云极速IO云硬盘为代表的“快存储”,也是为了给客户提供更好的应用体验,让他们有时间、有心情去享受“慢生活”。这时,“慢”与“快”就是一个和谐的统一体了,不是吗?

猜你喜欢
全栈硬盘时延
基于项目班的全栈开发人才培养模式探索
惠尔智能 自动驾驶全栈解决方案
HiFi级4K硬盘播放机 亿格瑞A15
Egreat(亿格瑞)A10二代 4K硬盘播放机
基于GCC-nearest时延估计的室内声源定位
基于改进二次相关算法的TDOA时延估计
网易云发布全球首款云计算全栈一体机
FRFT在水声信道时延频移联合估计中的应用
基于分段CEEMD降噪的时延估计研究
我区电视台对硬盘播出系统的应用