一种分布式存储系统拟态化架构设计与实现

郭 威,谢光伟,张 帆,李 敏

(1.战略支援部队信息工程大学 a.信息技术研究所; b.教研保障中心,郑州 450002;2.复旦大学 计算机科学技术学院,上海 200203)

0 概述

随着云计算、大数据、物联网等技术的发展和普及,新一代信息基础设施逐渐由离散化服务器向集中化数据中心演变,促进了其应用模式的巨大变革。作为其中的数据服务支撑,分布式存储架构的研究与应用增强了系统的横向扩展、并行服务、容灾备份等能力[1]。但与此同时,高度集中化的应用场景特点、各类网络攻击手段[2-3]以及自身架构设计中对安全性考虑的不足,都使得数据存储环节面临巨大的安全挑战[4]。此外,资源、数据、服务共享的模式,不仅使得边界监测、补丁升级、加密认证等传统防御手段的应用受限,而且还为网络攻击、病毒传播提供了便利条件。在各类威胁中,网络空间普遍存在的未知漏洞和后门,由于难以及时被发现、处置和消除,已成为新一代信息技术推广应用的巨大阻碍。

主动防御是近年来网络空间安全领域的研究热点。受到生物界拟态现象展现的防御效应启发,网络空间拟态防御(Cyberspace Mimic Defense,CMD)被提出作为一种新的主动防御方法[5](简称为拟态防御)。CMD借鉴融合了移动目标防御[6]与可靠性领域非相似余度构造[7]的防御机理,利用动态异构冗余(Dynamic Heterogeneous Redundancy,DHR)模型构建多个隔离且异构的空间并行工作,以目标系统内漏洞和后门的差异性作为抵御攻击的基础,并通过对各空间多路结果的相互验证,感知攻击行为和受感染目标,从而有针对性地应对处理,为目标系统提供集安全性与可靠性为一体的内生防御能力。目前,该方法已经被广泛用于Web[8]、路由器[9]、SDN[10]等诸多方面[11-13],形成了良好的研究、应用和发展趋势。

在对存储系统的拟态化研究中,文献[14]提出以文件交互接口POSIX划定拟态界,对整个存储系统进行异构和冗余化,其通过比较多个系统对访问请求的数据文件响应,实现威胁感知和数据结果的修正。这种架构设计以标准协议接口作为拟态化对象,期望屏蔽各个异构系统的实现细节,但防御成本过高。在实际应用中,分布式存储系统通常由成百上千个节点组成,并且数据以冗余的形式存在[15],如果对全系统进行异构冗余化构建,会使得节点数量和数据冗余成倍增长,单位存储成本急剧上升,因此,实用意义有限。文献[16]对数据分段处理过程进行拟态化保护,利用网络编码技术提出一种基于再生码的拟态变换机制,可根据随机时变因素动态改变数据的存储状态,提升数据完整性和数据持续可用性。然而这种方式仅能保护数据的完整性和可用性,而无法保护数据的机密性和数据承载系统的安全性。文献[17]指出,DHR结构的威胁感知能力是基于拟态界上具有可比较的输出结果而存在的,如果以整个分布式存储系统的数据输出划定比较边界,那么系统内部的客户端、元数据节点以及数据节点间的异常交互将无法被及时发现,因此,并没有达到对系统进行保护的防御预期,其可获得的安全能力是有限的。

综上分析可知,在进行分布式存储系统拟态化设计时,需要根据防护目标确定合适的DHR模型使用方法,同时应从防御成本、可实现性、防护有效性等多个方面对拟态界选定及其架构进行考量,发挥CMD“要地防御”的原则和优势,确保系统在安全、性能、代价、可实现性等方面有效可行。根据这一设计思想,本文针对大数据存储Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)[18]设计拟态化架构Mimic-HDFS,为分布式存储系统的安全防护提供基本框架支撑。

1 威胁分析与拟态界选取

根据信息安全CIA三性可知,一个存储系统需要满足以下安全要求:1)机密性,即数据信息在传输和存储状态时需要拥有特定的权限才能进行访问,不应泄露给未经授权者;2)完整性,即数据信息在传输和存储状态时没有被非法添加、删除、替换等,合法访问得到的结果是正确有效的;3)可用性,即存储系统随时能为授权者提供正常、有效的服务,合法的操作请求不会被不合理地拒绝。

目前,传输过程的数据安全性一般通过网络保护措施和传输加密来保证,可用性所涉及的DoS攻击也不属于拟态防御的防护范畴,因此,本文中不做过多讨论。权限的鉴别和管理一般通过运行相应的“认证-授权-审计”即3A服务[19]来保证,负责对访问发起者的身份和申请的操作进行合法性确认,是存储系统重要的安全机制。但是,基于漏洞和后门发起的攻击能够通过绕过甚至破坏安全机制达到攻击目的,因此,本文通过引入CMD的动态、异构、冗余机制来加固服务。对于分布式存储系统而言,其所面临的攻击可归纳为数据窃取(破坏私密性)和数据毁损(破坏完整性)两种方式,此处结合攻击链模型给出其一般架构下的实现途径,如图1所示。图1(a)中的数据窃取攻击目标是非法获得系统中存储的用户数据,此过程需要先获取元数据节点上的数据组织映射关系和位置关系,再通过对具体数据节点的数据块进行窃取组合还原出目标文件。图1(b)中的数据损毁攻击目标是要破坏用户数据,此过程只需要对数据节点上的块进行破坏即可,无需攻击元数据节点。

图1 针对分布式存储系统的攻击途径

由上述分析可知,在实施攻击时,对象的选取具有决定性作用,下面以HDFS中客户端、元数据节点、数据节点3种角色作为攻击目标探讨攻击效果。

1)客户端。在系统3A服务正常工作的条件下,如果攻击者劫持了某个客户端节点,那么攻击者也仅能获取该客户端上用户的访问权限,窃取有权读的数据,篡改破坏有权写的数据。这样,只要管理员能够对用户群组的权限进行合理配置,攻击就不会波及到其他用户的数据。所以,该方式的攻击影响力相当有限,一般作为攻击跳板以便于后续对元数据节点或数据节点进行攻击。

2)元数据节点。作为系统中的核心信息和服务功能承载,一旦攻击者劫持了元数据节点,则元数据信息及相关服务功能将面临极大威胁。一方面,攻击者可以直接窃取或篡改元数据信息,从而获得或破坏用户数据的组织方式和存储位置;另一方面,攻击者还可以篡改和破坏该元数据节点负责的服务功能,直接操纵和破坏系统正常运转;更甚者,如果该元数据节点配置了系统管理员用户权限,那么攻击者可以直接篡改认证和服务功能,使原本非法的访问操作合法化,危害到系统全部数据的私密性和完整性。因此,从收益角度考虑,元数据节点无疑是攻击者的首选目标。

3)数据节点。在HDFS中,用户的数据以条带化(也称分块)和副本冗余的方式存放在数据节点集群中。当攻击者劫持了某一数据节点,则可以窃取和篡改该节点上的块副本,造成一定程度的危害。

需要说明的是:

1)在元数据节点安全性得以保证的条件下,数据窃取攻击虽然能够获得被劫持数据节点上实际的物理块,但是并没有获取到可理解的有效信息。数据与信息间的映射关系如图2所示,其中:存储对象一般指用户的原始数据,是能够被拥有者理解和获得的有效信息;存储对象经过存储系统的条带化后,单个逻辑块所呈现的信息会大幅减少,甚至在很多场景下是不可理解的(即拥有者不但要掌握所有逻辑块,而且还要通过正确的组织顺序还原出存储对象);物理块是逻辑块在数据节点上的真实存储,在冗余副本方式下一个逻辑块会映射到集群的多个数据节点上。不难看出,在没有系统元数据信息支持的情况下,攻击者即便能够劫持数据节点,也可能无法掌握期望目标存储对象的所有物理块,并且即便拥有所有物理块也不能立刻恢复出有效的信息,因此,数据窃取攻击受到极大限制。

图2 数据与信息间的映射关系

2)对于数据毁损攻击,由于分布式存储系统大多引入了副本或纠删码策略来构建数据冗余,即使某个数据节点被劫持,集群中还会有其他节点能够正常响应用户的数据请求,所造成的威胁就相当有限,因此,分布式存储系统自身具备冗余特性能够为数据完整性提供一定的保护能力。

通过上述威胁分析可知,元数据节点是分布式存储系统中的高危目标,无论从实现难度还是获得的收益来说,都是攻击者的首选目标。同样,从防护者的角度出发,如果能够通过CMD安全机制对元数据服务进行保护,就能够获得最大的安全收益。在防护代价上,由于异构冗余本身需要付出额外的成本和性能开销,因此如果划定元数据服务为拟态防护界,则能够大幅减少成本开销并且减轻代理的负载压力,具有更好的可实现性。同时,对于数据节点的保护可以不严格采用DHR构造,而是在现有分块冗余方式的基础上,通过引入异构性来增强数据物理块的存储安全性。通过考虑以上因素,本文提出一种面向元数据服务的拟态化架构,期望提升分布式存储系统的抗攻击能力。

2 面向元数据功能的拟态化HDFS设计

2.1 总体架构与交互流程

根据上文确立的拟态界及相应的防护思路,本节设计面向元数据服务的HDFS拟态化架构Mimic-HDFS。为降低设计和实现复杂度同时保持对原有系统的兼容性,Mimic-HDFS依然沿用HDFS的基本节点职能和交互流程,其组织架构如图3所示,交互流程如图4所示。

图3 Mimic-HDFS系统架构

图4 Mimic-HDFS系统交互流程

Mimic-HDFS系统由客户端(Client)、基于DHR模型的元数据服务结构(M-Namenode)和异构化的数据节点(H-Datanode)3种角色组成。其中,Client无需进行任何改动,H-Datanode仅需要对存储集群的异构性进行有效标识和利用,提供元数据服务的Namenode是拟态化的主要改造对象,需要对其进行异构冗余化配置组成执行体集合,然后配合带有分发裁决功能的Namenode代理(NN-Agent)和调度控制器(Scheduler)共同构成M-Namenode,从而实现DHR的结构及其防御功效。Mimic-HDFS的消息交互流程设计如下:

1)Client与NN-Agent建立访问的Connection并发送操作请求(OP_REQ)。

2)NN-Agent与M-Namenode中l个在线执行体分别建立Connection*并转发OP_REQ*。

3)各个Namenode独立进行消息处理,并将操作响应(OP_RESP)返回至NN-Agent。

4)NN-Agent接收到全部OP_RESP*后,通过内部裁决策略进行处理得到最终OP_RESP。

5)Client从NN-Agent得到返回的OP_RESP,继续与H-Datanode进行数据交互,完成目标操作。

6)如果在第4个步骤NN-Agent对多路OP_RESP*进行裁决时发生了不一致的情况,则将该次裁决的相关信息通过反馈消息(FEEDBACK)发至Scheduler。

7)Scheduler根据加载的调度算法处理FEEDBACK并发送控制消息(CONTROL),实现系统的动态变换,主要的工作包括:(1)控制NN-Agent停止向异常执行体继续发送数据;(2)控制M-Namenode在线集合中的异常执行体下线处理;(3)备用集合中拟上线执行体进行状态和数据同步;(4)得到同步确认消息(STATE_ACK)后,控制NN-Agent开始向新上线执行体发送数据。

Mimic-HDFS的交互流程可分为HDFS交互协议(步骤1、步骤5)和Mimic结构交互协议(步骤2～步骤4和步骤6、步骤7)两个独立部分,使M-Namenode内部运转对Client和H-Datanode透明化存在,由NN-Agent提供原Namenode的所有元数据服务,在提升自身安全性的同时保证对原有架构的良好兼容。

2.2 M-Namenode的异构冗余执行体集合

在M-Namenode中,异构冗余的执行体集合是提供安全能力的基础条件。如图5所示,各个元数据服务执行体(Metadata Service Executor,MSE)由不同的组件构成,但开放的元数据服务功能是等价的。所谓等价,是指在相同的OP_REQ消息激励下,所得出的OP_RESP是一致的,该条件由HDFS私有RPC协议的一致性得以保证。

通过在硬件平台、操作系统、运行环境和应用程序各组件上的多样化组合构建,M-Namenode期望得到的理想效果为:在非元数据功能的请求激励下,即基于漏洞和后门的攻击请求(AT_REQ),仅单个或少数生效的执行体给出攻击响应(AT_RESP),其余无效执行体给出正常且一致的OP_RESP,这样在裁决过程中就能呈现出多数一致正确与少数不一致错误的情况,从而执行交互流程中的步骤6、步骤7,使得系统在提供正常服务的同时,具有抵御漏洞和后门的安全能力。

然而现实情况是,各组件的多样性是有限的,相互组合也存在一定的兼容性问题,因此,M-Namenode各个MSE之间必然会存在漏洞或后门重叠的情况,称之为共模威胁。共模威胁可能会造成多数MSE发生异常,使AT_RESP占据响应中的多数,最终被判定为正确结果而返回,实现所谓的“逃逸”。虽然M-Namenode从理论上存在攻击逃逸的可能,但根据CMD理论以及目前实际应用的情况来看,异构冗余带来的安全增益是显著的,主要源于以下因素:

1)多MSE相比单MSE而言,攻击成功的前提从原有的“存在任意可利用的漏洞后门”变为“至少存在1个多数重叠的共模威胁”,条件变得更加苛刻。

2)即使多MSE的攻击条件存在,针对该漏洞后门的交互过程必须通过相同的AT_REQ激励得到一致的AT_RESP,否则就会出现不一致情况而被发现,攻击实施的难度也显著增加。

3)即使能够实现一次AT_RESP逃逸,但APT渗透需要嗅探、渗透、上传等多个步骤[20],只要存在一次AT_RESP不一致,那么该过程就会被感知到并进行相应处理,导致前序攻击成果失效。因此,对M-Namenode而言,基于漏洞和后门实施攻击的难度明显增加,原先异攻难守的局面被彻底逆转。

从M-Namenode的防御机理上看,MSE构件的多样性越丰富及构件间的异构性越大,则各MSE间出现重叠漏洞和后门的概率就越低,攻击的成功率也会越低。另外,在多样性能够满足的条件下,如果增加在线工作的异构MSE数量(简称冗余度),则实现逃逸的难度也会增大,使攻击成功率进一步降低,但同时也会引入更多的成本和处理开销。

2.3 基于H-Datanode集群的数据冗余放置

Mimic-HDFS的设计以保护系统关键的元数据服务为核心思想,通过DHR构建M-Namenode,同时也权衡了威胁、代价、有效性等方面对数据节点进行简易化的拟态保护,主要体现在借助于异构机制搭建H-Datanode集群,然后利用冗余机制放置块副本,保护数据的完整性和可用性。

对于上述设计,由于HDFS本身就提供了副本冗余支持,因此只要配合H-Datanode和有效的副本放置策略即可实现,无需对原有Datanode的交互协议和格式进行更改。H-Datanode的异构化方式与M-Namenode中异构执行体类似,结合现有大型数据中心建设的实际情况来看,多样化的平台和异构系统恰恰是大规模集群具有的天然属性,因此,只需要在Namenode程序的放置逻辑中添加有效的算法即可。HDFS默认的机架感知放置策略(Rack-Aware)如图6所示。对于单个数据块的m个副本{R1,R2,…,Rm},Rack-Aware将R1放置在随机的Datanode上,将R2放置在任一不同机架的任意节点上,将R3放置在R2相同但机架不同的任意节点上,后续副本放置在与R1～R3不同的随机位置上。由于该方法具有一定的随机性,因此从理论上具有实现冗余副本异构化放置的能力,本文中不再对如何更好地利用集群异构性展开详细讨论。

图6 HDFS默认的Rack-Aware放置策略

3 M-Namenode中的裁决与调度机制

在M-Namenode中,异构冗余的执行体集合是安全增益的基础,而裁决(Mimic-HDFS交互流程步骤4)与调度(Mimic-HDFS交互流程步骤7)机制则是决定安全增益的关键。当发生不一致情况时,裁决机制需要从OP_RESP*中判定输出正常的OP_RESP,屏蔽掉AT_RESP,从而切断攻击的链条。与此同时,调度机制需要发挥作用对在线MSE集合进行调度变换,使得前序攻击成果无法稳定保持。

如图7所示,设M-Namenode执行体全集Θ={MSE1,MSE2,…,MSEM},其中M是执行体总数。设余度为l,则从一次调度时刻ti至下次ti+1的在线集合E(ti,ti+1)={MSEk1,MSEk2,…,MSEkl}。以Υ表示E(Δti),其中,i为调度序数,Δti可理解为第i次调度上线集合维持的时长。

图7 裁决与调度机制示意图

(1)

Υ:E(Δti)→E(Δti+1)

(2)

式(1)中的Ψ表示裁决算法,目标是要尽可能提升RESPf的正确性;式(2)中的Υ表示调度算法,目标是要确定当前第i次调度后在线集合的维持时间Δti以及第i+1次调度时新的在线集合E(Δti+1),尽可能提升M-Namenode的安全性。

设当前所在时间区间为ti～ti+1,FBAS机制工作流程设计如下:

输出RESPf,Δti,E(Δti+1)

3)判断cmax是否超过在线MSE半数「(l+1)/2⎤,若是,则RESPf=RESPcmax;否则,调入W={ωk1,ωk2,…,ωkl}计算各序号组的置信度结果Wc,并输出置信度最大组对应的结果RESPf=RESPcWmax。

(3)

4)记录反馈信息Φi,若步骤3中cmax≥「(l+1)/2⎤,则对C-cmax集合中对应序号的执行体信息值加1;若cmax<「(l+1)/2⎤,则对在线集合所有执行体信息值加1。

5)通过Φi更新置信度向量W,此处W(Φi)的设置方法可以根据实际情况而定,原则是成反比关系,本文直接通过取倒数的方式即ωx=1/θx得到,其中,当θx=0时,可设置为一个超过1的数值,本文设为3。

6)通过Φi联动更新时间Δti,Δti(Φi)的设置方法也是可灵活设定的,总体原则是当异常发生增加时应加大联动的效果,加快缩减Δti,从而使结构尽快回到安全状态。本文设定一个单位缩减时间tu,调度时间更新计算公式为:

(4)

7)系统内部设置了Δti的触发计时器,一旦条件t-ti≥Δti(Φi)满足即会发起调度。根据攻击过程大概率出现不一致的定律,选择E(Δti)中置信度最低的MSE下线,为保证结构的不确定性,备用的MSE采用随机选取上线,确立最终的调度目标集合E(Δti+1)。

在上述步骤中:步骤1～步骤3实现了裁决机制的主要工作,其时间复杂度为O(2l+2n),由于实际应用中在线MSE的数量有限,因此时间开销不会很大;步骤4～步骤7负责更新反馈信息和实现调度机制,其时间复杂度为O(4l),同样也不会引发过大的时间开销。

通过上述流程描述可知,FBAS的基本出发点是充分利用M-Namenode运行时感知到的异常反馈信息,通过该信息不断更新在线MSE的置信度,确保在异常发生时尽量输出可信的结果。同时,通过对调度时间的联动更新,在异常频发时缩小调度间隔时间,尽快清除异常使系统还原正常状态,调度时参考该周期内的置信度表现,将异常次数低的不可信执行体调度下线,使M-Namenode尽可能规避攻击者当前发起的攻击(当前攻击有效的MSE大概率产生较多的异常次数,置信度相对较低)。

由此可知,M-Namenode对于漏洞和后门威胁的防御机理与现有基于精确特征感知的被动方式完全不同,它并不依赖于庞大的特征库和滞后的漏洞修补,而是通过自身结构中MSE的异构冗余运行、裁决反馈和动态调度机制产生安全属性,因此,无论对已知还是未知威胁都有效,并且其防御能力与各MSE自身存在的漏洞数量弱相关,与组件的异构性和多样性程度强相关。值得注意的是,基于CMD所得到的安全能力与现有防护方法可形成良好的互补关系,体现为:

1)通过防火墙、系统补丁进一步提升单个MSE的安全性,降低共模威胁的出现概率,这对M-Namenode的安全性可有指数级别的提升效果。

2)通过适当扩大CMD保护边界,将3A机制、密钥生成管理等重要功能或数据纳入DHR结构中,有助于保证安全机制自身和依赖环境的可靠可信。

4 系统测试与评估

本节将对Mimic-HDFS原形系统进行安全性和性能两方面测试评估,验证拟态化的防御效果同时评估其对服务性能造成的影响,为后续改进提供参考依据。

4.1 测试环境与测试方法

在异构化组件方面,硬件平台使用x86、ARM和国产飞腾,操作系统使用CentOS、Solaris和国产麒麟,软件版本为Hadoop 2.7.3。在节点方面,基于异构化组件构建物理服务器,部署4台M-Namenode、6台H-Namenode、1台NN-Agent、1台调度节点以及相应的交换机、测试机和调测展示机共同组成测试集群,如图8所示。其中,同时在线的MSE个数设为3台,另有1台作为备用。为了简化安全性测试过程中漏洞利用的复杂性,增强测试用例的灵活设置,本文基于java-agent技术直接在M-Namenode和H-Namenode上注入后门程序,通过在测试机上运行的不同指令模拟差异化的漏洞或后门的攻击过程,并且在调测展示机上同步观察实验结果。性能测试采用Hadoop专用工具slivertest和TestDFSIO,通过吞吐率结果评估系统的元数据服务和文件读写两项性能。

图8 测试环境网络拓扑

4.2 安全性测试

在MSE1～MSE3上分别设置后门程序,该程序能够通过在测试机上对应运行Client1～Client3进行触发,达到的效果是在/target1～target 3目录下非法创建、写入或读取文件。实验中,在测试机上分别尝试激活各个MSE上的后门,观察该攻击操作是否能够成功。实验结果如表1所示,其中,“√”表示成功,“╳”表示未成功。可以看出:在不开启拟态功能的情况下,MSE1接收到Client1触发命令后出现了异常,/target1目录下被非法创建文件,并且能够越权读数据;同样,通过Client2和Client3发起攻击命令也能达到类似效果;还原各节点状态,开启拟态工作模式,Client1～Client3随机且独立发送后门触发命令,均无法实现越权操作。本文通过测调节点进入NN-Agent节点观察日志文件,发现MSE1～MSE3实际受到了测试命令的干扰,但由于该操作影响较小,因此从整体上看/target1～target3目录中会表现出正常的情况,对外仍然能够提供正确的服务。

表1 元数据节点安全性测试结果

4.3 性能测试

性能测试主要用于评估拟态功能的开启所导致的性能损失,本文使用基准测试程序slivertest测试系统开关拟态情况下元数据服务中7种常用基本操作的吞吐速率,比较结果如图9所示。

图9 slivertest吞吐速率测试结果

由图9可知:对于非互斥类的READ、RENAME和DELETE操作,开关拟态功能对性能的影响并不大;而对于WRITE、APPEND、CREATE和MKDIR修改类操作,由于存在一定的互斥性,因此本文在原型系统实现时采用了锁机制保证其一致性,并发请求的抢锁操作可能导致性能的下降,WRITE操作、APPEND操作由于交互耗时较长,因此受到的影响也最大。

测试工具TestDFSIO用于测试HDFS系统对一定数量、一定大小的文件进行读写的处理性能。本文设置文件数量分别为100、300、500、800、1 000的处理任务,单个文件大小1 024 MB。实验结果如图10所示。可以看出,随着文件处理数量的增加,拟态和非拟态系统的读写任务执行时间都呈上升趋势。对于写操作,在任务量相对较少时两者的差距并不明显,基本处于同一水平。当文件数量为500时,两者执行时间差距达到7 min;当文件数量为1 000时为15 min,其性能受到了一定程度的影响。对于读操作,拟态和非拟态系统的处理性能相差很小,不会对实际应用造成较大的影响。

图10 TestDFSIO任务执行时间测试结果

5 结束语

为保障分布式存储系统中的数据安全和系统安全,本文对系统面临的主要威胁和攻击途径进行分析,定位其核心薄弱点,结合防护的代价与有效性,以大数据存储HDFS为目标对象,引入拟态防御动态、异构、冗余的安全机制,设计面向元数据服务的拟态化架构Mimic-HDFS,利用元数据服务DHR结构保护系统核心信息和功能,通过对副本的异构化放置保护用户数据。安全性分析和性能测试结果表明,该架构能够增强分布式存储系统对漏洞和后门的防御能力,提升系统安全性。后续将进一步优化Mimic-HDFS的实现过程,减少互斥元数据操作等待抢锁造成的时间开销,从而避免因拟态功能造成系统处理性能下降。