大数据平台安全基线核查

引言：大数据平台的实际应用是中国移动大数据战略的重要过程，由于它是一种“共享型”信息技术，在实际应用过程中必须要有安全性保障，尤其杜绝数据安全问题及业务连续性问题。安全基线核查作为一种基本的安全强化手段，可避免由于配置问题带来安全隐患。

近年来，中国移动在大数据需求上呈爆发式增长，原有经分系统技术架构与支撑模式亟待突破，需要构建适应“互联网+”发展的、数据跨域整合的、架构充分开放的以及技术先进的大数据平台。目前南方基地已启动了系统重构，搭建了传统数据库、基于x86的MPP数据库、Hadoop/Spark及流处理等多样技术混搭的大数据平台，准备整合B域、O域和M域的大数据并进行统一规划。

大数据平台存在的安全隐患

数据量正在非线性增长，黑客对于数据的觊觎也由原来的破坏转变成窃取和利用，病毒或黑客绕过传统的防火墙、杀毒软件和预警系统等防护设备直接进入数据层，一些高级持续性攻击已经难以用传统安全防御措施检测防护。“大数据”的安全风险主要可以分为以下三个方面：

第一，大规模数据分析和利用，高价值、高敏感的数据价值可能存储于不安全的大数据平台。第二，共享模式下的共用一套大数据平台，对用户隐私产生极大的威胁。第三，大数据平台作为一种较新的IT架构，其建设方式、网络构成、系统构成、软件特点、维护方式、监控方式存在较多的新知识，就目前而言属于实现难度较大、运行机制相对复杂的IT系统，相应的安全问题一旦产生，容易造成较严重的安全事件。而中国移动大数据战略作为长期战略，必须在安全层面扫清障碍使大数据平台顺利建设使用。

大数据平台安全基线核查的研究意义

大数据作为新技术正处于快速发展期，版本迭代更新快，特别是开源技术生态复杂，组件众多。如何适应大数据平台的快速发展，保障其安全运行，是摆在所有安全维护人员面前的一道难题。

利用Hadoop平台各组件自身的安全配置功能是成本低、见效快的安全防护手段。但由于专业人员较少，配置项众多等原因，管理员很难全面掌握Hadoop所有组件的安全配置方法，在实际工作中，迫切需要对Hadoop各组件制定统一的检查标准和加固建议，利用自动化、标准化的检查系统对其进行全方位的检查，保障大数据平台的安全运行。

安全基线是信息系统及设备对应自身需求、部署环境、特定时期应满足的基本安全要求合集。据权威机构统计，目前80%以上的安全问题是由于IT设备和系统配置不当造成的。安全合规管控产品的定位主要面向企业和政府用户，是企业和政府用户集中管理全网IT设备和系统的安全配置、及时准确发现违反行业及企业内部安全标准及规范的安全问题，保障企业和政府网络及业务系统平稳安全运营的重要安全管理系统，为企业彻底解决网内因设备配置不当导致的安全风险提供强有力的技术支撑。

大数据平台安全基线核查系统实现

本文以CDH大数据平台为例进行描述。大数据平台的安全基线检查不仅包含CM和CDH各个组件，还包括通用设备，如操作系统、数据库、网络设备等。CDHHadoop安全配置检查项需进行梳理和开发，检查项分为身份认证、授权、加密和日志等四类。通用设备的安全配置检查复用已有检查项，检查项分为账号口令和认证授权、IP访问控制、日志安全、其他安全配置四类。

1.大数据平台安全配置基线识别与建立

图1 大数据平台安全基线核查系统网络拓扑

安全配置基线即设备需要满足的安全配置基本要求。根据梳理的检查项，为每一个检查项设定安全配置基线，最终建立该设备类型的安全配置基线集合。安全配置基线的来源主要有两部分：设备厂家官方网站的安全配置建议和专业安全厂家的技术积累。

2.大数据平台安全配置基线检查项开发

检查项的组成包括：检查项描述信息、检查脚本、解析规则、判定规则、基准值、加固方案等主要部分。

检查项描述信息用于描述检查项分类、检查项名称、检查项编号、实现功能、实现方法、判定标准等信息。

检查脚本是检查项的最重要组成部分，用于发送到被检查设备上执行，采集设备配置原始信息，用于进行后续判断。

解析规则用于对检查脚本执行后采集到的设备原始信息进行进一步的解析，得到设备用于判断配置是否合规的具体字段，记为result。

判定规则用于将设备上的实际配置信息与安全基线配置基准值进行逻辑比较；基准值是保证设备配置达到安全要求的最基本配置，记为benchmark。

加固方案是在发现被检查设备配置不当时指导设备管理员修改配置的详细步骤。

（1）搭建开发环境

搭建用于检查项的测试与验证的大数据基础平台测试环境，其网络拓扑图如图1所示。大数据平台部署环境信息:操作系统信息：操作系统统一采用Redhat 7.0。数据库信息：数据库采用MySQL5.6.24。CDH 5.3。

安全配置基线检查项编写环境信息:安全基线核查系统：大数据平台的安全基线检查项需要在基线核查系统（Baseline Management System）中进行扩展。

（2）检查脚本编写

检查脚本用于在Hadoop各组件部署的服务器上执行，获取配置回显信息，用于后续对回显进行解析。根据调研发现，检查脚本采用shell编写，脚本主要内容包括：脚本分类：脚本执行的操作系统类型。由于当前采用Redhat7.0作为服务器操作系统，所以脚本默认按照Redhat7.0编写，但考虑到其他大数据平台可能采用其他发行版操作系统，所以增加脚本分类是必要的。

脚本名称：脚本名称应能够反映脚本的用途和适用范围，建议采用“组件名称+脚本用途”的方式进行命名，如“HDFS-查看HDFS配置文件信息”。脚本内容：承载shell脚本的实际内容，由shell语言命令行组成。脚本描述：详细描述脚本的用途、编写过程、执行步骤等信息。

（3）解析规则

解析规则用于对脚本执行的回显进行进一步解析，解析方式有两种：正则表达式解析：使用正则表达式进行关键字匹配，用于解析简单回显。程序类解析：使用程序对回显结果进行结构化处理，用于解析复杂回显。

（4）判定规则和基准值

经过脚本执行、结果解析后得到的关于设备配置信息的关键字集合是result结果，基准值是满足配置基线要求的关键字集合，称为benchmark。其中，result可以为空，benchmark不能为空。判定规则用于result和benchmark的比较，常用的判定规则如表1所示。

（5）编写加固方案

加固方案用于指导对检查不合规的项进行合理配置，是其结果满足安全配置基线要求。加固方案根据操作的类型可以分为四类：加强管理、系统改造、增加手段、更改配置等。根据调研与研究结果，Hadoop主要通过更改配置的手段完成安全加固操作。加固方案的编写需要十分详细，确保管理员按照此方案操作，即可保证该项检查合规。

（6）检查项验证

检查项编写完成后，需要进行验证，验证分为两部分：测试环境验证：在本地搭建的大数据平台测试环境中进行在线检查，验证检查项和加固方案的正确性。生产环境验证：在大数据平台生产环境中进行在线检查，验证检查项和加固方案的正确性。

结束语

随着大数据应用的发展，大数据平台的安全防护经历了从无到有的发展过程，但是目前防护能力仍然薄弱。安全配置基线检查可以唤醒大数据平台自身的安全机能，在不增加外围防护设备的下切实提升大数据平台安全运行水平，适应公司在精细化管理、精准营销、产品创新等方面的要求。