绿色模块化数据中心构建之道

阳必飞，周德文

（华为技术有限公司，广东 深圳518129）

0 引 言

随着虚拟化、云计算、大数据时代的来临，数据中心的职能正在悄然发生变化，正在由业务支撑系统变成企业的核心竞争力，甚至成为企业“生产中心”的重要组成部分。如何解决传统机房存在的问题，引领数据中心的发展趋势，构建新一代节能环保、柔性升级的模块化数据中心成为业内人士探讨的热门话题和追求目标。

1 传统机房存在的问题

传统机房存在如下几方面问题：

（1）冷热混合，效率低下，图1（a）；设备部署不均，局部热点（图1（b）。

图1 传统机房的散热问题

（2）多维受限（图2）、无法扩容

图2 传统机房的多维限制

2 “云计算”带来的新挑战

云计算带来的新挑战：

（1）密度提升、热点出现：CPU利用率提升以及刀片服务器的使用，单机柜功率密度提升，服务器出现热点，影响服务器的正常运行和数据中心可靠性；

（2）热点飘移、散热困难：云计算、虚拟化使业务在服务器之间“飞来飞去”，热点和温度也随业务“飘忽不定”，散热困难。

3 数据中心的发展趋势

3.1 密封通道、行级制冷的发展

密封通道实现了冷热隔离，制冷利用率更高，比传统机房更节能，可以支持更高的功率密度，避免局部热点，具有更高的可靠性，对比见表1。

表1 传统机房与密封通道对比

行级空调实现近端制冷，没有传输路径的损失、没有机柜温度梯度的缺陷，具备更高的效率，可以支持30 kW／R的功率密度，对比见表2。

表2 房间级制冷与行级制冷对比

行级空调可部署更多的机柜数量，功率密度5 kW／R以上优势更加明显，对比见表3、表4、图3。

以国内某大型冷冻水数据中心的1个603 m2的机房分区为例做实例分析。

表3 机柜数量对比

表4 IT功率每kW的投资对比（主机房内设备，不含油机、冷冻水机组、UPS、电池等）

图3 行级空调投资造价与机柜数量走势图

3.2 高回风

根据GB 50174－2008对A／B级机房的要求（图5），服务器进风温度为23±1℃，普通机房1 kW制冷风量按照270.5 m3／h＠△T＝11℃ 计算，空调回风温度达34±2℃，典型的高回风（图5）。

图4 GB50174规定的A／B级主机房温度即服务器进风温度

图5 A／B级普通机房气流组织温度示意图

图6 △T＝6℃时，A／B级传统机房气流组织温度示意图，符合GB50174－2008规定

A／B级普通机房地板下送风设计中，习惯性将空调的回风温度设定在29±1℃（传统房间级空调自身能力决定的）。也就是说，要么服务器进出风温度差△T＝6℃，如图6所示。1kW制冷风量从270.5 m3／h提升到495.9 m3／h，风量增加83.3%即空调增加83.3%；要么违背GB50174－2008之规定将主机房温度即服务器进风温度从23±1℃降低至18±1℃，也就是直接将机房的建设等级从A／B级降至C级，保证服务器进出风温度差△T＝11℃，如图8所示。

图7 △T＝11℃时，A／B级传统机房气流组织温度示意图，违背GB50174－2008规定

不管是从节能或减少空调投资还是从GB50174－2008的规定出发，高回风设计都将是必然的趋势。

3.3 低载高效，全功率段低PUE发展

数据中心规划一般要考虑未来5～10年的业务发展，对于大型数据中心，根据业务发展按照模块分步部署，小型数据中心服务器设备分期部署，初期业务的负载率都很低，部分机房初期负载率甚至低于10%，对国内57个数据中心，容量40 kVA及以上、数量超300台在线运行的UPS调研，负载率小于30%的占比超过40%。

如果数据中心的PUE目标值按照全负载去规划，实际运行PUE会大大高于目标值，达不到节能的目的，这就要求数据中心在低载下，全负荷功率段低PUE的要求，如某运营商湖北基地项目标书明确要求实际负载25%、50%、75%、100%下 PUE均＜1.7；同时在负载较低、湿度较大场景，空调运行时间短，在通道外表面有凝露风险，对空调的运行范围提出了挑战和要求。

4 如何构筑绿色模块化数据中心

4.1 全模块化设计

图8，图9所示为从部件到IT模块、机楼甚至园区的全模块化设计。

图8 全模块化设计图示

图9 部件模块化图示

4.2 高效电源

高效电源包括两个概念，一是效率高，减少有功损耗；二是负载率高，减少容量损失。高频技术比工频具备更高的效率，不管是模块热插拔的模块化UPS、HVDC，还是模块固定的高频塔式UPS，均是高频产品，同时也基于模块化的设计理念。

大部分IT设备电源模块采用过补偿设计，功率因数均在0.99～1之间，实际运行普遍达到0.95及以上，要想提升负载率，电源功率因数必须与其匹配（见表5）。工频UPS功率因数0.8显然是不合适的，即使高频塔式UPS的功率因数0.9也算不上高效利用的电源。

表5 通用电源产品效率与功率因数参数表

同样是模块化高效电源产品，HVDC在运维上拥有直流电的天然优势，不受频率、相位制约，但当前HVDC采用IT供电架构，需考虑GB 50174－2008所默认的TN－S供电架构要求。

4.3 高效制冷

（1）大型机房高回风设计

当前行级空调的回风设计温度一般为37℃左右，实现了高回风。空调回风温度从32℃度提升到37℃，其制冷量提升28%；冷水机组出水温度从7℃度提升到10℃，其能效比提升10%。表6为某司行级空调的参数表。表7为某司冷冻水机组的参数表。

表6 某司行级空调的参数表

目前房间级空调大部分厂家设计回风温度不高于32℃，需要提升回风温度。

（2）小型机房全直流变频水平送风一体化、模块化设计

表7 某司冷冻水机组的参数表

如图10所示，集成ATS、配电、UPS、机柜、密封通道、电池及管理系统，实现模块化机房的一体化和产品化，能够最大限度的减少现场工程，快速部署；智能管理系统具有支持远程管理，APP移动运维等特点。

图10 一体化模块化产品示意图

全直流行级变频水平送风设计，直流变频空调根据IT负载大小自动调节运行频率，节能25%以上，如图11所示。直流变频空调可实现低载高效，全负荷段低PUE；兼有低载除湿功能，防止凝露及服务器工作在允许的湿度范围内，如图12。

图11 定变频空调与热负载的动态曲线图

图12 某司定变频空调效率曲线图

4.4 智能管理

如图13所示，DCIM实现数据中心自动化管理，也能实现上下级数据中心集中统一管理、运维、资源调配，减少管理人力，高效运营。

图14 某企业数据中心管理逻辑图

5 总 结

影响绿色模块化数据中心构建的因素很多，包括数据中心选址、自然冷源采用、建设等级等都是必须要考虑的因素，本文从总体全模块化设计、高效制冷、高效电源及智能管理几个方面进行了阐述，更多的是从设备本身进行挖潜如何实现绿色高效。随着数据中心对绿色节能要求越来越高，供电、制冷设备的高效设计变的更加重要。