数据中心节能管理与PUE运营

张顺杰

【摘要】 本文通过分析现阶段国内数据中心发展现状及能耗水平，阐述了数据中心节能的必要性；通过引入数据中心能效指标PUE，并分析影响该数值的关键因素，提出了数据中心的节能对策—全生命周期节能管理；通过数据中心节能管理实例，从建筑、电力、空调、IT部署等方面阐述了节能降耗的途径，以期提升数据中心的节能管理水平。

【关键词】 数据中心 PUE 节能

一、数据中心能耗分析

近年来，随着我国数据中心建设的高速发展，数据中心整体规模与能耗不断提升，截至2014年12月，国内数据中心总量已超过40万个，年耗电量超过全社会用电量1.5%，达700亿千瓦时。而到了2016年，预计我国数据中心能耗将相当于三峡电站一年的发电量。

数据中心作为终端海量数据的承载与传输的关键物理设施，存在着巨大的能源消耗。数据中心的能耗主要来源于数据中心内部大量的IT 设备，如服务器、存储设备、网络设备等IT类负载，以及为IT设备服务的物理基础设施，如开关电源、不间断电源、冷水机组、精密空调、照明系统、消防系统等配套类负载。

一个数据中心的能耗高低，一般使用PUE（Power Usage Effectiveness）来衡量。PUE=数据中心总体设备能耗/IT设备能耗，它是一个比值，基准是2，越接近1表明能效水平越好。如今，PUE值已经成为国际上通行的数据中心能源使用效率的衡量指标。

目前，国内数据中心平均PUE在2.2左右，与发达国家的1.6水平相比，有较大差距。对此，工业和信息化部在《工业节能“十二五”规划》提出，“到2015年，数据中心PUE值需下降8%”的目标。

二、数据中心节能对策

数据中心作为一个微型生态环境，其基础IT设备能耗由服务器、存储、网络等设备能耗组成。空调系统能耗主要是为降低IT设备用电所散发的热量所产生的耗电量。供配电系统能耗由UPS转化能源效率、供电单元等构成。其他系统能耗由照明、新风系统以及门禁、消防、视频监控等弱电系统能源消耗组成。要想降低PUE值，降低数据中心能耗，空调系统节能、供配电系统节能、IT设备节能成为关键。

既然数据中心整体能耗水平与构成数据中心各个系统的基础设施息息相关，那么，要做好数据中心的能耗管理，就必须从数据中心全生命周期的各个环节入手，以合理的规划设计为前提、以精准的建设为保障、以精细的运营为落实，以持续的优化作改进，多管齐下，才能真正达成数据中心的节能管理。

数据中心规划阶段，是一个数据中心从无到有过程中踏出的第一步。数据中心基础设施规划，主要涉及机房的建筑结构、整体布局、供电架构、供冷架构等等，在这个阶段，看似离IT系统部署还相当遥远，但却息息相关。因为目前 IT系统部署的标准，主要参照国标GB50174《电子信息系统机房设计规范》，或美国国家标准学会TIA-942《数据中心电信基础设施标准》，国标和美标中，都将IT部署根据可靠性的层级进行了划分，不同层级的部署需求，对基础设施的要求也有较大的区别，如TIA-942中，对TIER-1级（基本级）数据中心的配电/制冷架构要求为“单一的路径提供给电源和冷却分布”；但对TIER-4级（容灾级）数据中心的配电/制冷架构要求则为“多个工作的电源和冷却分布路径”。可见，高等级的IT部署需求对基础设施架构的冗余性有着更高的需求，而更高的冗余性需求则意味着更高的建设投入与更高的运营能耗。因此，在规划阶段，务必对数据中心投入使用后的IT部署需求有所掌控，从而给出与IT部署需求相匹配的规划方案，避免基础设施的非必要性冗余，从而也减少这部分非必要冗余设施在后续运营中额外产生的能耗。另一方面，数据中心规划设计阶段，数据中心的配电架构、制冷架构，也应与未来IT部署相匹配，针对不同规模、不同密度的IT负载，进行相对应的架构设计。如针对中大型数据中心，制冷方式宜采用水冷系统；而对于小型数据中心，则采用风冷系统能效比更高。

数据中心建设阶段，是一个数据中心实体化的具体过程，在该阶段，主要对数据中心进行深化设计，并进行工程实施。数据中心建设包括建筑、结构、电力、制冷、工艺、消防、弱电、智能化等多个专业，各个专业都必须在专业设计中兼顾考虑节能问题。如供配电专业，可以在供电模式、设备选型、设备安装方式、线缆路由长度等方向进行节能深化；制冷专业，可以在冷源选择、精密空调选型、群控系统、冗余管路规划等放行进行节能深化；工艺专业，可以在机房布局、气流组织、机柜微环境等方向进行节能深化；等等。 同时，在此阶段，必须对IT部署有精准的估算，通过较为可靠的单机柜功率密度统计，结合机房CFD模拟，往往能够给出最佳的各系统配置方案与参数。

数据中心运营阶段，是一个数据中心真正启用后的漫长进程，在该阶段，数据中心开始迎接IT设备的入驻，即IT部署正式开始。虽然该阶段所有的数据中心基础设施已全部安装完毕，已没有多少调整的空间，但该阶段的节能管理却同样重要。因为无论是配电系统，还是制冷系统，都存在一个与实际IT负载匹配、调优的过程，所谓的节能管理与PUE运营，都是建立在大量的机房运行实时数据采集、计算、诊断、优化、评估的系列过程之上的。同时，数据中心的IT部署，也并不是一步到位后就保持稳定不变的，而是往往与该IT系统所承载的业务或应用的发展存在高相关性，一般都是遵循从低密度向高密度逐步发展的规律；因此，根据IT系统所处在的不同阶段，也应制定不同的机房运营管理策略，如机柜微环境调整策略、配电参数调整策略、水系统参数调整策略、精密空调参数调整策略等等。

三、数据中心节能实践

上海移动NQ数据中心自2012年底开建，2014年初首批机房投入使用；数据中心项目组自立项伊始，就始终把数据中心节能作为一项重点工作分阶段落实，可以说，节能管理贯穿了NQ数据中心自规划设计、到建设交付、再到运营优化的整个生命周期。数据中心运行至今，经过各方不懈的努力，数据中心能源效率指标（PUE）也确实达到了令人满意的数值。

上海移动NQ数据中心整体建筑面积20000平方米，主体按GB50174中级别最高的A类机房标准设计，共规划机房模块7个，19英寸标准机柜1950个，单机柜功率密度2-5KW。

3.1NQ数据中心

3.1.1 NQ数据中心节能规划

在数据中心规划阶段，考虑NQ数据中心由大型厂房改建而来，就针对建筑建筑节能问题进行了充分的考虑，规划建筑总体窗墙比低于0.3，玻璃的可见光透射比小于0.4；建筑外墙及屋顶装饰，采用浅色外饰面（ρ<0.6），建筑外墙装饰采用聚苯颗粒保温浆料；同时在装修工程时，在机房内墙设置保温墙体，避免冷量散失；在分隔墙体内均设置保温岩棉，达到节能隔音的效果；在架空地板下采用橡塑保温板，形成良好的空调静压箱体。

同时，在数据中心规划阶段，就对后期IT部署进行了充分调研，最终采用分层分级的模式，根据三种不同的配电架构（AC+HVDC、2N UPS、N+1 UPS），对7个机房模块进行了准确定位。此外，在楼层平面布局中，对主机房和电力室、空调室等配套机房均采取模块化设计，缩短相关线缆、管道的路由，减少能耗损失。

3.2 NQ数据中心节能创新

在基础设施建设阶段，NQ数据中心进行了多维度的节能创新。

关于机房供配电，传统数据中心常用的不间断电源一般为UPS系统，供电效率较低，其自身损耗往往就占到数据中心PUE的10%左右。而NQ数据中心，60%以上的供电系统采用了全新的架构，即“市电直供+高压直流”双路供电架构。市电直供的供电效率接近100%，高压直流系统相比传统UPS减少了逆变器的损耗，供电效率较UPS有显著提高。根据实际运营统计得出，高压直流转换能效达94%以上，在典型的20%-40%负载段内，节能5%-10%。同时，NQ数据中心楼内配置的通信电源设备在满足IT设备负荷的前提下，也尽量贴近其负荷值，以提高主机的负载率，从而提高主机的效率，降低能源损耗。

关于机房制冷，NQ数据中心在制冷模式设计中，兼顾机房整体节能性与安全性，采用了冷冻水+风冷的制冷架构。其中，考虑到大中型数据中心往往需要一个较长的IT部署过程才能达到较高的负荷率，为了提高在中低负荷状态下的冷机COP值，选择了变频式机组，最终安装的为4台离心式冷水机组，采用三级压缩技术，转速低，能效比高；各级水泵也采取变频器控制，可根据具体情况调节水泵转速；同时结合低温冷却水利用、高位水箱定压、提高冷冻水供回水温度等措施，进一步提高节能效果；精密空调侧采用直流EC风机，更高效节能；三通水阀采用专利设计整流碟，使得调节阀流量特性与冷/热盘管出力特性相匹配，保证在各种负荷条件下，冷/热盘管的精确温度控制和均匀出力，相较柱塞阀，可以达到更好的线性控制。

同时，针对上海的气候特点，宁桥IDC在冷源侧也部署了自由冷却系统。春秋季，开启自然冷却预冷冷冻水。冬季，完全采用自然冷却冷却冷冻水，完全无压缩机功耗部分，仅有少量风扇电耗。同时在不使用季节，自由冷却冷却塔可与主机配备的冷却塔合并使用，以此降低冷却水温，提高主机COP值。

关于IT机房侧，NQ数据中心各IT机房模块采用面对面的机柜布局方式，机柜排列采用冷热通道隔离的方案，即相邻两排设备机架的摆放方向为“面对面、背靠背”，自然形成相互间隔的冷热通道。冷空气从开孔地板进入冷通道，设备采用“正面进背面出”的方式通风，热空气再从热通道回到空调回风口。这种方式既能有效避免冷热空气混合，也利用了热空气较轻自然上浮的物理特性，形成了合理的气流分布，有利于提高冷却效率。同时，在冷热通道隔离的基础上，进一步采用了封闭冷通道的节能方案，根据实验环境的研究表明，封闭冷通道后室内风机送风量可减少约30%，室内风机可省电约2/3。

同时，IT机房架空地板高度设计达到800mm，结合通孔率70%以上的导向送风地板及智能气流推送单元，形成更佳的气流场；对高功耗设备区域，则采用了列间空调，进一步缩短送风距离。科学的气流布置，相比传统数据机房节能10%以上。

通过数据中心规划、设计、建设阶段在供配电、制冷、IT等影响数据中心能源效率PUE的几个关键因素上进行节能管理，能带来的总体能耗降低已颇为可观。

3.1.3 NQ数据中心PUE运营

PUE运营，是指在数据中心正式启用，IT设备开始部署后，在保持现有基础设施架构不变的基础上，对各系统配置进行优化、对运行参数进行调整，最终反映在机房能效指标PUE不断下降的管理过程。考虑数据中心能源效率会随IT负荷变化而变化，因此，PUE运营是一个长期而持续的过程。

首先，对于NQ数据中心的IT部署规划，就已经已大量运用虚拟化技术与节能型设备为前提。虚拟化技术，即在硬件之上构建一个虚拟化平台，通过时分复用、逻辑绑定等多种调度形式，实现对硬件资源的更高效复用，减少闲置服务器造成的能源浪费。而节能型设备，则是指服务器具备支持休眠和降频功能的CPU、大颗粒的内存颗粒、支持休眠功能的硬盘等等。

其次，是NQ数据中心的节能管理手段与制度。NQ数据中心创新部署了可视化机房监控系统，于传统数据中心不同，在集成数据中心级PUE算法的基础上，还集成了基于流量统计的机房模块级PUE算法，能够实时直观展现每一个机房模块的动态PUE数值，为PUE优化提供了精确的计量手段。

再就是节能管理制度的引入，如根据IT负载的变化情况，建立以周为单位的运营日志管理体系，一方面根据机房运营状况进行实时调整，另一方面根据每周数据分析差异以及能耗变化原因，及时固化节能措施，从而实现PUE不断提升。

3. 2 上海移动NQ数据中心节能效果

3.2.1NQ数据中心PUE算法

NQ数据中心供电架构为35KV-10KV-0.4KV，两路35KV高压进线供电配有供电局安装的计量柜；低配室内16套变压器、各组不间断电源都能采集电压、电量、功率等。

根据供电系统图，定义35KV计量读数为市电1/2，16套2000KVA变压器计量读数为TM1-16，为IT负载供电的高压直流系统计量读数为G，UPS系统计量读数为U、市电直供计量读数为AC；F%为该机房模块冷冻水流量占全系统流量百分比。

根据采集到的各级能耗数据，结合数据中心标准PUE算法，给出NQ数据中心整体及机房模块PUE算法为。

3.2.2 NQ数据中心PUE实测数据

以合理规划为前提、以精准建设为保障、以精细运营为管理，NQ数据中心的能效指标PUE始终保持在一个较佳的水平，已启用机房的平均PUE=1.50，相较国内大型数据中心PUE=1.7-1.8的均值，节能约15%，月节电在50万度以上。

四、总结

数据中心的节能管理是一项系统工程，需要综合考虑节能措施对安全、投资、建设、运维模式带来的影响，因此，数据中心的节能必然是贯穿全生命周期的管理过程，在每一个阶段都需要确定目标，评审具体方案措施，把控成效。

同时，数据中心节能管理涉及建筑、结构、消防、智能化、供配电、暖通等多个专业多个条线，需要各部门通力配合，如果一个数据中心能取得良好的节能效果，必然是跨专业协作的结果。

近日，工业和信息化部、国家机关事务管理局、国家能源局数据中心联合下发《国家绿色数据中心试点工作方案的通知》，要求技术与管理并行，提升国内数据中心能效水平，提速节能型绿色数据中心的推进工作。该通知进一步明确了作为耗能大户的数据中心实施节能管理的必要性和紧迫性。

后续，随着数据中心的新增能耗指标，如WUE（Water Use Efficiency）水分利用效率、PUE-c基于CPU运算量的能源利用效率等的不断引入，数据中心的节能管理将更趋于全面化、合理化、科学化。而随着数据中心微模块系统、三联供架构等新兴技术的不断涌现，相信能源效率的进一步提升也值得期待。

数据中心节能管理是精于规划、勤于运营、勇于创新的循环过程。在数据中心向高密度、高可靠性发展的同时，高效率也必然成为数据中心发展的另一个方向。让我们在构建数据中心绿色、可持续发展生态环境的道路上共同前行。