油剂单相液冷技术在数据中心的实际应用

袁晓东，肖 玮，卢乙彬

（1.雄安云网科技有限公司，河北 雄安 071000；2.广东合一新材料研究院有限公司，广东 广州 510000）

0 引 言

目前，国内外数据中心IT设备的散热绝大多数采用风冷技术。空气作为冷媒的热传导效率很低，不仅导致散热能耗居高不下，而且对大功率芯片和高密度图形处理器（Graphics Processing Unit，GPU）板卡的散热越来越力不从心。

随着全球数字化应用进程的快速扩展，大数据、云计算、5G移动通信和人工智能（Artificial Intelligent，AI）对数据中心、边缘计算等数据处理基础设施建设的需求越来越大。同时，由于数据处理技术向数字计算技术的全面转移，高性能服务器、高性能芯片、高密度GPU板卡用量突飞猛进。传统风冷散热已成为制约从信息智能化走向信息智慧化的“瓶颈”。

因此，近两年来一些高性能数据中心、边缘计算中心和超算中心，在一些大功率高密度IT设备上纷纷采用液冷技术。由于液体的比热容和密度具有明显优势，采用液体作为IT设备的冷媒，其冷却效果比空气强1 000～3 000倍[1-3]。风冷技术所面临的散热能耗高和散热性能低的问题，用液冷技术可以得到根本改善。

众所周知，数据中心是典型的“高能耗”产业。储能系统可以在一定程度上减少数据中心对柴油发电机的依赖，是数据中心产业发展的一个重要方向。工信部印发《新型数据中心发展三年行动计划（2021-2023年）》明确：支持探索利用锂电池、储氢和飞轮储能等作为数据中心多元化储能和备用电源装置，推动新型数据中心高效利用清洁能源和可再生能源。但是，在安全性方面，锂离子电池储能系统一直存在一定的隐患。采用油剂单相液冷技术的储能系统能够很好地解决这一难题，为锂电池进入数据中心打开了一扇安全之门。

综合考虑冷却液成本、设备工艺复杂度、应用工况、储能安全和维护便捷性，油剂单相液冷技术比相变液冷技术和非油剂液冷技术更适用于数据中心IT设备和锂电池安全保障应用场景。

1 单相液冷基本原理

1.1 液冷技术概述

液冷技术概览如图1所示[4]。液冷技术路线可分为直接接触式液冷技术和间接接触式液冷技术。直接接触式液冷技术路线又可分为浸没式液冷技术和喷淋式液冷技术两大方向。其中：浸没式液冷技术方向有单相浸没式液冷技术和相变浸没式液冷技术2种实现途径；喷淋式液冷技术方向采用单相液冷实现途径。间接接触式液冷技术路线又可分为水冷冷板式液冷技术和非水冷板式液冷技术两大方向。其中：水冷冷板式液冷技术方向有单相水冷板液冷技术和相变水冷板液冷技术2种实现途径；非水冷板式液冷技术方向有单相非水冷板式液冷技术和相变非水冷板式液冷技术2种实现途径。

图1 液冷技术概览

就其本质而言，液冷技术利用液体将电子设备中芯片和器件产生的热量散除。直接接触式液冷技术路线由于液体与电子设备中的电路直接接触，因此采用的液体一定是导热不导电的，简单的说液体必须是绝缘介质。而间接接触式液冷技术路线，可以采用非绝缘液体，比如水。利用绝缘液体可以对电子设备中全部芯片和器件实施散热，因此电子设备的散热无须风冷辅助散热。利用非绝缘液体一般只能对电子设备中芯片和大功率器件实施散热，其他电路仍需风冷辅助散热。无论是绝缘液体还是非绝缘液体，对电子设备中的芯片和器件散热后，温度都会升高。由于绝缘液体直接和电路接触而非绝缘液体间接和电路接触，绝缘液体温度升高比非绝缘液体要低很多，因此二次换热时通常非绝缘液体需要制冷降温，而绝缘液体无须制冷只需自然换热降温。非绝缘液体采用冷却纯净水，而绝缘液体（简称冷却液）分为氟化液和油类冷却液，氟化液又分为单相和两相。总体来说：氟化液具有沸点低、密度大、成本高的特点，氟化液使用中有消耗，省电不省钱，经济成本性差，优点是黏度小、无闪点、易清洗；油基冷却液具有成本低、密度小、闪点高的优点，更适合企业数据中心（Internet Data Center，IDC）和企业数据中心（Enterprose Date Center，EDC），缺点是黏度相对大、清洗相对复杂[5-8]。

1.2 单相液冷技术原理

目前常用的单相液冷技术有冷板式液冷技术、浸没式液冷技术和喷淋式液冷技术，如图2所示。

图2 3种常用的单相液冷技术

冷板式液冷技术。将服务器大功率发热芯片和器件（CPU/GPU/DIMM等）贴近冷板，利用冷板中流动的介质带走热量。工作介质可以选择去离子水、水溶液、氟化液等。液冷服务器安装于机架，并设置风冷空调辅助制冷。风冷负责液冷冷板无法覆盖的部件。由于去离子水密封工艺要求太高，而氟化液价格昂贵，因此冷板式液冷冷媒一般采用冷却的纯净水溶液。

浸没式液冷技术。将服务器完全浸没在非导电性工作介质中，工作介质与功耗器件直接接触换热，通过工作介质的蒸发冷凝或循环流动带走热量。介质采用氟化液或普通油剂冷却液等。

喷淋式液冷技术。将冷却液通过设置在服务器中的喷淋头精准喷洒到服务器中的芯片、器件和所有电路上，直接接触式带走热功耗。升温后的冷却液通过自然风或水换热（无须制冷冷却）后，再由压力泵送入服务器中实现对芯片、器件和所有电路的循环散热。系统通过喷淋头的精准设计，不同热功耗芯片、器件和各种电路可以获得不同的冷却液流量满足各自不同的散热要求。

流动浸没式单相液冷工作原理是冷却液直接将电池组完全浸没，冷却液与电芯表面接触并流动，在流动过程中将电芯热量带走，通过热控系统将热量散发到空气中，最终达到对电池控温的目的。通过冷却液的循环，可以达到电池系统的区域温差超低，整个电池系统的不同区域的电芯工作温度差距在±2 ℃，从源头上降低了电芯热失控的风险。

1.3 3种常用单相液冷技术特点

在3种液冷方式中，冷板式是液冷和风冷相结合的散热模式，热功耗大的芯片贴上冷板散热，其他电路散热仍然需要风扇通过空气散热，所以业内戏称为“贴膏药止痛”模式。冷板式的突出优点是：国外专利已过期，没有专利壁垒；散热冷媒介质采用低成本的纯净水；服务器维修时不需要清洗。主要缺点是：节能效果不好（电源利用效率为1.4左右），需要对自然水制冷低至15 ℃的冷却水；需要风冷辅助，仍然需要建数据机房，建设成本高；冷板和冷管工艺要求高，确保冷水不泄漏外溢；服务器关闭再启动，凝露水珠容易导致电路短路故障。

浸没式有两种散热技术路线：相变散热和流动浸没散热。相变散热采用低沸点的氟化液作为冷媒介质。浸泡在氟化液中的芯片和电路产生的热功耗，通过氟化液气化传导至冷凝板，冷凝板利用冷却水将气化后的氟化液转换回液态氟化液实现对芯片和电路的循环散热。相变浸没散热的突出优点是：散热效率高，节能效果好（数据中心能源效率为1.1左右）；氟化液换热过程在同一箱体内，控制简单；服务器维修时免清洗；无需建设数据机房。主要缺点是：国外核心专利仍在保护期内，存在专利壁垒；氟化液价格高，是普通冷却液的10倍左右；氟化液有泄漏风险，要求箱体密封工艺高；芯片和电路是浸泡在氟化液中，氟化液用量大；浸没式机柜的承重要求是普通机房建设标准的2倍以上，常规只能放在地面一楼；需要改变传统数据中心的维护规程和习惯。

流动浸没散热采用一种导热不导电的冷却液作为冷媒介质，浸泡在冷却液中的芯片和电路产生的热功耗通过冷却液的温度升高传导至换热单元。换热单元利用风或凉水对升温后的冷却液进行降温，再将降温后的冷却液传送至芯片和电路上，实现循环散热。流动浸没散热的突出优点是：节能效果好（数据中心能源效率为1.1左右）；采用普通冷却液，价格低廉；冷却液不存在泄漏问题，无须密封，箱体工艺要求低；冷却液换热单元无须对水制冷，采用常温水即可；无须建设数据机房。主要缺点是：国外核心专利仍在保护期内，存在专利壁垒；为了克服大功率芯片热功耗聚集导致传热效率低的问题，需要在箱体中打入空气促进冷却液流动；由于芯片和电路是浸泡在冷却液中，冷却液用量大；浸没式机柜的承重要求是普通机房建设标准的2倍以上，因此常规只能放在地面一楼；因冷却液用量大，消防安全存在隐患；要改变传统风冷数据中心的规程和习惯；服务器维修时需要清洗[9]。

喷淋式散热模式的基本原理与流动浸没式散热相同，不同的是流动浸没式散热是将芯片和电路浸泡在冷却液中，而喷淋式散热模式是将冷却液喷洒到芯片和电路上，实现散热。简单类比就是：流动浸没式散热模式是让芯片、器件和电路“洗池浴”，喷淋式散热模式是让芯片、器件和电路“洗淋浴”。喷淋式散热的突出优点是：自主知识产权，无专利壁垒（全部核心知识产权掌握在广东合一新材料研究院）；传热效率高，节能效果好（数据中心能源效率为1.1左右）（与相变浸没散热模式等同，优于流动浸没散热模式）；无须建设数据机房（与浸没式相同）；采用普通冷却液，价格低廉（类比相变浸没散热模式）；冷却液用量少，约为浸没式的1/4；冷却液不存在泄漏问题，无须密封，箱体工艺要求低（类比相变浸没散热模式）；承重要求与普通机房建设标准相同，仅为浸没式散热模式要求的一半；冷却液用量少，便于解决消防隐患问题；冷却液换热单元无需制冷，采用自然风或常温水即可（类比相变浸没散热模式）；不改变传统风冷数据中心的维护规程和习惯。主要缺点是：各箱体按热功耗不同需要进行冷却液分配控制（类比流动浸没散热模式）；普通冷却液需要抗氧化稀释处理（类比流动浸没散热模式）；服务器维修前需要清洗。

2 单相液冷实际应用于数据中心的优势

雄安云网科技有限公司对国内3种常用的单相液冷技术和实际应用进行了充分的调研和深入的对比分析研究，并结合雄安城市计算（超算云）中心项目分别对冷板式液冷（氟剂）、浸没式液冷（氟剂）、喷淋式液冷（油剂）和浸没式液冷储能（油剂、磷酸铁锂电池组）进行了试点应用。尽管相变液冷技术本身优点很多，但相变冷却液价格昂贵、用量巨大、对机房承重超过常规要求、确保无泄漏工艺要求太高等制约了面向数据中心特别是中大规模数据中心的实际应用。经过技术特点、成本分析、应用工况、适用场景、后续维护等方面综合分析认为，单相液冷实际应用于数据中心有11个大优势。

（1）总能耗节省1/2，数据中心能源效率小于1.10。总能耗指数据中心IT设备和确保IT设备安全稳定工作的支撑设备能耗之和。单相液冷技术不再需要冷空气，不再需要保持空气湿度稳定，不仅确保IT设备安全稳定工作的支撑设备能耗大幅降低，而且传统风冷服务器中的风扇完全拆除，数据中心IT设备自身的能耗也会降低20%左右。20个机架200 kW模块综合测试总能耗比传统风冷降低48.7%，数据中心能源效率达到1.09[10]。

（2）省空间。单个喷淋液冷机架可以承载4个风冷机架的高性能服务器，占地面积节省3/4。从承载电功率的角度看，常规单个喷淋液冷机架可以承载20 kW的服务器电功率，而传统风冷机柜仅能承载不超过5 kW的服务器电功率，所以单个喷淋液冷机架可以承载的电功率是传统风冷的4倍。从另一个角度看，4U高性能服务器改装成液冷服务器后高度降为2U，并且喷淋液冷机架可以依序堆叠放满，而传统风冷机架需要在高性能服务器间留有1～2U空间隔开堆叠放满。从实际空间占用情况来看，一个喷淋液冷机架相当于4个风冷机架，节省了3/4的占地面积。

（3）无须建设标准专用机房，建设经费节省1/3。一方面，采用单相液冷技术后，服务器芯片、器件和电路的工作环境实际上已与空气无关，仅取决于单相冷却液的工况，因此传统风冷机房温度、湿度、防静电等问题无须考虑，即无须按照国际上T1/2/3标准建设专用机房。另一方面，由于总能耗节省一半，供电容量也会降低一半。这不仅大大降低了机房建设供电线路的成本，而且将为机房提供的应急供电的柴油发电设备需求和不间断电源的配置需求降低一半。同时，在同等规模和性能的条件下，机房面积会节省3/4。综上所述各种因素，喷淋液冷数据中心一次性建设经费投入将节省1/3左右。

（4）电费节省1/2，房租费节省3/4。以200 kW数据中心模块为参考计算，每年电费节省约101万元，房租费节省约9万元，直接运行成本节省110余万元。

（5）计算能力提高1/2。在风冷的情况下，服务器不能长时间满负荷工作，轻则大大降低芯片可靠工作寿命，重则损坏芯片导致服务器故障。在液冷情况下，由于液体热转换效率高，服务器可以长时间满负荷工作，不会导致芯片故障。因此，风冷条件下，服务器工作的平均负荷量只能按60%设计，而液冷条件下，服务器的平均负荷量可以按照90%设计，计算能力提高1/2。换句话说，2台液冷条件下工作的服务器，实际计算能力等效为3台风冷条件下工作的服务器。对于价格昂贵的高性能服务器，计算能力的提升为用户节省了大量服务器购置经费。

（6）平均维护工作量比风冷节省3/4。服务器产生故障有3大因素：一是风扇震动，因为印制电路板（Printed Circuit Board，PCB）安装到服务器机箱内无法消除安装点之间的力矩，震动会导致PCB电路板各层内的连接发生断裂；二是灰尘，空气潮湿会引起电路短路击穿，空气干燥会引起芯片、器件和电路表面产生静电导致电路短路；三是芯片温度的抖动，风冷条件下芯片随负荷量变化温度抖动达40 ℃，而液冷条件下，这一抖动范围为20 ℃，因此大幅降低了芯片的故障情况。由于液冷服务器中没有风扇、没有灰尘，同时芯片因业务负荷变化引起的故障率低，服务器工作的可靠性系数估测至少提高一个数量级，因此平均维护工作量比风冷降低3/4。

（7）无噪声污染。服务器运行处于静音状态，噪声系数低于50 dB，可以与人同处一室工作。风冷数据中心的噪声主要来源于服务器中的风扇，特别是高性能服务器中的变频风扇。喷淋液冷条件下，服务器中所有风扇被拆除，只有冷却液流动的轻微且人耳不敏感的噪声[11]。

（8）工作环境无要求，可以放置于车间、办公室，甚至楼道和楼梯间内。液冷条件下，服务器芯片、器件和电路的工况仅取决于喷入服务器中的冷却液，与周围环境无关。服务器尽管不是密封的但是密闭的，即使有微量灰尘进入冷却液，也会被外部换热单元设置的过滤器循环过滤掉。只要外部换热单元将冷却液的温度控制在设置的范围内，环境温度高低对服务器工作不会产生任何影响。

（9）服务器寿命可以从6年延长至9年。从降低维护工作量方面分析，服务器工作的可靠性系数至少提高一个数量级，那么服务器的故障率就会降低一个数量级，因此服务器的使用寿命会延长1/2。

（10）工厂预制，组件化/模块化安装，交付快。在液冷条件下，无须按照国际上T1/2/3标准建设专用机房，所有设备分组件和模块在工厂已标准化预制完毕，现场只是完成标准化组件/模块的安装和调试，将数据中心建设由传统工程项目平滑过渡到产品安装调试，缩短了2/3的交付周期。

（11）通过高效率安全储能省电。将锂电池系统整个浸没到阻燃的冷却液中，和空气完全隔离。在前段预防措施失效的情况下，部分电芯热失控时，一是加快循环把局部热量带走防止热失控进一步扩大。二是和空气完全隔离，不会发生明火燃烧，将热失控风险控制在局部范围，只有部分电芯损坏，不影响系统和周边环境。电芯在温度可控且温差极小的条件下，还可以有效延长电池的循环寿命[12]。

3 结 论

综上所述，从现有数据中心工况的综合适应性分析，油剂单相液冷技术可广泛应用于数据中心。就目前常用的3种油剂单相技术研究现状、实际应用和试运行情况看：

（1）冷板式液冷技术由于需要经过制冷的冷却水，而且要确保大规模使用时冷水不外溢到电路上，工艺要求过高，作为数据中心主流选用技术不是很理想；

（2）浸没式颠覆原有的机房体系架构，对机房布局、楼板承重、配电设施、管线系统及运维习惯变动较大，空间利用率相对较低；

（3）喷淋式保留了原有机房布局和运维习惯，空间利用率较高，而且用液量小成本较低，是值得推荐的数据中心特别是中大规模数据中心主流选用技术。