集装箱式数据中心的产业化

文｜深圳市腾讯计算机系统有限公司 朱 华

1 前言和概要

数据中心行业最近几年的发展速度和进步超越了过去的很多年，Google数据中心的创新引领了数据中心的一个新的发展方向，并代表了未来的一些行业发展趋势，用一句中国俗语“敢为天下先”，准确地描述了Google对于数据中心行业的深远影响。2005年，Google率先使用的集装箱式数据中心，再次引发了数据中心行业的“震动”，让许多用户、厂商和行业专家开始了对集装箱式数据中心的前景、意义和产业发展进行了思考，尝试和进一步的创新以及产品化。经历过几年的探索和发展，数据中心行业人士认同和总结了关键的几点因素，正如集装箱的著作中所描述的一样，集装箱式数据中心的出现，使得数据中心更标准化、灵活、快捷、迅速甚至对整个数据中心的经济发展也将产生革命性的影响。

2 集装箱式数据中心的起源与发展

在论述集装箱式数据中心的起源之前，我们不妨先关注下集装箱，因为是集装箱式数据中心，集装箱是其表现形式，其核心还是数据中心，因此，在这里，我们有必要花点篇幅来回顾一下集装箱的起源和发展。

集装箱的起源和发展：为了纪念集装箱化50周年，美国普林斯顿大学出版社2006年出版了美国著名经济学家Mark Levinson先生的著作《THE BOX：How the shipping container Make the World Smaller and the World Economy Bigger》。这本书讲述了集装箱的由来、为开辟海运市场而经历的斗争、标准化进程、在世界范围内的广泛应用和未来的发展。集装箱的出现，使全球的货物运输成本更低，更加方便快捷。集装箱化对国际物流乃至全球的经济发展产生了革命性的影响。

集装箱的典型特点和数据中心的结合点，换一句话说，为什么数据中心会采用集装箱，因为集装箱本身有些特点是符合下一代数据中心的发展思路和应用的。我们总结归纳一下，主要有以下几个关键的特点吸引了数据中心的用户和人士。

（1）标准化：这一点和集装箱发展过程中的思路是一样的，标准化意味着更广泛的通用性和适用性。这一点，集装箱数据中心发展的思路是一致的，甚至和整个IT行业的发展也是一致的。

（2）灵活性：集装箱的出现，对于物流行业而言，意味着最大的灵活性，可以把物品通过陆地、海运运输到全世界各地，无论是轮船，还是卡车，集装箱都是可适应的，因为大家都遵循了这个标准，从而运输变得很方便。

（3）快速：有了集装箱，运输很方便，都是按照集装箱的尺寸来安排货运，缩短了时间，对于数据中心行业而言，我们也希望可以实现快速部署。

3 国外集装箱式数据中心的发展

Google集装箱式数据中心的出现，在过去的几年中，主要经历了以下几个关键阶段和里程碑：

（1）Google集装箱数据中心的出现。

（2）在2005年之后，许多IT厂商如IBM的 PMDC（Portable Modular Data Centre），HP 的 POD，DELL、SUN 的“BlackBox”，SGI（Rackable）的ICE CUBE等陆续开始尝试推出自己的集装箱产品，并且针对集装箱式数据中心的标准、特点、性能、测试、应用场景等开始进行研究和探索。在这个阶段，尚属于产品走向产品化、市场化的初级阶段，尚未达到成熟阶段，比较典型的特点是，各个IT厂商的集装箱式数据中心产品并没有取得一定规模的订单，市场上的最终客户，还是相对谨慎和保守的来看待这个“BOX”。市场上大部分客户还处于观望期。

（3）近两年，数据中心基础设施的设备厂商也开始陆续推出了自己的集装箱产品，如APC、EMERSON、Active Power等公司，这些原本为数据中心提供电力、UPS、发电机、制冷等的厂商也开始涉足，并将集装箱式数据中心的概念进一步推广，和自己原有的产品进行了结合，在这一阶段，集装箱式数据中心的应用范围进一步扩大和发展，如集装箱柴油发电机、集装箱UPS、集装箱的各种产品组合，进而更大的演变为集装箱式数据中心的概念、体系和应用。

（4）里程碑：Microsoft在自己的一个数据中心采用了大规模集装箱式数据中心，进一步推动了集装箱式数据中心的应用发展。

思考：一些国外用户，在近两年，也在尝试采用集装箱式数据中心，如果我们回顾集装箱的发展历程，发现了两者的相似点，集装箱在1956年诞生了，但是真正繁荣是在1965年，而当时的繁荣是有外力的介入，即用今天IT行业的名词——业务驱动。从集装箱式数据中心的这几年发展来看，尤其是这两年云计算的发展也必将从业务驱动来促进集装箱式数据中心的繁荣，即在未来2～3年，集装箱式数据中心可能会到达一个繁荣阶段。

4 国内集装箱式数据中心的现状和发展

国内集装箱的发展，从过去几年的发展历程来看，也分为以下几个阶段：

阶段一：简单模仿阶段，基本属于实验性质，尚处于早期的尝试，市场基本没有反应，大家只是抱着对新鲜事物的关注来看待这个新兴产品，只是关注而已。而中国市场的用户也没有购买集装箱式数据中心，无论是国内自己生产的，还是购买国外厂商生产的集装箱。

阶段二：主要是近一年，全国各地，包括市场上的一些通信和IT企业开始进行试制，并陆续宣布自己的集装箱式数据中心产品的诞生。

里程碑：在今年四月北京举行的英特尔开发者论坛，英特尔和富士康展出了一个集装箱的样品，在这个时间点上，也恰巧是中国数据中心行业发展的一个新的时期，“一石激起千层浪”，市场被点燃了，无论是服务器生产厂商、通信厂商，还是电信运营商，开始加大研发，实验生产。与此同时，以互联网用户为代表的一些行业用户，都在开始深入探讨、研究、尝试集装箱式数据中心的部署。

5 国内传统数据中心面临的挑战

在国内，大多数传统数据中心在构建时旨在满足当时的需求，如今已变得陈旧老化，面临着电力和空间严重不足的问题。因此，这类数据中心很难继续支持不断增加的电源密度和空间需求。特别是云计算这种浪潮席卷大地的时候，面临着爆发性的云计算数据中心扩大需求，许多公司不得不花费巨额的成本和漫长的研制周期来构建全新的数据中心空间。

另外设计传统的数据中心时，需要对未来业务扩展做出准确的预测和规划，这将迫使构建的数据中心容量远远超过当前所需的容量，将造成巨大的人力和财力的浪费，即便如此，传统的数据中心的建设速度仍然无法满足云计算时代对数据中心访问日益快速发展的需求。

6 国内集装箱数据中心的瓶颈和问题所在

正如前面所论述的中国集装箱式数据中心发展的一样，我们目前到了一个即将产业化的前夜，曙光就在明天，而从目前，我们所研究的国内生产或者处于设计阶段的集装箱式数据中心来看，都存在很多缺陷和需要解决的问题。典型存在的问题如下：

（1）标准化：虽然各个厂商推出了自己的集装箱式数据中心的产品，但是架构、思路都不相同，甚至有的是大相径庭，差距很大。部分厂家追求高密度，部分厂家单纯追求某一个指标，集装箱式数据中心的设计等级也不相同，因此，对于用户而言，很难将不同厂家的产品放在一起共同运行。

（2）制造成本：我们不难发现，目前而言，他们的建造成本还很高，甚至有点昂贵，当我们的用户对比单位计算单元的建造成本的时候，不难发现，远高于传统数据中心。

（3）产品化和产业化：目前，还很难说这些集装箱数据中心是否可以作为真正的商品，包括产品专利、商标、产品认证、测试等都还不成熟。而对于生产厂家而言，其产品配套的上下游供应链，也远远没到成熟阶段，产品也还没有达到产品系列化。

7 国内对集装箱式数据中心的理解误区

下面是目前国内对集装箱式数据中心优势的总结，这里笔者做了一些剖析：

（1）高密度：可容纳高密度计算设备，相同空间内可容纳六倍于传统数据中心的机柜数量；这个看法我们反对，在实际的工程实施中，也可以在传统建筑中以同样水平的密度部署存储和服务器。

（2）低PUE：由于采用了全封闭、冷热通道分离，减少了冷空气的消耗，令电力使用率大大提高；这个看法我们反对，在传统数据中心也可以利用这些制冷技术。

（3）快速部署：集装箱式数据中心不需要企业再经过空间租用、土地申请、机房建设、硬件部署等周期，可大大缩短部署周期；这个看法需要一分为二的看待，目前集装箱放置的土地、建筑、配电站依然需要政府审批，流程一样也不能少，倒是服务器机房建设、硬件部署可产品化，的确可以大大缩短。

（4）按需部署：一个模块可以安装400至2000台服务器，这些服务器都是预先安装并经过测试的，可以在几个小时内投入运行，因为所有这些测试和联网工作都是在出厂前完成的。这个看法我们是支持的，集装箱式数据中心的确可以在工厂里进行预装和调试。

（5）即插即用：模块的安装非常容易，只需提供电源连接、水源连接（用于冷却）和数据连接即可。这个看法我们是全部支持的，集装箱式数据中心提供标准接口，基础设施建设时可以设立接驳站。

（6）将成本的投入时间从前期投资推迟到服务器部署：模块化数据中心的一大优势是，模块将电源、冷却设备和IT设备集成在一起，客户付费后即可使用。这不但推迟了资本成本的投入时间，而且由于数据中心能够满负荷运行，还消除了未使用计算能力，显著的节约了成本。这个看法我们支持的，集装箱是模块化的一种形式，阶梯型增长，颗粒度小。

（7）节约成本：具有大量空调甚至活动地板和天花板的传统数据中心相比，集装箱数据中心在设计和建造上要便宜30%？这个看法我们是反对的，目前没有标准化，完全产品化，成本上没有优势。

（8）移动性：便于移动，部署灵活？这个看法我们也是反对的，数据中心既定需求，互联网数据中心为什么要移动？

下面为目前集装箱式数据中心的一些劣势的分析：

（1）受到空间的限制，不能兼容所有的厂商的服务器或者网络设备。这个看法是支持的，因为需求不一，集装箱的规格比较单一，即使你货比三家，可能也只有两三种规格。集装箱的规格严格限制了集装箱式数据中心的计算能力。

（2）集装箱式数据中心内部机架之间的空间狭窄，极不便于技术人员来回走动工作。这个看法是支持的，因此集装箱的运维难度，本身设施的冗余不够，出现故障，不易在线维护。

8 国内集装箱数据中心产业化发展机遇和急需解决的问题

在这个非常时期，我们虽然面临着很多困难和瓶颈，但是我们也看到了很多发展机遇和切入点。概括来说，主要有以下几个方面：

（1）服务器生产厂商：无论是Google，或是Facebook，他们的服务器都不是一个市场标准的服务器，其初衷都是降低一次性购买成本，同时降低运行成本。针对集装箱式数据中心而言，涉及到定制，而国外的服务器厂商很难根据中国用户的节奏和期望来设计和制造最符合用户需求的服务器，这就给了中国国内的本土服务器制造厂商一个巨大的机遇。针对集装箱式数据中心，来生产适应集装箱式数据中心的服务器，甚至可以建立集装箱服务器的标准，对于民族产业的振兴，自主研发提供了一个千载难逢的机遇。

（2）机柜厂商：传统的基于工业标准的42U标准机柜不再适应集装箱式数据中心，洋品牌的机柜生产厂商不会轻易根据这个需求改变设计，或者特定设计，而这也是国内机柜生产厂家的一个机会，也是其销售市场的一个重要延伸。

（3）电源厂商：传统数据中心中，无论是UPS，或者电源配电柜等，都是洋品牌占据主导，针对集装箱式数据中心而言，也面临同样的定制和适应的问题（包括高压直流），同样也给了国内生产厂家一个机会，无论是品牌的升华，或是研发的升级，都是难得的市场机会。

（4）集装箱生产：虽然我们国家有很多生产集装箱的厂家，但是特种集装箱生产厂家很少，而对于集装箱式数据中心而言，必须有配套的下游可生产特种集装箱的生产厂家来做配套。由于研制阶段，产量低、成本高，其生产质量、标准、工艺、公差等都存在问题。

9 集装箱标准化和产品化的示范案例

怎么来解决标准化和产品化的问题？站在业务的高度去注意归纳和总结，尝试把握其中的规律，结合云计算的四大基本业务需求：

（1）搜索业务：CPU要求高；内存要求高；存储要求低。

（2）数据挖掘：CPU要求高；内存要求低；存储要求高。

（3）数据存储：CPU要求低；内存要求低；存储要求高。

（4）虚拟机：CPU要求多；内存要求高；存储要求高。

我们可以抽取其中的数据挖掘业务举例，服务器硬件：标准1U机架式服务器，Intel Tylersberg-EP平台，双路Nehalem或Westmere处理器，6英寸×3.5英寸2T容量硬盘，12英寸×13英寸主板，12V直流供电，针对数据挖掘这样的业务需求，硬件的单机功耗确定在250W的标准，确定数据中心最小单元规格后，集装箱式数据中心依据此可以做如下标准设计：采用45尺高柜，所有的供电制冷设备加上1200台服务器全部放置在一个集装箱内。机柜共30台，每台机柜尺寸（宽500×深550×高2300），共50U空间，每台机柜耗电10kW。总服务器空间：30×40=1200U。电源采用380AC/280VDC直流供电方案，280VDC@15分钟电池，占地水平空间2400。机柜内电源280VDC/12VDC：总共为40～43台服务器按峰值功率10kW，正常工况功率9000W设计。

对于接口做如下标准规定：每个集装箱留有两个冷冻水进水管和两个冷冻水出水管，水管的位置位于集装箱两侧靠近底部的位置，集装箱上安装防护装置，水管尺寸为DN80，采用法兰连接。电气接口箱内置2×250A 3P开关，三线五线。

所有设计经过CFD模拟验证后，理论计算PUE＝1.2，这样的一个应用数据挖掘业务的集装箱占地不足32m2，却可以提供1200台服务器的装载能力，其服务器配置、尺寸、机柜尺寸、密度、高压直流UPS、PSU、行间冷却盘管、消防、监控皆可作为一种产品标准（针对数据挖掘业务）确定下来。整个集装箱可以等同于一台具备超大能力的服务器型号，与此相关的内部设备及配件涉及的生产厂家形成一套完整的产品链、配套链。

就此类推，未来数据中心的规划建设将依据未来可以提供的业务，最小建设单元将是集装箱式模块，数据中心的前期规划建设就如同飞机场，设计好许多的停靠诸元而已。

10 结束语

集装箱式数据中心的发展历程如同集装箱产品本身的历程相似，除特种行业（如石油勘探），目前在国内还未见大规模的应用，存在很多认识上的误区，集装箱式数据中心的优势不需要很多，两点足以使之应用普及：一是快速生产部署；二是价格低廉。要彰显这两点，集装箱式数据中心必须标准化、产品化，所幸运的是，国内风起云涌的云计算产业势头将带来集装箱式数据中心发展的契机和环境。对此，还有一段路需要共同努力，前景充满期待。