2017年10月15日，中国数据中心工作组专家一行13人踏上了探营日本数据中心的行程，专家组成员由中国数据中心工作组组长，研究员级高级工程师，中国电子工程设计院副总工程师，国标GB50174-2017《数据中心设计规范》主编钟景华带队，包括设计院、IDC建设和运维的多位专家。

 

    在日本期间，中国数据中心工作组专家和日本数据中心的相关专家进行了多次技术交流，并考察了3个非常有特色的数据中心：KDDI telehouse Tama3多摩数据中心，@TOKYO Datecity CC1数据中心，IDCF Shriakawa白河数据中心。

 

    本文作者王前方，来自深圳市英维克科技股份有限公司，中国数据中心工作组专家技术委员会委员，回国后对三个数据中心的制冷系统方案进行总结。在此，作者也特别感谢日本探营活动专家在此文撰写中给予的帮助和指导！

 

    总结如下：

 

    一、位于福岛的IDCF新白河数据中心，制冷系统采用直接新风自然冷却+水冷冷水机组机械制冷+风墙送风的方案

 

    成立于2008年的IDCF已经快速发展为一家提供云计算IAAS服务、大数据服务、数据中心托管和定制服务的综合性数据中心业务服务商，拥有北九州新风和新白河数据中心园区。

 

    新白河数据中心位于东京北面200公里，气温低于东京。距离地震带23公里，30年内发生地震概率5.2%；距离最近的海岸线69km，海拔377米，没有海啸淹没风险。2个物理路由光缆，到东京的网络延迟为3.5毫秒，直连东京、大阪、北九州。

 

    白河数据中心目前运营的有4栋数据中心，第5栋正在建设，预计明年投入使用，规划的还有6,7,8栋数据中心待建。
 

    图1：IDCF新白河数据中心园区规划效果图

 

    考察的1号数据中心可以容纳600个峰值8KVA机柜，机柜空间有两种规格，49U和50U。

 

    白河数据中心的1、2号楼制冷系统采用了新风自然冷却+冷水机组+冷却塔+风墙送风的组合方案，是这个数据中心的最大亮点。白河地区全年平均温度适宜采用新风方案，全年温差不大，最高月平均温度在23.6℃，最低月平均温度0.3℃。

 

    数据中心的建筑设计为制冷系统量身定制，建筑本身就是制冷系统的一部分，采用了雅虎业界闻名的鸡笼数据中心的结构设计形式。此方案和国内誉成云创中卫数据中心（亦称“美利云中卫数据中心”）的制冷方式有相像之处，但中卫誉成云创数据中心更加节能，原因是在新风自然冷却基础上，增加了蒸发冷却。
 

    图2：白河地区气象参数

 

    白河数据中心共有四层，一层为配电机房和办公室，二三层为服务器机房，四层为机械制冷空调机房，楼顶为标志性的排风“烟囱”和冷却塔。

 

    在气流组织方面，白河数据中心应用了一系列的技术来降低风机功耗：

 

    1. 整个外墙作为进风百叶，降低风阻和噪音；

 

    2. 利用建筑结构作为送风通道，比送风风道方案降低了阻力；

 

    3. 应用独特的鸡笼结构，利用烟囱效应来降低排风功耗；
 

    图3：IDCF新白河数据中心外观和屋顶排风烟囱

 

 

    气流模式一：全新风自然冷却

 

    在室外空气温湿度满足机房需求时，新风阀打开，楼顶烟囱排风阀打开，室外新风进入机房冷却后全部排到热通道，热气流上升到4楼机械制冷空调机房，从烟囱排出。
 

    图4：IDCF新白河数据中心全新风自然冷却气流示意图

 

    气流模式二：部分新风混风自然冷却

 

    在室外空气温度低于机房需求温度时，新风阀部分打开，楼顶烟囱排风阀部分打开。室外冷空气经过新风阀后进入混风区，和热通道回风进行混合后达到机房温湿度要求，然后经过风墙送入机房冷通道，冷却服务器后通过服务器风扇进入热通道，热气流上升到4楼机械制冷空调机房，部分通过烟囱排风阀排出，部分回流到混风区和室外低温新风混合。

 

    气流模式三：机房内循环机械制冷

 

    在室外空气温度过高无法满足机房需求时，新风阀关闭，楼顶烟囱排风阀关闭，热空气经过冷水盘管的冷却后经过风墙送入机房冷通道，冷却服务器后通过服务器风扇进入热通道，热气流上升到4楼机械制冷空调机房，然后回到风墙完成一个循环。
 

    图5：IDCF新白河数据中心机械制冷气流组织示意图
 

    图6：IDCF新白河数据中心混风区域（右侧为新风入口风阀）
 

    图7：IDCF新白河数据中心室内送风风墙

 

    四楼机械制冷空调机房内配有加湿机，配合冷水盘管的除湿，可以对机房内的湿度进行控制。结合三种气流模式，可以组合多达6种运行工况，适应不同温湿度条件，并可以自动切换。全年83%的时间使用自然冷却

 

    制冷系统中，机械制冷采用开式冷却塔+水冷冷水机组+一次循环水泵系统，3用1备设计。

 

    冷冻水空调AHU供水温度14-15℃，冷通道设定温度22-26℃，热通道回风温度30℃。全年运行PUE=1.2，是日本PUE最低的数据中心之一。

 

    数据中心内还开辟了温室区域，可以利用数据中心的热量来种植，示范了绿色数据中心的理念。
 

    图8：IDCF新白河数据中心热回收温室区域

 

    日本东京的KDDI Tama3数据中心位于距离东京湾33公里的多摩市，距离东京一个小时车程，位于日本地震低风险区，海拔153米，无海啸等极端气候灾害风险，而且地层属于无液态化风险地区，总体在日本属于低自然灾害区域。数据中心整体建筑采用钢结构方案，并采用了减震设计，有纵向减震和横向减震设施。

 

    Tama3数据中心在2016年5月投入运营，数据中心分地上为5层，其中1层为供配电设施，2-5楼为IT机房，地下一层为抗震设施。数据中心承重按1500Kg/㎡设计，可以提供3000个机柜，支持最大30kVA/Rack的热密度。日本是地震较多的国家，特别是在日本311大地震以来，数据中心的建设对于自然灾害的危险有了深刻的认识。另，当地海拔153米，无海啸等洪水风险；距离东京较近，交通方便。
 

    图9：东京全年平均气温参数

 

    KDDI是世界上第五大数据中心运营商，其客户包括全球500强的多家企业，形成了自己成熟的数据中心规划和建设思路。

 

    数据中心的冷却系统采用风冷冷水机组+双管路设计+机房下送风天花回风设计。IT机房内采用地板下送风，地板高度750mm，冷热通道封闭，天花吊顶回风。下送风机房空调安装在独立的空调间，采用地板下送风，顶部回风的方式。很突出的特点是，空调机组的摆放和要冷却的IT设备隔离，和配电设备有较远的距离或者物理隔离，在空调故障和维护可以减少对其他的设备的影响，提高安全性。
 

    图10：KDDI数据中心下送风机房空调间

 

    室外冷源采用风冷冷水机组，安装在楼顶，每个风冷冷水机组1300kW，由4个模块组成，颗粒度非常小，可以根据需求分期建设，并根据不同的需求开启相应的机组。冷水机组的设计采用了节约占地的X型设计，对于空间紧凑的数据中心有一定的借鉴意义。
 

    图11：KDDI数据中心模块化风冷冷水机组

 

    在楼顶还设计了蓄冷水箱，确保制冷系统的连续供冷能力。
 

    图12：KDDI数据中心的蓄冷水箱

 

    图13为Tama3数据中心楼顶的卫星图片，拍摄时仅仅安装了部分冷水机组和蓄水箱，在参观时左下侧区域的设备也已经安装运行。
 

    图13：KDDI数据中心在电子地图系统中的卫星图

 

    从数据中心的冷却方案来看，KDDI Tama3数据中心采用了冷冻水系统，比较有特点是采用模块化风冷冷水机组。其建设思路是可靠性优先，并没有采用太多前卫的技术，这也符合KDDI作为第三方数据中心供应商的理念，但通过高效的设备选型和运营，数据中心整体PUE为1.31，达到优秀水平。

 

    三、位于日本Tokyo丰州（@Tokyo）数据中心，空调采用了水冷冷水机组+双管路设计+蓄冷设计

 

    日本丰州（@TOKYO）数据中心位于日本东京新丰州，距离东京湾海边1000米，土地是填海工程造地形成的。该数据中心是目前日本最大的数据中心，也是世界上唯一一个与500kV变配电站相结合的数据中心。@TOKYO数据中心的主要的投资方分别为日本西科姆公司和日本东京电力公司，是日本最大的安保公司和电力公司，强强联合，运营的非常成功。

 

    数据中心建筑呈圆形，直径144米，地下35米，地上60米，始建于2001年，历经八年建成。该建筑地下部分主要是500kV变配电站和蓄水池，蓄水池分为2000吨的日常供水池和5000吨的蓄冷水池。地上一层为运维办公室，二层为抗震层，三层至十层为数据中心机房。机房单模块面积500平米左右，可容纳200个机柜，数据中心共有90个机房模块。是日本最大的数据中心之一。
 

    图14：@TOKYO数据中心在电子地图系统中的卫星图

 

    空调制冷系统采用冷却塔、水冷冷机系统、一次泵系统。机房空调采用双盘管机组，由8台2000冷吨冷机，每4个一组提供双路冷源。另设两台蓄冷冷机，一台1400冷吨＋一台700冷吨，晚上利用低电价进行蓄冷。供配电间采用冷冻水AHU，风管送风，气流组织为上送上回。

 

    其设备布局为地下一层冷水机组和配电室，更下层为变电站和蓄水箱。地上一层为运维和办公室，二层为抗震层。由于空调管路需要从地下穿过抗震层到3-10层的数据中心，为确保安全性，水管路在二层采用柔性连结，可以在横向和纵向震动时保证管路的安全性。
 

    图15：@TOKYO数据中心抗震层的建筑抗震橡胶

 

    空调系统设计最突出的特点是采用了蓄冷设计，地下设有5000吨的蓄冷池，晚上利用波谷电价由冷机为蓄冷池蓄冷（5℃），白天为数据中心提供冷源，可以大幅降低冷却电费。蓄冷系统单独设置了两台蓄冷冷机，一台1400冷吨＋一台700冷吨。

 

    主机房采用地板下送风，上部走线，地板架空高度600mm，冷热通道为三块地板，日本数据中心的地板普遍采用450*450mm规格，和国内有较大的区别，其地板设计和安装工艺非常优秀，漏风率极低。单机柜功率主要是110V的3kVA和200V的4-6kVA，机柜采用19inch的标准机柜，47u高度。机房温度为22-27度，湿度40-60%，设计PUE为1.5，考虑到此数据中心为2001年建设，在当时自然冷却并没有广泛被采用，其能效在当时已经非常领先。
 

    图16：@TOKYO数据中心机房内部

 

    以上是作者对考察的三个数据中心制冷系统的总结，此次考察收获非常大，思考与总结如下：

 

    1. 由于日本位于自然灾害的频发区域，日本的数据中心普遍对于安全和可靠非常重视，特别是对于地震、海啸等自然灾害的考虑。在建筑结构上均会考虑抗震设计。 AT TOKYO CC1数据中心对管路、线缆等也采用了抗震设计。

 

    2. 为避免地震带来的管路泄露、维护管理等问题，一般采用空调设备和主设备隔离的设计方案。

 

    3. 日本数据中心制冷系统会根据用户需求、数据中心地理位置和外部条件来灵活设计，均有自己的特色。三个数据中心分别采用了不同的冷却方案，但整体能效均比较高。在日本北部的IDCF新白河数据中心，当地空气温度较低，空气质量较好，远离大城市，采用了新风自然冷却为主的制冷方式； @TOKYO数据中心建成时间较早，PUE并不是非常低，但设计了独特的蓄冷系统，有效降低了运行电费。

 

    4. 日本各个区域的电价区别并不大，所以在选址方面会注重是否处于地震频发地带，气候环境对制冷系统能效的影响等因素。

 

    5. 日本数据中心的施工工艺和细节给予专家组成员很大的震撼，从建筑施工工艺、管路、设备、数据中心的内部装修等工艺来看，有很多地方值得国内数据中心学习。

 
热点专题推荐：
2017年三季度舒适系统采购大数据解读
中央空调强势难挡 政采市场受关注