Facebook Open Compute：如何实现一个高效低成本的数据中心

Facebook Open Compute（FOC）是一个很无私的项目，据说一个团队辛辛苦苦搞了18个月，最终的结果很无私的公布出来。就这点来说Facebook比Google开放的多了，Google的数据中心技术上很保密。

搞FOC项目的目的是想建一个业界最为高效和低成本的数据中心，所谓高效，指的是能源效率，简单的说关键就是PUE。最终的成果很不错，PUE达到1.07，比目前业界主流先进水平高38%，建设和运营成本降低24%。PUE 1.07确实是很牛了，像国内的机房据说PUE一般只有2，一半的电力都没有供给给IT设备，而FOC只有7%的电力没有供给给IT设备。再优化的余地不多了。当然业界也不是只有FOC一家能做到很低的PUE，根据下图，Google和Yahoo的数据中心的PUE也都是接近的。但业界主流的传统运营商机房的PUE相比确实是差多了。

要建一个极低PUE的数据中心，气候条件很重要。最近Google号称是在搞海里的数据中心，用海水来冷却和发电。FOC没这么夸张，但FOC的数据中心特意的选在一个总体来说天气干冷的地方，这样才适合使用蒸发冷却系统。具体是在Oregon州的Prineville，沙漠地区。这里夏季7月气温最高时平均最高气温约30C，但湿度低干湿球温差很大，冬季最冷的1月份平均最高气温约10C，湿度也不大。蒸发冷却这个专业不懂，但大致说来应该是湿球温度低，干湿球温差大时就比较合适。

此外FOC对机房环境的制定比ASHRAE（美国采暖、制冷和空调工程师协会）的标准要松，ASHRAE标准是干球温度最高80.6F，FOC最高允许85F，ASHARE标准最高60%相对湿度，FOC允许最高65%。交流中Facebook工程师的回答是现在的服务器的稳定性更高，工作范围更宽，放宽一些环境限制没有问题。

一个完整的制冷过程如下：
1、吸入外部冷空气，需要时与内部回流的热空气混合后过滤
2、通过雾化系统加湿，蒸发吸热冷却
3、除湿（但交流中Facebook的工程师说目前没有启用，服务器设计成90%湿度都可工作）
4、通过风扇组压送到冷空气通道
5、冷空气穿透Rack，进入密封的热空气回流通道回到二楼
6、热空气在二楼通过排气扇排出（天气太冷时还会送回到过滤室，有时是为了给办公区加热）
 
根据外部气候条件的不同，制冷策略也有所不同：
- DB<80F && WB>70.3F && DP>59F：混合外风与回风，采用湿度控制，绕过蒸发冷却系统，控制湿度<65%，DP>59F
- DB>80F && WB>65.76F && DP>41.9F：只用外风，蒸发冷却，控制温度为80F，>59FDP
- DB>80F && WB<65.76F && DP>41.9F：只用外风，蒸发冷却，控制温度为80FDB，42-59FDP
- 65F<DB<85F && 41.9F<DP<59F && RH<65%：只用外风，不用蒸发冷却，外风直接可用
- DB>52F && DP<41.9F：只用外风，蒸发冷却并加湿，控制温度65~80FDB，43FDP
- DB<52F && DP<41.9F：混合外风和回风到65F，蒸汽系统只用于加湿，控制>54FDB，>42FDP

在供电技术上，FOC主要用电池柜提供短时的后备电力，用柴油发电机组提供较长时间的后备电力。通过定制电源转换和服务器电源提高的能源转换交流。具体的说：
- 柴油发电机组提供后备电力支撑，油量够30小时使用；
- 电网和柴油发电机最终被转换为480V交流；
- 定制的480V交流到277V交流变压，备用电池柜直接输入48V直流，高效的主要电源提高能源转换效率至87%（传统方式66%）；
- 服务器电源450W，双输入（277V交流和48V直流），输出12V直流；
- 一个电池柜为6个rack和配套交换机提供45秒后备电源支持；
 
机架的设计很独特。6个机架分成左右两个三元组，中间为电源柜。每3个机架组成一个三元组，高47U，每机架30台服务器，共90台服务器，内还包含两台配套的在机架顶部的交换机。从资料中没看出来为什么要用这种三元组的设计，可能是为了减少布线，降低成本。

服务器是高度定制的，设计上也很独特。高度是1.5U，据说据测试这个高度最经济。每块服务器有6块3.5"硬盘。主板是定制的，有有Intel和AMD两种主板，其中80%是Intel。很多没什么用的东西都省去或简单以降低成本，如没有上盖板，没有IO面板，没有VGA插槽，没有BMC（用ROL（Reboot on Lan）和Hardware Watchdog代替，几乎不增加成本）。电源直接接在主板上，没有线缆。用4个60mm的风扇，比1U时用40mm风扇高效。