探访谷歌数据中心内部的秘密:服务器自主设计

标签: 谷歌 数据中心 内部 | 发表时间:2012-10-20 10:06 | 作者:腾讯科技 林靖东
出处:http://www.techweb.com.cn/rss/focus.xml

记者首次深入谷歌数据中心 探寻巨人内部秘密

谷歌技术员麦克巴哈姆安装一块主板(腾讯科技配图)

  腾讯科技讯(林靖东)北京时间10月20日消息,据国外媒体报道,史蒂文列维(Steven Levy)是第一位有幸进入谷歌数据中心的记者。他将自己的亲身经历娓娓道来,令读者有种身临其境的感觉。

  列维写道:“谷歌数据中心门口有一个标识牌,注明如果没有戴耳塞或耳套就不得入内。你可以使用自动出货机吐出的橙红色耳塞或佩戴象机场地勤人员佩戴的那种头盔。我们戴好耳塞,卡瓦(Kava)将手抬起来对准安全扫描器进行身份验证,然后厚重的大门就打开了。然后我们就走进这个充满数据的世界。”

  但是正如列维在他的文章末尾所指出的那样,谷歌仍然将它的数据中心帝国看作是它在网络竞争中掌握的最重要的一项优势,它仍然决定不向竞争对手透露它的最新技术。数据中心技术成熟后,谷歌可能会向外界分享它的一点点技术成果,但最新的研发成果只有它自己掌握。谷歌基础设施主管乌尔兹霍尔泽(Urs Holzle)称:“我们尽可能保持开放性,但前提是不能失去我们的竞争优势。我们将传播思想,而不是行为。”

  在过去的几年里,我们对谷歌网络了解了很多,它被公认为最先进的网络业务。但是我们不知道的东西还有很多。最明显的是,谷歌一直对其数据中心帝国中使用的联网技术守口如瓶。它只说想要开发自己的服务器。与Facebook等大型网络公司一样,它没有透露它在全球运行着多少台服务器。

  这些问题的答案都值得探寻,因为谷歌是整个技术行业的巨无霸。它的数据中心建设总是领先于行业,当那些数据中心建设方法或技术被披露出来后,立刻就会被整个行业采用。

  现在,谷歌 联网设置中存在着巨大问题。今年秋季,谷歌承认它正在设计定制 联网设备,利用OpenFlow开源协议在数据中心之间传递信息。但是这种技术与在计算设备中传递信息的 联网技术是不同的。我们在今年夏季的时候曾采访过霍尔泽,但他当时拒绝谈论相关事宜。

  谷歌所有的 联网设备都是它自己设计的,这已经是公开的秘密。据谷歌前工程师JR李沃斯(JR Rivers)称,谷歌从2005年起就开始设计自己的 联网设备了。今年2月,一台名为Pluto Switch的神秘 联网设备的照片出现在一个不知名的论坛上,那些照片显然是发错了地方。从照片泄露的信息来看,那似乎是谷歌在3年前开发出来的一台廉价的交换机,但谷歌仍然没有公开关于那台设备的任何信息。

  有人怀疑谷歌已经在其数据中心中使用了一种全新的光纤 联网交换机,但这似乎不大可能。对于在服务器之间短程传输数据来说,光纤交换机的成本一直都太高。而且要想用光纤交换机替代铜线交换机,还需要解决一些技术上的难题。

  目前还不清楚谷歌是否在其数据中心中使用了OpenFlow技术。据推测,这是谷歌内部业务的很大一部分内容。但谷歌也可能会采用某种虚拟 联网方案和Nicira提供的虚拟化技术。Nicira最近刚刚被虚拟化厂商VMware以12.6亿美元的价格收购。

  鉴于OpenFlow是一种远程管理网络硬件的技术,虚拟化联网技术让你可以只利用软件就能架设其复杂的网络,这样就可以更容易地在数据中心内部调整数据的流向。在谷歌的各个数据中心之间传送信息的广域网上,谷歌使用了它与Nicira合作开发的一款网络控制器。

  现在,谷歌已经坦言承认它自己的服务器都是它自己设计的这一事实。它在2009年的时候对外公布了某些设计。但在过去的3年里,它可能又开发了不少的新设备,至于到底有多少,谁也说不清楚。谷歌发言人对我们说,至少谷歌开发的一些最新的服务器设计可以在这段视频中看到。

  截至上个月,我们已经知道谷歌为它的部分服务器配备了GPS设备和原子钟,以协助构建其全球性数据库Spanner。是的,GPS设备和原子钟。 上周,谷歌工程师杰夫迪恩(Jeff Dean)在洛杉矶召开的一次系统工程师会议上对我们说,这些设备相对更廉价一些,可能每台设备的成本只有几千美元。

  我们仍然不知道谷歌到底运行着多少台服务器。列维认为这个数据并不重要。 他写道:“走在庞大的数据中心内部,我意识到那是一个庞大的天文数字。即便可以数清楚,那个数字基本上也是毫无意义的。现在的设备配备着多核心处理器和其他先进组件,它们的处理能力和功能不知道比以前提高了多少倍。 谷歌现在的一台服务器也许相当于以前的20台服务器。无论如何,谷歌已经在使用群集技术了。” 他的说法也有一定的道理,但是从另一个角度来说,谷歌运行的服务器数量仍然是重要的。

  由于谷歌的服务器都是它自己设计的,而且它运行着云服务,这将推动全球硬件市场发生巨大的变化。据英特尔的狄安布莱恩特(Diane Bryant)称,谷歌现在是英特尔的第五大服务器芯片客户,这明显说明谷歌已经成为全球最大的硬件制造商之一,它正在蚕食戴尔和惠普等厂商的业务。

  显然,谷歌在制造它自己设计的设备时需要与外部厂商签订合同。这就会鼓励许多其他的公司如Facebook和高盛等直接到谷歌的原设备厂商处设计它们自己的硬件。 但是在今年夏天的时候,霍尔泽对我们说,谷歌没有必要将所有的设备都交给原设备厂商来制造。也许谷歌将通过加拿大、墨西哥或是南美洲的一家代工厂商来制造它的设备。 从目前的情况来看,加拿大厂商Celestica就是一个很好的选择。

  那么谷歌运行着多少个数据中心呢? 它在美国拥有6个数据中心,在欧洲有3个数据中心,还有4个数据中心正在建设之中(其中有3个在建的数据中心位于亚洲,1个位于南美洲)。 但谷歌没有透露它通过与其他公司合作获得使用权的数据中心有多少个。

  另一个重要的问题是,谷歌正在对其基础设施进行维护。那也是一个秘密。 

相关 [谷歌 数据中心 内部] 推荐:

探访谷歌数据中心内部的秘密:服务器自主设计

- - TechWeb 今日焦点 RSS阅读
谷歌技术员麦克巴哈姆安装一块主板(腾讯科技配图).   腾讯科技讯(林靖东)北京时间10月20日消息,据国外媒体报道,史蒂文列维(Steven Levy)是第一位有幸进入谷歌数据中心的记者. 他将自己的亲身经历娓娓道来,令读者有种身临其境的感觉.   列维写道:“谷歌数据中心门口有一个标识牌,注明如果没有戴耳塞或耳套就不得入内.

谷歌数据中心选址芬兰背后:气温寒冷 电费低廉

- Zhaojing - cnBeta.COM
新浪科技讯 北京时间9月12日晚间消息,谷歌即将斥资2亿欧元(约合2.73亿美元)在芬兰的哈米纳(Hamia)地区修建一座数据服务中心. 北欧地区长期以来都希 望能够有大型互联网企业能够在该地区建立数据中心,因为当地有两个得天独厚的优势――气温寒冷以及电费低廉.

玩转数据中心:Twitter复制谷歌成名秘密武器

- - 博客 - 伯乐在线
[ 导读]谷歌和Twitter将数据中心当做一个超大型的计算机来看待,最终全世界也会这样做. Twitter的本海因德曼. 《连线》周二刊登了一篇署名为卡德梅茨(Cade Metz)的评论文章,借谷歌(微博)网络帝国最核心的软件系统伯格(Borg)分析了Twitter如何重建谷歌的秘密武器. 约翰威尔克斯(John Wilkes)说,加入谷歌就象是《黑客帝国》中的尼欧(Neo)吞下红药丸一样,那就是选择了觉醒.

数据中心设计

- - 企业架构 - ITeye博客
内容:网易公司因互联网业务发展迅速,急需建设支持自己业务的数据中心. 目前,IT部门根据业务部门提出的需求,计划在数据中心内部署1000台机柜,每台机柜的功率密度为10KW,PUE=1.3. 你作为数据中心技术总监,需要根据上述要求,完成数据中心总体规划(简要描述数据中心总面积大小,描述都需要配套哪些功能房间,每个功能房间的作用是什么, 主机房承重要求, UPS室及电池室承重要求),并计算、推导出以下核心数据:.

谷歌地图连商店内部也能看到了

- 龙 - 果壳网 guokr.com - 果壳网
作者:小行踪 在移动互联网日渐发达的今天,出行的旅客们对谷歌地图的依赖性越来越大了. 我们依靠它寻找饭店、景点、车站,但之前谷歌街景只能在地点描述中提供简单的几张外部图片,而不能让我们一窥店内全貌. 现在,谷歌街景的一项新技术弥补了这个缺憾,用户可以通过这项新服务“商店照片“(Business Photos)看到商店内部全方位的景观.

Facebook新数据中心揭秘

- T.C - cnBeta全文版
Facebook刚刚在俄勒冈州Prineville新建了一座数据中心,号称是全球能效最高的数据中心. 硅谷知名博客作者Scoble有幸受到参观邀请,并拍摄了一些照片. 下面我们就一起去看看Facebook数据中心到底长什么样. 下面这张照片的建筑物体积很大,前面有很多太阳能电池板,连在一起有三个沃尔玛那么大.

IBM建世界最大数据中心

- Adam - cnBeta.COM
本报讯 近日,IBM正在部署磁盘容量为120拍字节(PB)的数据存储中心,这一容量比目前世界上最大的存储中心还要大8倍左右. 美国加利福尼亚州圣何塞市的IBM专家们正在开发世界上最大的数据中心,其容量将达到120拍字节. 这一容量足以拷贝约240亿个MP3文件,足以将Facebook所有用户的数据保存大约13年.

软件定义的数据中心

- - 《商业价值》杂志
由软件定义的数据中心可以将虚拟化技术的好处扩展至包括计算、存储、网络、相关可用性和安全服务在内的数据中心所有领域,从而实现支持灵活、弹性、高效和可靠IT服务的云计算环境. 8月,VMware公司联合250余家虚拟化及云计算厂商,在VMworld2012大会上将虚拟化技术进行了淋漓尽致的演绎. 现场,技术人员用几分钟的时间演示了如何创建、配置虚拟数据中心,灵活、快捷到不可想象.

Google 大秀他们数据中心的安保措施

- Bane - 谷奥——探寻谷歌的奥秘
Google Enterprise Blog今天发了一篇博文,大秀Google Apps数据中心的各种安保措施,在 Amazone EC2 云端刚刚出问题的当口放出这篇博文让人不得不浮想联翩啊. Google先是炫耀自己的专业团队,打造了一套完全自主设计的服务器,看上图,人家维修服务器都带着“狗链”呢,果然专业.

打造高效节能的数据中心

- fantasticfears - 爱范儿 · Beats of Bits
根据调研人 Jonathan Koomey 的报告,全球数据中心在 2000 年到 2005 年间的电力消耗增长了一倍,而 2005 年到 2010 年间这个增长幅度为 56%,其中美国仅为 36%. 这个报告令很多人感到惊奇,因为包括美国环境保护局(EPA)在内都预测 2005 年到 2010 年间,数据中心的电力消耗会增长两倍.