Jeff Dean的Stanford演讲

标签: 杂项资源 Google Jeff Dean MapReduce Performance | 发表时间:2010-11-22 01:07 | 作者:陈皓 zz
出处:http://coolshell.cn

Google 公司的 Jeff Dean 在Stanford大学做了一个非常 精彩的演讲(视频未墙)。我觉得我们每一个人都应该去看一看这个视频,当然,没有字幕,需要不错的听力,当然,我不可能全部翻译出来,因为我也不是完全能听懂,下面是一些相关的Notes,供你参夸,并欢迎牛人指证。

  • 比较了从1999年到2010年十年来的搜索量的变化。搜索量增加了 1000 倍,而搜索速度快了5 倍。1999年,一个网页的更新最多需要一个月到两个月,而今天,只需要几秒钟,足足加快了5w倍。
  • 一开始,这些大量的查询产生了大约30GB的I/O量。2004年,他们考虑过全部重写infrastructure。
  • 讨论了一些关于变量长度字节对齐的东西。
  • 今天的MapReduce 有400万个作业,处理将近1000PB的数据,130PB的中间数据,还有45PB的输出数据。(1PB =1024TB)关于 MapReduce (Google云计算的精髓) 的一些统计,见下图:

  • 现在Jeff正在做一个叫Spanner的项目,这是一个跨多个数据中心的项目。在后来的Q&A中,Jeff解释了现在的数据基本上都在各个数据中心中,数据在不同数据中心间的交换几乎不可能。所以,他们需要提供一些手动的方式或是一些工作或任务来达到数据共享。这其中还需要有一些策略配置,共同的namespace,事务处理,数据一致性等等工作。
  • 最后一个段落应该是最精彩的,Jeff讲了很多很有意思的东西,绝对让你受用一生:
    • 一个大型的系统需要分解成N多的小services.(这和Amazon的很相似,一个页面的调用可能要经过几百个后台的services)
    • 代码的性能将会是想当的重要。Jeff给了一张叫“Numbers Everyone Should Know” 的slide,如下所示,我觉得太经典了,其中的东西,如果你看过我的那篇“给老婆普及计算机知识”,我想我不需要多解释了。(注:1 ns = 十亿分之一秒)
    • 把相同的东西抽出来去建立一个系统,而不是把所有的事情交给所有的人。他说: “最后的那个功能可能会导致你怎么个系统超出了原有的复杂度”。
    • 不要无限制地设计可扩展性。5倍到50倍的扩展性设计足够了。如果你要达到100倍的,那应该是re-arch了。
    • Jeff很喜欢有中心主结点的架构体系,他并不喜欢分布式系统。当然,中心主结点主要是用来做控制的,而不是做数据或是计算服务的。
    • J在一些小机器上运行多个小服务,而不在一个大机器上运行一个mongo作业。越小的单元就越容易处理,修复,负载均衡和扩展。(化繁为简)
    • …… ……

这是一个非常不错的演讲,很让人开阔眼界。

最后,我想说说英文,很多程序员都很不喜欢英文,哎……怎么说呢?如果你今天对英文还很害怕的话,这只能怪我们的教育制度的失败。但如果你以此为借口的话,那只能怪你自己了。没有英文的能力,你的技术和认知仅限于中文圈中,而中文圈中基本上都是产商的文化。有人说,“功夫网”让我们的internet成为了局域网,而我想说,让我们成为局域网的不是那个墙,而是我们自己的世界观和英文能力。

相关文章

相关 [jeff dean stanford] 推荐:

Jeff Dean的Stanford演讲

- zz - 酷壳 - CoolShell.cn
Google 公司的 Jeff Dean 在Stanford大学做了一个非常 精彩的演讲(视频未墙). 我觉得我们每一个人都应该去看一看这个视频,当然,没有字幕,需要不错的听力,当然,我不可能全部翻译出来,因为我也不是完全能听懂,下面是一些相关的Notes,供你参夸,并欢迎牛人指证. 比较了从1999年到2010年十年来的搜索量的变化.

Jeff Dean, 谷歌,软件系统,经验教训

- Amom - 弯曲评论
Jeff Dean, 谷歌院士,业界大牛,他的成就就不多介绍了,大家可以网上查查,但凡Google引以为豪的几个系统架构都少不了他. 本文是他在斯坦福演讲的Slides,谷歌的各类系统虽在Google Lab上些资料,但是由Jeff串讲一下也是受益匪浅,现Share给大家:. Youtube上有此次演讲的视频,大家可以去看看.

Jeff Dean关于Google系统架构的讲座

- water - 并行实验室 | Parallel Labs
上个月Jeff Dean在Standford的Computer Systems Colloquium (EE380)这门讨论课上详细讲了讲Google的系统架构发展过程,因为这是份很新的资料,所以特意把它的Slide下下来与大家分享一下. 这门课是Standford的讲座课程,每一节课都由不同的顶级工程师/科学家/投资人前来讲授IT行业的最新动向,非常非常有料,绝对值得深挖.

关于Jeff Dean的几个搞笑传言

- - 四火的唠叨
文章系本人原创,转载请保持完整性并注明出自 《四火的唠叨》. 我想许多程序员都对这个名字如雷贯耳,如果你没有听说过,可以扫一眼他的 个人履历,你会感到无比惊讶的:. Google AdSense(在线上发布广告);. Protocol Buffers协议,protobuf,用于把结构数据序列化;.

Jeff Dean谈如何在大型在线服务中做到快速响应

- - 忘我的追寻
6月于硅谷举行的 Velocity 2014大会上,Google首席科学家Jeff Dean做了一场题为 《Achieving Rapid Response Times In Large Online Services》的主题演讲,分享了让大型系统运行更加流程以便改善用户体验的种种方法. Jeff首先以Google的搜索服务为例,说明了何为 大扇出服务(Large Fanout Service),即一个搜索请求需要有大量子系统(Web、新闻、图像、视频、博客等等)参与其中,以便提供更丰富的搜索结果.

Stanford的第一天

- cpy - 燕之夕月夜
从首尔起飞的飞机上按照时差睡了七个小时,又看了两部电影,就顺利到达美帝了. 漫长的坐飞机的过程中,我脑袋里常常有七七八八的念头冒出来. 飞行的大部分时间,是在漆黑夜空中的碎云上飞越过一片一片深蓝色的大海. 经过白令海峡那个经度的时候,看着前方座椅显示屏的地图上星星点点的小岛,就会想,是什么样的人住在这里呢.

Stanford在线学习课程

- tossking - 酷壳 - CoolShell.cn
有一个令人兴奋的消息,上次提到过Standford的在线公开课公开课AI(人工智能),machine learning和data base. 觉得很有意思,也学到了不少东西. 到现在我觉得和比如像以前的网络公开课相比,比较关键一点它有明确的进度计划. 这样,至少你不太会因为某一天Dota太晚而导致整个自学计划崩溃.

The Stanford Parser的一个例子

- - 丕子
The Stanford Parser挺强大的,支持中英文,用了RNN等. 1 他 _ PN PN _ 3 conj _ _. 2 和 _ CC CC _ 3 cc _ _. 3 我 _ PN PN _ 8 nsubj _ _. 4 在 _ P P _ 8 prep _ _. 5 学校 _ NN NN _ 6 lobj _ _.

Jeff Bezos:一个营销员的诞生

- 小趴 八足趴 八足 ramener - 爱范儿 · Beats of Bits
Jeff Bezos 四岁的时候第一次去他祖父的奶牛场,位于德州 Cotulla 地区的一块 2 万 5 千英亩的土地. 他的祖父是一位退休的火箭科学家,决定放弃自己的研究,在农场过简单的生活,而他也想要将这个生活和它的孙子分享. 在 16 岁之前,Jeff 的每个夏天都在祖父的农场度过. 在这里,他学会了清理牲畜棚,阉割奶牛,安装水管等农场活计.