Facebook使用Corona提升Hadoop的可伸缩性

标签: facebook corona 提升 | 发表时间:2012-11-21 19:44 | 作者:
出处:http://pipes.yahoo.com/pipes/pipe.info?_id=10560380f804c7341f042a2b8a03e117

Facebook已经 开源了Corona,这是一款内部开发的用以改善Hadoop MapReduce调度的软件。

Corona将集群管理和作业跟踪这两个关键任务分开。这与 Apache YARN在概念上不谋而合,YARN也是MapReduce调度器和资源管理器的一个改进版本。Facebook的工程团队发表了一篇文章来 解释Corna及其背景。他们同时也解释了为什么没有采用YARN——

“值得注意的是,我们曾经考虑过将Apache YARN作为Corona的一种替代方案。然而,在调研了YARN在 我们的HDFS版本(由于我们海量的PB级数据存储而产生的强烈需求)上的使用情况后,我们发现了很多不兼容问题,修复的时间成本过高,而且存在风险。此外,YARN能否适应Facebook规模的负载也是个未知数。”

Facebook的Hadoop版本一个 主要不同AvatarNode,它会为集群中的每个结点创建一个热备份。这就创建了高可用的 NameNode,甚至允许非停机条件下进行软件升级。Facebook的数据仓库当前需要处理成百上千PB数据,而且每天还要新增0.5PB ,这对他们是非常关键的。

Corona当前能够运行MapReduce作业,但Facebook打算将其用于来自其他类型应用(比如 Peregrine)的调度作业。

Apache Hadoop是一组支持大规模分布式计算的项目集。读者可以参考InfoQ上的 Hadoop相关资源

查看英文原文Corona Improves Hadoop Scalability At Facebook


感谢 臧秀涛对本文的审校。

给InfoQ中文站投稿或者参与内容翻译工作,请邮件至 [email protected]。也欢迎大家通过新浪微博( @InfoQ)或者腾讯微博( @InfoQ)关注我们,并与我们的编辑和其他读者朋友交流。

您可能也会喜欢

相关 [facebook corona 提升] 推荐:

Facebook使用Corona提升Hadoop的可伸缩性

- - InfoQ cn
Facebook已经 开源了Corona,这是一款内部开发的用以改善Hadoop MapReduce调度的软件. Corona将集群管理和作业跟踪这两个关键任务分开. 这与 Apache YARN在概念上不谋而合,YARN也是MapReduce调度器和资源管理器的一个改进版本. Facebook的工程团队发表了一篇文章来 解释Corna及其背景.

Hadoop Corona介绍

- - 董的博客
Dong | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及 版权声明. 网址: http://dongxicheng.org/hadoop-corona/hadoop-corona/. Hadoop Corona是facebook开源的下一代MapReduce框架. 其基本设计动机和Apache的YARN一致,在此不再重复,读者可参考我的这篇文章 “下一代Apache Hadoop MapReduce框架的架构”.

Facebook即将发布新版New Feed,可否改变Facebook现状帮其提升营收潜力?

- - i黑马
【i黑马导读】Facebook在上周五表示,将于3月7日在美国加州总部举行发布会,发布这一新的动态汇总(News Feed)设计. 这是今年到目前为止Facebook第2次重要的产品发布活动. 今年1月,Facebook发布了社交图谱搜索功能. Facebook的News Feed中展示了用户好友网络中的照片、视频和评论更新.

跨平台工具详解之四:Ansca Mobile (Corona)

- - Web App Trend
本篇文章为大家详细介绍Ansca的核心产品Corona和Appcelerator的核心产品Titanium,其中包括包括产品&技术支持,市场份额和定位等内容. Ansca Mobile位于California,Palo Alto,成立于2008年. 2009年6年推出了Corona. Ansca Mobile约有15个员工,都拥有开发Adobe和Apple软件(包括Photoshop和Flash Lite)的资历.

浅谈Borg/YARN/Mesos/Torca/Corona一类系统

- - 董的博客
Dong | 新浪微博: 西成懂 | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及 版权声明. 网址: http://dongxicheng.org/mapreduce-nextgen/borg-yarn-mesos-torca-corona/. Borg(来自Google), YARN(来自Apache,属于Hadoop下面的一个分支,开源), Mesos(来自Twitter,开源), Torca(来自腾讯搜搜), Corona(来自Facebook,开源)一类系统被称为资源统一管理系统或者资源统一调度系统,它们是大数据时代的必然产物.

中国的Facebook?

- Lorna - It Talks--上海魏武挥的博客
腾讯近日很低调地推出了一个名为“朋友”的网络服务(也是一个使用独立域名的网站),这是一个与时下社交网站,比如人人、开心等非常类似的产品. 与它们一样,目前这个“朋友”上也加载了一些应用,当然,一贯的,以腾讯自家出品为主. 而且,我个人以为,未来会有更多的腾讯在QQ这个客户端上的应用,逐步向这个网站迁移.

Facebook初探

- 亦农 - 王建硕
今天的湾区阳光灿烂,280州际公路两边的绿色山坡和蔚蓝的白云,让人觉得自己是Windows XP桌面上的一个图标. 下午,2点,终于来到Facebook这个神奇的公司. 他们的新家在南加利福尼亚街的最里面,一幢两层的楼里. 他们刚刚从车位紧张的Palo Alto城里搬到这里,据说一层楼又要搬了. 我好像是他们再次搬地方前的最后一批访客.

Facebook败给Foursquare

- We_Get - GeekPark 捕风捉影
除了我们熟知的QQ,互联网世界里以自身强大资源来复制小公司的产品和服务的事,绝不少见. 去年8月份,Facebook推出了Facebook Places,这是一个类似Foursquare的基于地理位置的手机在线签到功能. Foursquare当时是社交网站新贵,几个月以后它成了代表着全球互联网方向中的SoLoMo中的Lo—Location.

Facebook的标语

- - 阮一峰的网络日志
Facebook即将 上市,一时之间成为全球新闻热点. 为了不错过商机,有人将Facebook内部的标语做成 海报,每张20美元,放到网上卖. 据说,从扎克伯格创业初期,这些标语就贴在Facebook的办公室,作为行动准则,激励员工. 虽然这些标语很简单,但是我发现,它们真的具有警醒的效果,能指导你做出正确的事.

读facebook效应

- - 搜索引擎技术博客
     我的一位室友说:“嘿,我来帮你”. 我回答他:“兄弟,你不会编程”,然后他周末回家买了一个perl编程入门的书,告诉我‘我现在准备好了’. 我就说;“兄弟,网站不是用perl语言编写的”.      我们并不想让用户在网站停留尽可能长的时间,我们所做的是让人们可以在网站用户好的体验,使他们在上面所花的时间有价值.