Hadoop调优与实践的Cheat Sheets

标签: Hadoop&HBase hadoop 实践 性能调优 | 发表时间:2011-07-15 10:17 | 作者:nosqlfan alex
出处:http://blog.nosqlfan.com

本文要推荐的是一张大图。虽然只有一张图,但是内容却非常丰富,可以说是Hadoop调优的Cheat Sheets。

内容列表如下:

  • Introduction
  • Challenges
  • Tools
  • ClusterA & ClusterB
  • Hadoop Configuration Tuning
  • JVM Configuration Tuning
  • OS Configuration Tuning
  • BIOS Configuration Tuning
  • Best Practices
  • Tuning Highlights
  • Conclusion & Future Direction

NoSQLFan已将图片转存到115网盘以便大家下载

115地址:http://u.115.com/file/aqzdgi99

原地址:HadoopPerformanceTuningGuide.pdf

技术传播,需要你我共同努力!

您可能还喜欢:

hadoop的1TB排序

百度Hadoop分布式系统揭秘:4000节点集群

Hadoop Map-Reduce 实例的 Ruby 实现

HBase性能调优

五个最佳的Hadoop项目
无觅

相关 [hadoop 实践 cheat] 推荐:

Hadoop调优与实践的Cheat Sheets

- alex - NoSQLFan
虽然只有一张图,但是内容却非常丰富,可以说是Hadoop调优的Cheat Sheets. NoSQLFan已将图片转存到115网盘以便大家下载. 115地址:http://u.115.com/file/aqzdgi99. 原地址:HadoopPerformanceTuningGuide.pdf. 百度Hadoop分布式系统揭秘:4000节点集群.

备份:html5 canvas cheat sheet

- - 膘叔
纯备份资料,HTML5的canvas资料.

SmartOS 与 Linux 不同点总结(Cheat Sheet )

- - CSDN博客云计算推荐文章
介绍了 《风起亚洲(Fengqi.Asia)公共云详细介绍》和 《SmartOS——与众不同的虚拟化技术》后,SmartOS的概貌也许渐渐被各位所了解,不过其中技术细节还有很多,容我在此专栏中慢慢道来. 在SmartOS用户中最常见的问题之一就是,既然说SmartOS和Linux类似,那除了那些看不见的技术细节,在使用时到底有什么不同呢.

分布式计算开源框架Hadoop入门实践

- - ITeye博客
一、分布式计算开源框架Hadoop实践. 在 SIP项目设计的过程中,对于它庞大的日志在开始时就考虑使用任务分解的多线程处理模式来分析统计,在我从前写的文章《Tiger Concurrent Practice --日志分析并行分解设计与实现》中有所提到. 但是由于统计的内容暂时还是十分简单,所以就采用Memcache作为计数器,结合MySQL就完成了访问 控制以及统计的工作.

文章: Hadoop MapReduce开发最佳实践(上篇)

- - InfoQ cn
本文是Hadoop最佳实践系列第二篇,上一篇为《 Hadoop管理员的十个最佳实践》. 百度技术沙龙第三十四期:机器学习之多媒体方向的思考(2013年1月12日 周六). 百度技术沙龙特约观察员火热招募中,2013,因为有你更精彩. GitHub运维专家Jesse Newland QCon分享Github ChatOps机器人与GitHub架构演进.

文章: Hadoop管理员的十个最佳实践

- - InfoQ cn
接触Hadoop有两年的时间了,期间遇到很多的问题,既有经典的NameNode和JobTracker内存溢出故障,也有HDFS存储小文件问题,既有任务调度问题,也有MapReduce性能问题.遇到的这些问题有些是Hadoop自身的缺陷(短板),有些则是使用的不当. 白皮书下载:利用您的私有或混合云加速业务成果.

基于Hadoop生态圈的数据仓库实践 —— ETL(一)

- - CSDN博客推荐文章
一、使用Sqoop抽取数据.         Sqoop是一个在Hadoop与结构化数据存储(如关系数据库)之间高效传输大批量数据的工具. 它在2012年3月被成功孵化,现在已是Apache的顶级项目. Sqoop有Sqoop1和Sqoop2两代,Sqoop1最后的稳定版本是1.4.6,Sqoop2最后版本是1.99.6.

大规模Hadoop集群在腾讯数据仓库TDW的实践

- - 标点符
随着业务的快速增长,TDW的节点数也在增加,对单个大规模Hadoop集群的需求也越来越强烈. TDW需要做单个大规模集群,主要是从数据共享、计算资源共享、减轻运营负担和成本等三个方面考虑. TDW之前在多个IDC部署数十个集群,主要是根据业务分别部署,这样当一个业务需要其他业务的数据,或者需要公共数据时,就需要跨集群或者跨IDC访问数据,这样会占用IDC之间的网络带宽.

[原]基于hadoop搜索引擎实践——二级索引文件(五)

- - long1657的专栏
基于hadoop搜索引擎——二级索引文件.     一般生成的倒排表文件会比源文件暂用空间大,主要是倒排表文件所记录的信息比较详细. 它记录了所有的索引词记录(TERM_RECORD)信息,对于常见的关键词(TERM),其MULTI_INFO可能包含几万甚至几十万个SINGLE_INFO..     由于倒排表文件很大.

携程Hadoop跨机房架构实践_yukangkk的技术博客-CSDN博客

- -
陈昱康,携程架构师,对分布式计算和存储、调度、查询引擎、在线离线混部、高并发等方面有浓厚兴趣. 本文将分享携程Hadoop跨机房架构实践,包含Hadoop在携程的发展情况,整个跨机房项目的背景,我们跨机房的架构选型思路和落地实践,相关的改造和对未来的展望,希望给大家一些启迪. 一、Hadoop在携程的落地及发展情况.