heipark------hadoop性能调优笔记
- - 开源软件 - ITeye博客官方解释：The maximum number of map tasks that will be run simultaneously by a task tracker.. 我的理解：一个tasktracker最多可以同时运行的map任务数量. 优化值：mapred.tasktracker.map.tasks.maximum = cpu数量.
heipark------hadoop性能调优笔记
标签：
heipark
hadoop
性能调优
| 发表时间：2014-09-07 23:29 | 作者：这些年
出处：http://www.iteye.com
Hadoop调优
mapred.tasktracker.map.tasks.maximum
官方解释：The maximum number of map tasks that will be run simultaneously by a task tracker.
我的理解：一个tasktracker最多可以同时运行的map任务数量
默认值：2
优化值：mapred.tasktracker.map.tasks.maximum = cpu数量
cpu数量 = 服务器CPU总核数 / 每个CPU的核数
服务器CPU总核数 = more /proc/cpuinfo | grep 'processor' | wc -l
每个CPU的核数 = more /proc/cpuinfo | grep 'cpu cores'
服务器CPU总核数 = more /proc/cpuinfo | grep 'processor' | wc -l
每个CPU的核数 = more /proc/cpuinfo | grep 'cpu cores'
mapred.map.tasks
官方的解释：The default number of map tasks per job
我的解释：一个Job会使用task tracker的map任务槽数量，这个值 ≤ mapred.tasktracker.map.tasks.maximum
默认值：2
优化值：
- CPU数量 （我们目前的实践值）
- (CPU数量 > 2) ? (CPU数量 * 0.75) : 1 （mapr的官方建议）
注意：map任务的数量是由input spilit决定的，和上面两个参数无关
mapred.tasktracker.reduce.tasks.maximum
官方解释：The maximum number of reduce tasks that will be run simultaneously by a task tracker.
我的理解：一个task tracker最多可以同时运行的reduce任务数量
默认值：2
优化值： (CPU数量 > 2) ? (CPU数量 * 0.50): 1 （mapr的官方建议）
mapred.reduce.tasks
官方解释：The default number of reduce tasks per job. Typically set to 99% of the cluster's reduce capacity, so that if a node fails the reduces can still be executed in a single wave.
我的理解：一个Job会使用task tracker的reduce任务槽数量
默认值：1
优化值：
- 0.95 * mapred.tasktracker.tasks.maximum
理由：启用95%的reduce任务槽运行task, recude task运行一轮就可以完成。剩余5%的任务槽永远失败任务，重新执行
- 1.75 * mapred.tasktracker.tasks.maximum
理由：因为reduce task数量超过reduce槽数，所以需要两轮才能完成所有reduce task。具体快的原理我没有完全理解，上原文：
hadoop官方wiki： 写道
At 1.75 the faster nodes will finish their first round of reduces and launch a second round of reduces doing a much better job of load balancing.
环境变量
disable ipv6配置，修改bin/hadoop，添加下行：
HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"
Hive调优：
mapred.reduce.tasks
官方 写道
The default number of reduce tasks per job. Typically set
to a prime close to the number of available hosts. Ignored when
mapred.job.tracker is "local". Hadoop set this to 1 by default, whereas hive uses -1 as its default value.
By setting this property to -1, Hive will automatically figure out what should be the number of reducers.
to a prime close to the number of available hosts. Ignored when
mapred.job.tracker is "local". Hadoop set this to 1 by default, whereas hive uses -1 as its default value.
By setting this property to -1, Hive will automatically figure out what should be the number of reducers.
我的理解
tasktracker执行hive job的reduce任务数，设置为"-1"hive将自动设置该值，策略如下：
1. hive.exec.reducers.bytes.per.reducer（默认为1GB）
2. hive.exec.reducers.max（默认为999）
mapred.reduce.tasks = min ( 参数2，总输入数据量/参数1 )
1. hive.exec.reducers.bytes.per.reducer（默认为1GB）
2. hive.exec.reducers.max（默认为999）
mapred.reduce.tasks = min ( 参数2，总输入数据量/参数1 )
默认值：-1
优化值：显式设置为Hadoop配置中mapred.reduce.tasks值，参考上文。
参考资料：
http://wiki.apache.org/hadoop/HowManyMapsAndReduces
http://www.mapr.com/doc/display/MapR/mapred-site.xml
http://hi.baidu.com/dtzw/blog/item/5b64880aaf057d33b0351db4.html
http://www.tbdata.org/archives/622
http://developer.yahoo.com/hadoop/tutorial/module7.html
已有 0 人发表留言，猛击->> 这里<<-参与讨论
ITeye推荐
相关 [heipark hadoop 性能调优] 推荐：
Hadoop性能调优
- - 开源软件 - ITeye博客是否对任务进行profiling，调用java内置的profile功能，打出相关性能信息. 对几个map或reduce进行profiling. 非常影响速度，建议在小数据量上尝试. 1表示不reuse，-1表示无限reuse，其他数值表示每个jvm reuse次数. reuse的时候，map结束时不会释放内存.
Hadoop性能调优--用户角度
- - CSDN博客云计算推荐文章hadoop为用户作业提供了多种可配置的参数，以允许用户根据作业特点调整这些值. （1）设置Combiner. 如果是一大批MR程序，如果可以设置一个Combiner，Combiner可减少Map Task中间输出结果，从而减少各个Reduce Task的远程拷贝数据. 量，最终表现为Map Task和Reduce Task执行时间缩短.
HBase性能调优
- - 学着站在巨人的肩膀上我们经常看到一些文章吹嘘某产品如何如何快，如何如何强，而自己测试时却不如描述的一些数据. 其实原因可能在于你还不是真正理解其内部结构，对于其性能调优方法不够了解. 本文转自TaoBao的Ken Wu同学的博客，是目前看到比较完整的HBase调优文章. 原文链接：HBase性能调优. 因官方Book Performance Tuning部分章节没有按配置项进行索引，不能达到快速查阅的效果.
hbase性能调优
- - 数据库 - ITeye博客 1）、hbase.regionserver.handler.count：该设置决定了处理RPC的线程数量，默认值是10，通常可以调大，比如：150，当请求内容很大（上MB，比如大的put、使用缓存的scans）的时候，如果该值设置过大则会占用过多的内存，导致频繁的GC，或者出现OutOfMemory，因此该值不是越大越好.
MapReduce - 性能调优
- - CSDN博客云计算推荐文章 Hadoop为用户作业提供了多种可配置的参数，以允许用户根据作业特点调整这些参数值使作业运行效率达到最优. 对于一大批MapReduce程序，如果可以设置一个Combiner,那么对于提高作业性能是十分有帮助的. Combiner可减少Map Task中间输出的结果，从而减少各个Reduce Task的远程拷贝数据量，最终表现为Map
Task和Reduce Task执行时间缩短.
Java 性能调优
- - 编程语言 - ITeye博客1.用new关键词创建类的实例时，构造函数链中的所有构造函数都会被自动调用. 但如果一个对象实现了Cloneable接口，我们可以调用它的clone()方法. clone()方法不会调用任何类构造函数. 在使用设计模式（Design Pattern）的场合，如果用Factory模式创建对象，则改用clone()方法创建新的对象实例非常简单.
Spark性能调优
- - zzm通常我们对一个系统进行性能优化无怪乎两个步骤——性能监控和参数调整，本文主要分享的也是这两方面内容. Spark提供了一些基本的Web监控页面，对于日常监控十分有用. http://master:4040（默认端口是4040，可以通过spark.ui.port修改）可获得这些信息：（1）stages和tasks调度情况；（2）RDD大小及内存使用；（3）系统环境信息；（4）正在执行的executor信息.
性能调优攻略
- - 酷壳 - CoolShell.cn关于性能优化这是一个比较大的话题，在《 由12306.cn谈谈网站性能技术》中我从业务和设计上说过一些可用的技术以及那些技术的优缺点，今天，想从一些技术细节上谈谈性能优化，主要是一些代码级别的技术和方法. 本文的东西是我的一些经验和知识，并不一定全对，希望大家指正和补充. 在开始这篇文章之前，大家可以移步去看一下酷壳以前发表的《 代码优化概要》，这篇文章基本上告诉你—— 要进行优化，先得找到性能瓶颈.
[原]Java性能调优
- - 傲慢的上校的专栏写Java也有n年了，现在还是有不少的坏的代码习惯，也通过学习别人的代码学到了不少好的习惯. 留给自己做个警戒，提示以后写代码的时候注意. 在文章的后面，会提供整理的原材料下载. 1、尽量少用new生成新对象. 用new创建类的实例时，构造雨数链中所有构造函数都会被自动调用，操作速度较慢.