"Hadoop/MapReduce/HBase"分享总结

标签: hadoop mapreduce hbase | 发表时间:2013-06-08 09:37 | 作者:
出处:http://www.iteye.com

概述:

此分享是关于hadoop生态系统的简单介绍包括起源到相对应用

技术点:

1.hadoop核心包括Common,HDFS和MapReduce;
2.Pig,Hbase,Hive,Zookeeper;
3.Hadoop日志分析工具Chukwa;
4.MR解决的问题:海量输入数据,简单任务划分和集群计算环境;
5.执行流程:FileSplit / Map / Combine(Partition)和Copy / Sort / Reduce 
6.分布式计算包括:作业和任务调度和执行,预测执行,故障处理和针对不同应用环境的优化
7.HDFS可靠性措施:NameNode备份,多数据结点(冗余),数据结点的心跳检测,块报告和完整性检验,NameNode的日志文件和镜像文件;
8.两个系列版本:Apache和Cloudera;
9.SSH无密码访问;
10.内置web服务器:
JobTrackerIP:50030 
TaskTrackerIP:50060 
NamenodeIP:50070 
DatanodeIP:50075 
11.HBase以以Region为单位管理region(startKey,endKey);
12.HBase的每个Column Family单独存储:storeFile;
13.HBase的RegionServer为Region读写操作的场所;
14.HBase的Master管理Region的分配和基于zookeeper来保证HA;
15.HBase的强一致性:同一行数据的读写只在同一台regionserver上进行;
16.HBase的水平伸缩:region的自动分裂以及master的balance,只用增加datanode机器即可增加容量和增加regionserver机器即可增加读写吞吐量;
17.HBase的行事务;
18.HBase三维有序rowKey (ASC) + columnLabel(ASC) + Version (DESC)  --> value 
19.HBase支持范围查询和高性能随机写 ;
20.HBase基于Hadoop;
21.HBase不支持二级索引和join操作;
22.Hbase具有特定的适用场景;

详情参见附件





已有 0 人发表留言,猛击->> 这里<<-参与讨论


ITeye推荐



相关 [hadoop mapreduce hbase] 推荐:

"Hadoop/MapReduce/HBase"分享总结

- - ITeye博客
此分享是关于hadoop生态系统的简单介绍包括起源到相对应用. Hadoop和HBase.pdf (2.1 MB). 已有 0 人发表留言,猛击->> 这里<<-参与讨论. —软件人才免语言低担保 赴美带薪读研.

Hadoop MapReduce技巧

- - 简单文本
我在使用Hadoop编写MapReduce程序时,遇到了一些问题,通过在Google上查询资料,并结合自己对Hadoop的理解,逐一解决了这些问题. Hadoop对MapReduce中Key与Value的类型是有要求的,简单说来,这些类型必须支持Hadoop的序列化. 为了提高序列化的性能,Hadoop还为Java中常见的基本类型提供了相应地支持序列化的类型,如IntWritable,LongWritable,并为String类型提供了Text类型.

下一代Hadoop MapReduce

- Jia - NoSQLFan
本文来自Hadoop Summit大会的一个演讲稿,主讲是Hadoop核心开发团队的Arun C Murthy (@acmurthy),同时他也是Yahoo!刚刚剥离的Hadoop独立公司Hortonworks的 Founder和架构师. 演讲中他讲述了现在的Hadoop存在的一些问题和集群上限,并展望了下一代Hadoop和其MapReduce将会得到的巨大提升.

Hadoop之MapReduce单元测试

- - ITeye博客
通常情况下,我们需要用小数据集来单元测试我们写好的map函数和reduce函数. 而一般我们可以使用Mockito框架来模拟OutputCollector对象(Hadoop版本号小于0.20.0)和Context对象(大于等于0.20.0). 下面是一个简单的WordCount例子:(使用的是新API).

Hadoop MapReduce高级编程

- - 互联网 - ITeye博客
•combine函数把一个map函数产生的对(多个key, value)合并成一个新的. 将新的作为输入到reduce函数中,其格式与reduce函数相同. •这样可以有效的较少中间结果,减少网络传输负荷. •什么情况下可以使用Combiner.

MapReduce生成HFile入库到HBase

- - 博客园_首页
一、这种方式有很多的优点:. 如果我们一次性入库hbase巨量数据,处理速度慢不说,还特别占用Region资源, 一个比较高效便捷的方法就是使用 “Bulk Loading”方法,即HBase提供的HFileOutputFormat类. 它是利用hbase的数据信息按照特定格式存储在hdfs内这一原理,直接生成这种hdfs内存储的数据格式文件,然后上传至合适位置,即完成巨量数据快速入库的办法.

Hbase+Hadoop安装部署

- - ITeye博客
VMware安装多个RedHat Linux操作系统,摘抄了不少网上的资料,基本上按照顺序都能安装好. 在217  218  216 分别执行 . 在217  218  216 分别执行 . 4、建hadoop与hbase、zookeeper. 1) hadoop 配置. 加入(不用master做salve).

[转]基于mapreduce的Hadoop join实现

- -
对于一个大数据的分析应用,join是必不可少的一项功能.现在很多构建与hadoop之上的应用,如Hive,PIG等在其内部实现了join程序,可以通过很简单的sql语句或者数据操控脚本完成相应的Join工作.那么join应该如何实现呢?今天我们就对join做一个简单的实现. 我们来看一个例子,现在有两组数据:一组为单位人员信息,如下:.

【Hadoop】MapReduce使用combiner优化性能

- - CSDN博客云计算推荐文章
当MapReduce模型中,reduce执行的任务为统计分类类型的值总量或去重后的数量,或最大值最小值时,可以考虑在Map输出后进行combine操作;这样可以减少网络传输带来的开销,同时减轻了reduce任务的负担. Combine操作是运行在每个节点上的,只会影响本地Map的输出结果;Combine的输入为本地map的输出结果(一般是数据在溢出到磁盘之前,可以减少IO开销),其输出则作为reduce的输入.

hadoop的IO和MapReduce优化参数

- - CSDN博客系统运维推荐文章
           在MapReduce执行过程中,特别是Shuffle阶段,尽量使用内存缓冲区存储数据,减少磁盘溢写次数;同时在作业执行过程中增加并行度,都能够显著提高系统性能,这也是配置优化的一个重要依据.            下面分别介绍I/O属性和MapReduce属性这两个类的部分属性,并指明其优化方向.