[hadoop] 基于Hadoop集群的HBase集群的配置

标签: hadoop hadoop 集群 | 发表时间:2013-02-22 16:09 | 作者:kakane
出处:http://blog.csdn.net
1>  准备工作
       a> 已经配置完成的Hadoop集群
       b> 所需要的软件包
             zookeeper-3.4.4.tar.gz
             hbase-0.94.5.tar.gz
2>  单独安装的ZooKeeper集群,不基于HBase集群管理
       a> 在master01上解压zookeeper-3.4.4.tar.gz
             #tar -zxvf zookeeper-3.4.4.tar.gz
       b> 修改Zookeeper的配置文件
             #vim /root/zookeeper-3.4.4/conf/zoo.cfg      
       tickTime=2000
       initLimit=5
       syncLimit=2
       dataDir=/data/zookeeper
       clientPort=2181
       server.1=master01:2888:3888
       server.2=master02:2888:3888
       server.3=slave01:2888:3888
       server.4=slave02:2888:3888
       server.5=slave03:2888:3888
       c> 将zookeeper-3.4.4复制到其他机器
             #scp -r zookeeper-3.4.4 root@master02:/root/
             #scp -r zookeeper-3.4.4 root@slave01:/root/
             #scp -r zookeeper-3.4.4 root@slave02:/root/
             #scp -r zookeeper-3.4.4 root@slave03:/root/
       d> 在每台机器配置的dataDir目录下面,创建myid文件标志当前主机
             例在master01上
             #echo "1" > /data/zookeeper/myid
             例在slave03上
             #echo "5" > /data/zookeeper/myid
       e> 启动zookeeper集群
             在每台机器上执行
             #./zookeeper-3.4.4/bin/zkServer.sh start
             可通过ZooKeeper的脚本查看启动状态,包括集群中各个节点的角色(Leader或Follower),Leader只有一个,选举产生
             #./zookeeper-3.4.4/bin/zkServer.sh status     
3>  安装配置Hbase集群
       a> 启动HDFS集群实例,并创建目录hdfs://master01:8020/hbase,在master01上执行
             #./hadoop-0.20.2/bin/hadoop fs -mkdir /hbase 
             验证是否创建成功
             #./hadoop-0.20.2/bin/hadoop fs -lsr /hbase
       b> 解压hbase-0.94.5.tar.gz,修改配置文件
             #tar -zxvf hbase-0.94.5.tar.gz
             #vim hbase-0.94.5/conf/hbase-env.sh   
       export JAVA_HOME=/usr/java/jdk1.6.0_26
       export HBASE_CLASSPATH=$HBASE_HOME/
       export HBASE_HEAPSIZE=128
       export HBASE_OPTS="-XX:+UseConcMarkSweepGC"
       export HBASE_MANAGES_ZK=false

      #vim hbase-0.94.5/conf/hbase-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>  
       <name>hbase.rootdir</name>  
       <value>hdfs://master01:8020/hbase</value>  
    </property>  
    <property>  
       <name>hbase.cluster.distributed</name>  
       <value>true</value>  
    </property>  
    <property>  
       <name>hbase.zookeeper.property.dataDir</name>  
       <value>ls /data/zookeeper/</value>  
    </property>  
    <property>  
       <name>hbase.zookeeper.quorum</name>  
       <value>master01,master02,slave01,slave02,slave03</value>  
    </property>  
</configuration>
             #vim hbase-0.94.5/conf/regionservers

     slave01
     slave02
     slave03
       c>  使HBase的lib中的hadoop版本和HDFS集群使用的版本一致
              #rm hbase-0.94.5/lib/hadoop-*.tar
              #cp hadoop-0.20.2/hadoop-0.20.2-*.tar  hbase-0.94.5/lib/

       d>  重命名hbase-0.94.5下的hbase-webapps 目录为webapps
              #mv hbase-0.94.5/hbase-webapps/  hbase-0.94.5/webapps/

       e>  将配置好的hbase-0.94.5复制到其他机器
              #scp -r hbase-0.94.5  root@master01:/root/
              #scp -r hbase-0.94.5  root@master02:/root/
              #scp -r hbase-0.94.5  root@slave01:/root/
              #scp -r hbase-0.94.5  root@slave02:/root/
              #scp -r hbase-0.94.5  root@slave03:/root/
4>  启动HBase集群
       a>  确保HDFS和Zookeeper已经启动
       b>  在master01上执行
              #./hbase-0.94.5/bin/start-hbase.sh
5>  查看master和slave上启动的进程
       a>  在master01上执行
              #jps
                1957 QuorumPeerMain
                2298 Jps
                2140 HMaster
                1654 NameNode
        b>  在slave01上执行
               #jps
                 3656 Jps
                 3466 HRegionServer
                 3074 QuorumPeerMain
                 1758 TaskTracker
                 1827 DataNode
6> 验证Hbase集群是否安装成功
      #./hbase-0.94.5/bin/hbase shell
         HBase Shell; enter 'help<RETURN>' for list of supported commands.
         Type "exit<RETURN>" to leave the HBase Shell
         Version 0.94.5, r1443843, Fri Feb  8 05:51:25 UTC 2013
         hbase(main):001:0> 
作者:kakane 发表于2013-2-22 16:09:18 原文链接
阅读:54 评论:0 查看评论

相关 [hadoop hadoop 集群] 推荐:

Hadoop集群与Hadoop性能优化

- - 学着站在巨人的肩膀上
本文讲解一下Hadoop集群、Hadoop性能优化、Hadoop机架感知实现、Hadoop配置等,下面是有关这些命令的具体介绍. Hadoop性能优化:Hadoop机架感知实现及配置:分布式的集群通常包含非常多的机器,由于受到机架槽位和交换机网口的限制,通常大型的分布式集群都会跨好几个机架,由多个机架上的机器共同组成一个分布式集群.

[hadoop] 搭建自己的hadoop集群

- - CSDN博客系统运维推荐文章
       a>  五台centos6.2虚拟机,配置主机名、IP地址、yum源、.        b>  准备所需要的软件包. 2> 配置我自己的hadoop 集群.       a>  修改5台机器的hosts文件.       b>  配置master无密码登录slave,在master01和master02上执行以下命令:   .

Hadoop 集群基准测试

- - IT瘾-dev
生产环境中,如何对 Hadoop 集群进行 Benchmark Test. 本文将通过 Hadoop 自带的 Benchmark 测试程序:TestDFSIO 和 TeraSort,简单介绍如何进行 Hadoop 的读写 & 计算性能的压测. 回顾上篇文章: 认识多队列网卡中断绑定. (本文使用 2.6.0 的 hadoop 版本进行测试,基准测试被打包在测试程序 JAR 文件中,通过无参调用 bin/hadoop jar ./share/hadoop/mapreduce/xxx.jar 可以得到其列表 ).

[hadoop] 基于Hadoop集群的HBase集群的配置

- - CSDN博客系统运维推荐文章
       a> 已经配置完成的Hadoop集群.        b> 所需要的软件包. 2>  单独安装的ZooKeeper集群,不基于HBase集群管理.        a> 在master01上解压zookeeper-3.4.4.tar.gz.        b> 修改Zookeeper的配置文件.

hadoop集群环境的配置

- - ITeye博客
  之前说过,我们的hadoop集群已经搭建起来了,只是具体的步骤还没来得及整理,幸好今天又把流程走了一遍,真的是不做不晓得,一做才发现自己原来什么都忘记得差不多了,在此记录一下搭建hadoop集群的步骤,便于需要的时候看看.   这个配环境的过程真的是比较困难的,我今天搞了一天终于把自己的机器作为datanode连接上了master机器,我还是年前搞过一遍的呢,所以这个还是需要耐心+细心的.

腾讯TDW:大型Hadoop集群应用

- - 服务器运维与网站架构|Linux运维|X研究
PS:TDW是腾讯最大的离线数据处理平台. 本文主要从需求、挑战、方案和未来计划等方面,介绍了TDW在建设单个大规模集群中采取的JobTracker分散化和NameNode高可用两个优化方案. TDW(Tencent distributed Data Warehouse,腾讯分布式数据仓库)基于开源软件Hadoop和Hive进行构建,打破了传统数据仓库不能线性扩展、可控性差的局限,并且根据腾讯数据量大、计算复杂等特定情况进行了大量优化和改造.

Hadoop Streaming 编程

- - 学着站在巨人的肩膀上
Hadoop Streaming是Hadoop提供的一个编程工具,它允许用户使用任何可执行文件或者脚本文件作为Mapper和Reducer,例如:. 采用shell脚本语言中的一些命令作为mapper和reducer(cat作为mapper,wc作为reducer). 本文安排如下,第二节介绍Hadoop Streaming的原理,第三节介绍Hadoop Streaming的使用方法,第四节介绍Hadoop Streaming的程序编写方法,在这一节中,用C++、C、shell脚本 和python实现了WordCount作业,第五节总结了常见的问题.

Hadoop使用(一)

- Pei - 博客园-首页原创精华区
Hadoop使用主/从(Master/Slave)架构,主要角色有NameNode,DataNode,secondary NameNode,JobTracker,TaskTracker组成. 其中NameNode,secondary NameNode,JobTracker运行在Master节点上,DataNode和TaskTracker运行在Slave节点上.

Hadoop MapReduce技巧

- - 简单文本
我在使用Hadoop编写MapReduce程序时,遇到了一些问题,通过在Google上查询资料,并结合自己对Hadoop的理解,逐一解决了这些问题. Hadoop对MapReduce中Key与Value的类型是有要求的,简单说来,这些类型必须支持Hadoop的序列化. 为了提高序列化的性能,Hadoop还为Java中常见的基本类型提供了相应地支持序列化的类型,如IntWritable,LongWritable,并为String类型提供了Text类型.

Hadoop TaskScheduler浅析

- - kouu&#39;s home
TaskScheduler,顾名思义,就是MapReduce中的任务调度器. 在MapReduce中,JobTracker接收JobClient提交的Job,将它们按InputFormat的划分以及其他相关配置,生成若干个Map和Reduce任务. 然后,当一个TaskTracker通过心跳告知JobTracker自己还有空闲的任务Slot时,JobTracker就会向其分派任务.