[hadoop] 基于Hadoop集群的HBase集群的配置

标签: hadoop hadoop 集群 | 发表时间:2013-02-22 08:09 | 作者:kakane
出处:http://blog.csdn.net
1>  准备工作
       a> 已经配置完成的Hadoop集群
       b> 所需要的软件包
             zookeeper-3.4.4.tar.gz
             hbase-0.94.5.tar.gz
2>  单独安装的ZooKeeper集群,不基于HBase集群管理
       a> 在master01上解压zookeeper-3.4.4.tar.gz
             #tar -zxvf zookeeper-3.4.4.tar.gz
       b> 修改Zookeeper的配置文件
             #vim /root/zookeeper-3.4.4/conf/zoo.cfg      
       tickTime=2000
       initLimit=5
       syncLimit=2
       dataDir=/data/zookeeper
       clientPort=2181
       server.1=master01:2888:3888
       server.2=master02:2888:3888
       server.3=slave01:2888:3888
       server.4=slave02:2888:3888
       server.5=slave03:2888:3888
       c> 将zookeeper-3.4.4复制到其他机器
             #scp -r zookeeper-3.4.4 root@master02:/root/
             #scp -r zookeeper-3.4.4 root@slave01:/root/
             #scp -r zookeeper-3.4.4 root@slave02:/root/
             #scp -r zookeeper-3.4.4 root@slave03:/root/
       d> 在每台机器配置的dataDir目录下面,创建myid文件标志当前主机
             例在master01上
             #echo "1" > /data/zookeeper/myid
             例在slave03上
             #echo "5" > /data/zookeeper/myid
       e> 启动zookeeper集群
             在每台机器上执行
             #./zookeeper-3.4.4/bin/zkServer.sh start
             可通过ZooKeeper的脚本查看启动状态,包括集群中各个节点的角色(Leader或Follower),Leader只有一个,选举产生
             #./zookeeper-3.4.4/bin/zkServer.sh status     
3>  安装配置Hbase集群
       a> 启动HDFS集群实例,并创建目录hdfs://master01:8020/hbase,在master01上执行
             #./hadoop-0.20.2/bin/hadoop fs -mkdir /hbase 
             验证是否创建成功
             #./hadoop-0.20.2/bin/hadoop fs -lsr /hbase
       b> 解压hbase-0.94.5.tar.gz,修改配置文件
             #tar -zxvf hbase-0.94.5.tar.gz
             #vim hbase-0.94.5/conf/hbase-env.sh   
       export JAVA_HOME=/usr/java/jdk1.6.0_26
       export HBASE_CLASSPATH=$HBASE_HOME/
       export HBASE_HEAPSIZE=128
       export HBASE_OPTS="-XX:+UseConcMarkSweepGC"
       export HBASE_MANAGES_ZK=false

      #vim hbase-0.94.5/conf/hbase-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>  
       <name>hbase.rootdir</name>  
       <value>hdfs://master01:8020/hbase</value>  
    </property>  
    <property>  
       <name>hbase.cluster.distributed</name>  
       <value>true</value>  
    </property>  
    <property>  
       <name>hbase.zookeeper.property.dataDir</name>  
       <value>ls /data/zookeeper/</value>  
    </property>  
    <property>  
       <name>hbase.zookeeper.quorum</name>  
       <value>master01,master02,slave01,slave02,slave03</value>  
    </property>  
</configuration>
             #vim hbase-0.94.5/conf/regionservers

     slave01
     slave02
     slave03
       c>  使HBase的lib中的hadoop版本和HDFS集群使用的版本一致
              #rm hbase-0.94.5/lib/hadoop-*.tar
              #cp hadoop-0.20.2/hadoop-0.20.2-*.tar  hbase-0.94.5/lib/

       d>  重命名hbase-0.94.5下的hbase-webapps 目录为webapps
              #mv hbase-0.94.5/hbase-webapps/  hbase-0.94.5/webapps/

       e>  将配置好的hbase-0.94.5复制到其他机器
              #scp -r hbase-0.94.5  root@master01:/root/
              #scp -r hbase-0.94.5  root@master02:/root/
              #scp -r hbase-0.94.5  root@slave01:/root/
              #scp -r hbase-0.94.5  root@slave02:/root/
              #scp -r hbase-0.94.5  root@slave03:/root/
4>  启动HBase集群
       a>  确保HDFS和Zookeeper已经启动
       b>  在master01上执行
              #./hbase-0.94.5/bin/start-hbase.sh
5>  查看master和slave上启动的进程
       a>  在master01上执行
              #jps
                1957 QuorumPeerMain
                2298 Jps
                2140 HMaster
                1654 NameNode
        b>  在slave01上执行
               #jps
                 3656 Jps
                 3466 HRegionServer
                 3074 QuorumPeerMain
                 1758 TaskTracker
                 1827 DataNode
6> 验证Hbase集群是否安装成功
      #./hbase-0.94.5/bin/hbase shell
         HBase Shell; enter 'help<RETURN>' for list of supported commands.
         Type "exit<RETURN>" to leave the HBase Shell
         Version 0.94.5, r1443843, Fri Feb  8 05:51:25 UTC 2013
         hbase(main):001:0> 
作者:kakane 发表于2013-2-22 16:09:18 原文链接
阅读:54 评论:0 查看评论

相关 [hadoop hadoop 集群] 推荐:

Hadoop集群与Hadoop性能优化

- - 学着站在巨人的肩膀上
本文讲解一下Hadoop集群、Hadoop性能优化、Hadoop机架感知实现、Hadoop配置等,下面是有关这些命令的具体介绍. Hadoop性能优化:Hadoop机架感知实现及配置:分布式的集群通常包含非常多的机器,由于受到机架槽位和交换机网口的限制,通常大型的分布式集群都会跨好几个机架,由多个机架上的机器共同组成一个分布式集群.

[hadoop] 搭建自己的hadoop集群

- - CSDN博客系统运维推荐文章
       a>  五台centos6.2虚拟机,配置主机名、IP地址、yum源、.        b>  准备所需要的软件包. 2> 配置我自己的hadoop 集群.       a>  修改5台机器的hosts文件.       b>  配置master无密码登录slave,在master01和master02上执行以下命令:   .

[hadoop] 基于Hadoop集群的HBase集群的配置

- - CSDN博客系统运维推荐文章
       a> 已经配置完成的Hadoop集群.        b> 所需要的软件包. 2>  单独安装的ZooKeeper集群,不基于HBase集群管理.        a> 在master01上解压zookeeper-3.4.4.tar.gz.        b> 修改Zookeeper的配置文件.

hadoop集群环境的配置

- - ITeye博客
  之前说过,我们的hadoop集群已经搭建起来了,只是具体的步骤还没来得及整理,幸好今天又把流程走了一遍,真的是不做不晓得,一做才发现自己原来什么都忘记得差不多了,在此记录一下搭建hadoop集群的步骤,便于需要的时候看看.   这个配环境的过程真的是比较困难的,我今天搞了一天终于把自己的机器作为datanode连接上了master机器,我还是年前搞过一遍的呢,所以这个还是需要耐心+细心的.

腾讯TDW:大型Hadoop集群应用

- - 服务器运维与网站架构|Linux运维|X研究
PS:TDW是腾讯最大的离线数据处理平台. 本文主要从需求、挑战、方案和未来计划等方面,介绍了TDW在建设单个大规模集群中采取的JobTracker分散化和NameNode高可用两个优化方案. TDW(Tencent distributed Data Warehouse,腾讯分布式数据仓库)基于开源软件Hadoop和Hive进行构建,打破了传统数据仓库不能线性扩展、可控性差的局限,并且根据腾讯数据量大、计算复杂等特定情况进行了大量优化和改造.

Hadoop 集群配置过程及问题总结

- - BlogJava-首页技术区
1           实验环境搭建. 1.1          准备工作. 1.1.1     ubuntu 安装.        下载最新版本ubuntu 11.10.        安装注意事项:.        1、关闭防火墙:shell命令 sudo ufw disable. 不关闭有可能造成master slave 通信失败.

【重要】hadoop集群默认配置和常用配置

- - 学着站在巨人的肩膀上
配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件,默认下来,这些配置文件都是空的,所以很难知道这些配置文件有哪些配置可以生效,上网找的配置可能因为各个hadoop版本不同,导致无法生效. 浏览更多的配置,有两个方法:. 1.选择相应版本的hadoop,下载解压后,搜索*.xml,找到core-default.xml,hdfs-default.xml,mapred-default.xml,这些就是默认配置,可以参考这些配置的说明和key,配置hadoop集群.

Hadoop集群(三节点)安装与部署

- - CSDN博客云计算推荐文章
环境由三台服务器组成,分别为目录节点,内容节点,服务器列表如下所示:. 1.2.2 Java多机安装. 将下载到后java文件传至各主机/home目录中,下面可以进行对其进行安装:. 在每台机器上创建hadoop帐户,在每台机器生成hadoop的的公私钥对,分别将上述公钥对写入到authorized_keys文件之中,将authorized_keys分别分发至各个主机~/.ssh/目录之中即可.

Hadoop集群安装&Hbase实验环境搭建

- - CSDN博客云计算推荐文章
1.安装ubuntu10.04操作系统. 安装成功后,系统也会有相应提示:. sudo vi /etc/inetd.conf并加入以下一行. sudo vi /etc/xinetd.conf并加入以下内容:. sudo vi /etc/xinetd.d/telnet并加入以下内容:. 重启机器或重启网络服务sudo /etc/init.d/xinetd restart.

分布式集群环境hadoop、hbase、zookeeper搭建(全)

- - CSDN博客云计算推荐文章
集群环境至少需要3个节点(也就是3台服务器设备):1个Master,2个Slave,节点之间局域网连接,可以相互ping通,下面举例说明,配置节点IP分配如下:. 三个节点均使用centos 6.3系统,为了便于维护,集群环境配置项最好使用相同用户名、用户密码、相同hadoop、hbase、zookeeper目录结构.