HBase – 基于Hadoop的分布式数据库

标签: hbase hadoop 数据库 | 发表时间:2013-10-09 16:07 | 作者:
分享到:
出处:http://www.iteye.com

wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.5/zookeeper-3.4.5.tar.gz

tar -xzvf zookeeper-3.4.5.tar.gz

cd zookeeper-3.4.5

cp conf/zoo_sample.cfg conf/zoo.cfg

vi conf/zoo.cfg
  修改:dataDir=/home/ysc/zookeeper
  添加:
       server.1=host001:2888:3888

maxClientCnxns=100

mkdir /home/ysc/zookeeper(注:dataDir是zookeeper的数据目录,需要手动创建)

echo 1 > /home/ysc/zookeeper/myid

启动服务:

bin/zkServer.sh start

连接服务:

bin/zkCli.sh -server host001:2181

查看服务状态:

bin/zkServer.sh status

 

hbase存在系统时间同步的问题,并且误差要再30s以内

sudo apt-get install ntp
sudo ntpdate -u 210.72.145.44

HBase是数据库,会在同一时间使用很多的文件句柄,大多数linux系统使用的默认值1024是不能满足的,还需要修改 hbase 用户的nproc,在压力很大的情况下,如果过低会造成 OutOfMemoryError异常

sudo vi /etc/security/limits.conf

添加:
   ysc soft nproc 32000
   ysc hard nproc 32000
   ysc soft nofile 32768
   ysc hard nofile 32768

sudo vi /etc/pam.d/common-session
添加:
   session required  pam_limits.so

 

wget http://mirrors.hust.edu.cn/apache/hbase/hbase-0.94.12/hbase-0.94.12.tar.gz

tar -xzvf  hbase-0.94.12.tar.gz

cd hbase-0.94.12
vi conf/hbase-env.sh
追加:
  export JAVA_HOME=/home/ysc/jdk1.7.0_40
  export HBASE_MANAGES_ZK=false
  export HBASE_HEAPSIZE=1000

vi conf/hbase-site.xml

加入:

 <property> 

  <name>hbase.rootdir</name> 

  <value>hdfs://host001:9000/hbase</value>    

 </property>

 <property> 

  <name>hbase.cluster.distributed</name> 

  <value>true</value> 

 </property> 

 <property>  

  <name>hbase.zookeeper.quorum</name>       

  <value>host001</value>  

 </property>

vi conf/regionservers

改localhost为host001

因为HBase建立在Hadoop之上,Hadoop使用的hadoop*.jar和HBase使用的必须一致。所以要将 HBase lib目录下的hadoop*.jar替换成Hadoop里面的那个,防止版本冲突。

cp  /home/ysc/hadoop-1.2.1/hadoop-core-1.2.1.jar  /home/ysc/hbase-0.94.12/lib

rm  /home/ysc/hbase-0.94.12/lib/hadoop-core-1.0.4.jar

启动hadoop并创建目录
hadoop fs -mkdir /hbase

sudo vi /etc/profile

增加:

export PATH=$PATH:/home/ysc/hbase-0.94.12/bin

source /etc/profile

启动初始 HBase 集群:

start-hbase.sh

web 界面
   http://host001:60010
   http://host001:60030

停止 HBase 集群:

stop-hbase.sh

启动额外备份主服务器,可以启动到 9 个备份服务器(总数10 个):

local-master-backup.sh start 1

local-master-backup.sh start 2 3

启动更多regionservers, 支持到99 个额外regionservers(总100个):

local-regionservers.sh start 1

local-regionservers.sh start 2 3 4 5

停止备份主服务器:

cat /tmp/hbase-ysc-1-master.pid | xargs kill -9

停止单独regionserver:

local-regionservers.sh stop 1

使用HBase命令行模式:

hbaseshell

 

命令演示:

创建表Person,列族basic和detail

create 'Person', 'basic', 'detail'

看有哪些表:

list

看是否有person表:

list 'person'

增加数据,动态增加列:

数据 1

put 'Person','533001198510125838', 'basic:idcard', '533001198510125838'

put 'Person', '533001198510125838','basic:name', '章子怡'

put 'Person','533001198510125838', 'detail:age', '25'

数据 2

put 'Person', '533001198510125837','basic:idcard', '533001198510125837'

put 'Person','533001198510125837', 'basic:name', '杨尚川'

put 'Person','533001198510125837', 'detail:age', '22'

查询整条数据:

get 'Person','533001198510125838'

get 'Person','533001198510125837'

查询单列数据:

get 'Person', '533001198510125837','basic:idcard'

查询多列数据:

get 'Person', '533001198510125837','basic:idcard', 'detail:age'

查询全部数据:

scan 'Person'

删除表:

disable 'Person'

drop 'Person'



已有 0 人发表留言,猛击->> 这里<<-参与讨论


ITeye推荐



相关 [hbase hadoop 数据库] 推荐:

HBase – 基于Hadoop的分布式数据库

- - ITeye博客
  修改:dataDir=/home/ysc/zookeeper. mkdir /home/ysc/zookeeper(注:dataDir是zookeeper的数据目录,需要手动创建). hbase存在系统时间同步的问题,并且误差要再30s以内. HBase是数据库,会在同一时间使用很多的文件句柄,大多数linux系统使用的默认值1024是不能满足的,还需要修改 hbase 用户的nproc,在压力很大的情况下,如果过低会造成 OutOfMemoryError异常.

"Hadoop/MapReduce/HBase"分享总结

- - ITeye博客
此分享是关于hadoop生态系统的简单介绍包括起源到相对应用. Hadoop和HBase.pdf (2.1 MB). 已有 0 人发表留言,猛击->> 这里<<-参与讨论. —软件人才免语言低担保 赴美带薪读研.

Hbase+Hadoop安装部署

- - ITeye博客
VMware安装多个RedHat Linux操作系统,摘抄了不少网上的资料,基本上按照顺序都能安装好. 在217  218  216 分别执行 . 在217  218  216 分别执行 . 4、建hadoop与hbase、zookeeper. 1) hadoop 配置. 加入(不用master做salve).

[原]Hadoop,HBase添加和删除节点

- - long1657的专栏
Hadoop添加和删除节点. (一)添加节点有两种方式,一种是静态添加,关闭hadoop集群,配置相应配置,重启集群(这个就不再重述了). (二)动态添加,在不重启集群的情况下添加节点. 1.设置新datanode与namenode的SSH无密码登陆. 2.在hosts添加主机名称,并且把该文件复制到集群中的其他节点上.

[hadoop] 基于Hadoop集群的HBase集群的配置

- - CSDN博客系统运维推荐文章
       a> 已经配置完成的Hadoop集群.        b> 所需要的软件包. 2>  单独安装的ZooKeeper集群,不基于HBase集群管理.        a> 在master01上解压zookeeper-3.4.4.tar.gz.        b> 修改Zookeeper的配置文件.

微软数据库拥抱Hadoop

- Adam - Solidot
在西雅图举行的PASS峰会上,微软副总裁Ted Kumert宣布,Hadoop分布式计算平台将整合到下一个版本的关系数据库SQL Server 2012、Windows Server 和Azure中. Hadoop是一个顶级Apache开源项目,雅虎是最主要的贡献者,主要被应用于分析大容量数据集. 整合Hadoop将让微软的客户能分析和处理大数量的非结构化数据.

Hadoop集群安装&Hbase实验环境搭建

- - CSDN博客云计算推荐文章
1.安装ubuntu10.04操作系统. 安装成功后,系统也会有相应提示:. sudo vi /etc/inetd.conf并加入以下一行. sudo vi /etc/xinetd.conf并加入以下内容:. sudo vi /etc/xinetd.d/telnet并加入以下内容:. 重启机器或重启网络服务sudo /etc/init.d/xinetd restart.

分布式集群环境hadoop、hbase、zookeeper搭建(全)

- - CSDN博客云计算推荐文章
集群环境至少需要3个节点(也就是3台服务器设备):1个Master,2个Slave,节点之间局域网连接,可以相互ping通,下面举例说明,配置节点IP分配如下:. 三个节点均使用centos 6.3系统,为了便于维护,集群环境配置项最好使用相同用户名、用户密码、相同hadoop、hbase、zookeeper目录结构.

理解Hadoop-Hbase原理与应用小结

- - 数据库 - ITeye博客
首先Hbase中的一个“元素”是由行键、列族名、限定符、时间戳唯一标识的并且行键作为数据行在表里的唯一标识,我们只有通过行键来访问列族别无他法. 修改数据:我们先找到要修改的行键把新的数据记录追加到对应的列族中并打上一个新时间戳代表最新版本. 删除数据:插入带有删除标记的行进入,相当于把整个行键所在的行删了.

基于Nutch+Hadoop+Hbase+ElasticSearch的网络爬虫及搜索引擎

- - zzm
网络爬虫架构在Nutch+Hadoop之上,是一个典型的分布式离线批量处理架构,有非常优异的吞吐量和抓取性能并提供了大量的配置定制选项. 由于网络爬虫只负责网络资源的抓取,所以,需要一个分布式搜索引擎,用来对网络爬虫抓取到的网络资源进行实时的索引和搜索. 搜 索引擎架构在ElasticSearch之上,是一个典型的分布式在线实时交互查询架构,无单点故障,高伸缩、高可用.