Hadoop集群（三节点）安装与部署
- - CSDN博客云计算推荐文章环境由三台服务器组成，分别为目录节点，内容节点，服务器列表如下所示：. 1.2.2 Java多机安装. 将下载到后java文件传至各主机/home目录中，下面可以进行对其进行安装：. 在每台机器上创建hadoop帐户，在每台机器生成hadoop的的公私钥对，分别将上述公钥对写入到authorized_keys文件之中，将authorized_keys分别分发至各个主机~/.ssh/目录之中即可.
Hadoop集群（三节点）安装与部署
标签：
hadoop
集群
节点
| 发表时间：2013-03-03 20:37 | 作者：my2005lb
出处：http://blog.csdn.net
1.2.1 环境准备
环境由三台服务器组成，分别为目录节点，内容节点，服务器列表如下所示：
表１ 主机环境准备
|
IP |
机器名称 |
|
10.0.0.201 |
m1.hadoop |
|
10.0.0.209 |
s1.hadoop |
|
10.0.0.211 |
s2.hadoop |
下面列出各主机配置信息:
主机:m1.hadoop
|
[hadoop@m1 .ssh]$ cat /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE="eth0" NM_CONTROLLED="yes" ONBOOT=yes TYPE=Ethernet BOOTPROTO=none IPADDR=10.0.0.201 PREFIX=24 GATEWAY=10.0.0.254 DEFROUTE=yes IPV4_FAILURE_FATAL=yes IPV6INIT=no NAME="System eth0" HWADDR=10:50:56:AF:00:CF [hadoop@m1 .ssh]$ cat /etc/hosts 10.0.0.201 m1.hadoop 10.0.0.209 s1.hadoop 10.0.0.211 s2.hadoop 127.0.0.1 localhost.localdomain localhost [hadoop@m1 .ssh]$ cat /etc/sysconfig/network NETWORKING=yes HOSTNAME=m1.hadoop FORWARD_IPV4=yes
|
主机:s1.hadoop
|
[hadoop@s1 .ssh]$ cat /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE="eth0" NM_CONTROLLED="yes" ONBOOT=yes HWADDR=10:50:56:AF:00:D4 TYPE=Ethernet BOOTPROTO=none IPADDR=10.0.0.209 PREFIX=24 GATEWAY=10.0.0.254 DEFROUTE=yes IPV4_FAILURE_FATAL=yes IPV6INIT=no NAME="System eth0" [hadoop@s1 .ssh]$ cat /etc/hosts 10.0.0.209 s1.hadoop 10.0.0.201 m1.hadoop 10.0.0.211 s2.hadoop 127.0.0.1 localhost.localdomain localhost [hadoop@s1 .ssh]$ cat /etc/sysconfig/network NETWORKING=yes HOSTNAME=s1.hadoop |
主机:s2.hadoop
|
[hadoop@s2 .ssh]$ cat /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE="eth0" NM_CONTROLLED="yes" ONBOOT=yes HWADDR=01:50:56:AF:00:D7 TYPE=Ethernet BOOTPROTO=none IPADDR=10.0.0.211 PREFIX=24 GATEWAY=10.0.0.254 DEFROUTE=yes IPV4_FAILURE_FATAL=yes IPV6INIT=no NAME="System eth0" [hadoop@s2 .ssh]$ cat /etc/hosts 10.0.0.211 s2.hadoop 10.0.0.201 m1.hadoop 10.0.0.209 s1.hadoop 127.0.0.1 localhost.localdomain localhost [hadoop@s2 .ssh]$ cat /etc/sysconfig/network NETWORKING=yes HOSTNAME=s2.hadoop |
1.2.2 Java多机安装
将下载到后java文件传至各主机/home目录中，下面可以进行对其进行安装：
|
[root@s1 home]# chmod u+x jdk-6u25-linux-x64-rpm.bin [root@s1 home]# ./jdk-6u25-linux-x64-rpm.bin |
1.2.3 SSH配置
在每台机器上创建hadoop帐户，在每台机器生成hadoop的的公私钥对，分别将上述公钥对写入到authorized_keys文件之中，将authorized_keys分别分发至各个主机~/.ssh/目录之中即可。
具体设置过程如下所示：
S1.hadoop主机:
|
[root@ s1 .ssh]# useradd hadoop #创建帐号 [root@ s1 .ssh]# passwd hadoop #配置密码 [root@ s1 .ssh 5]# su hadoop [hadoop@s1 .ssh]$ssh-keygen [hadoop@s1 .ssh]$chmod 700 ~/.ssh/ [hadoop@m1 .ssh]$ cat id_rsa.pub >> authorized_keys [hadoop@m1 .ssh]$ chmod 600 authorized_keys [hadoop@m1 .ssh]$ scp authorized_keys [email protected]:/home/hadoop/.ssh/ |
s2.hadoop主机：
|
[root@ s2 .ssh]# useradd hadoop #创建帐号 [root@ s2 .ssh]# passwd hadoop #配置密码 [root@ s2 .ssh 5]# su hadoop [hadoop@s2 .ssh]$ssh-keygen [hadoop@s2 .ssh]$chmod 700 ~/.ssh/ [hadoop@m2 .ssh]$ cat id_rsa.pub >> authorized_keys [hadoop@m1 .ssh]$ scp authorized_keys [email protected]:/home/hadoop/.ssh/ |
m1.hadoop主机：
|
[root@ s1 .ssh]# useradd hadoop #创建帐号 [root@ s1 .ssh]# passwd hadoop #配置密码 [root@ s1 .ssh 5]# su hadoop [hadoop@s1 .ssh]$ssh-keygen [hadoop@s1 .ssh]$chmod 700 ~/.ssh/ [hadoop@m1 .ssh]$ cat id_rsa.pub >> authorized_keys [hadoop@m1 .ssh]$ scp authorized_keys [email protected]:/home/hadoop/.ssh/ [hadoop@m1 .ssh]$ scp authorized_keys [email protected]:/home/hadoop/.ssh/ |
1.2.4 Hadoop多机安装
Hadoop安装与配置过程见1.1.4节,先在m1.hadoop主机配置hadoop，安装hadoop、配置访问权限、配置环境变量：
具体操作过程（m1.hadoop）：
|
[root@m1 home]# tar xzvf hadoop-0.20.2.tar.gz [root@ m1home]# mv hadoop-0.20.2 /usr/local [root@ m1home]# cd /usr/local [root@ m1local]# ls bin etc games hadoop-0.20.2 include lib lib64 libexec sbin share src [root@ m1local]# mv hadoop-0.20.2/ hadoop [root@ m1local]# mkdir hadoop/Data [root@ m1local]# mkdir hadoop/Name [root@ m1local]# mkdir hadoop/Tmp [root@ m1local]# chmod 777 /var/local [root@ m1local]# ls bin etc games hadoop include lib lib64 libexec sbin share src [root@ m1local]# chown -R hadoop:hadoop /usr/local/hadoop/ #修改权限 [root@m1 conf]# vi core-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration> <property> <name>fs.default.name</name> <value>hdfs://m1.hadoop:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop/Tmp</value> </property>
</configuration> [root@m1 conf]# vi hdfs-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration> <property> <name>dfs.name.dir</name> <value>/usr/local/hadoop/Name</value> </property>
<property> <name>dfs.data.dir</name> <value>/usr/local/hadoop/Data</value> </property>
<property> <name>dfs.replication</name> <value>3</value> </property>
</configuration> [root@m1 conf]# vi masters m1.hadoop [root@m1 conf]# vi slaves m1.hadoop s1.hadoop s2.hadoop [root@m1 conf]# vi mapred-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration> <property> <name>mapred.job.tracker</name> <value>m1.hadoop:9001</value> </property>
</configuration> [root@ m1local]# scp -r /usr/local/hadoop s1.hadoop:/usr/local/ [root@ m1local]# scp -r /usr/local/hadoop s2.hadoop:/usr/local/
|
（s1.hadoop）：
|
[root@ s1local]# chmod 777 /var/local |
（s2.hadoop）：
|
[root@ s2local]# chmod 777 /var/local |
1.2.5 Hadoop测试
|
[root@m1 conf]# jps 10209 Jps 9057 SecondaryNameNode 9542 SecondaryNameNode 7217 JobTracker 10087 TaskTracker 9450 DataNode |
作者：my2005lb 发表于2013-3-3 20:37:46 原文链接
阅读：80 评论：0 查看评论
相关 [hadoop 集群 节点] 推荐：
Hadoop集群与Hadoop性能优化
- - 学着站在巨人的肩膀上本文讲解一下Hadoop集群、Hadoop性能优化、Hadoop机架感知实现、Hadoop配置等，下面是有关这些命令的具体介绍. Hadoop性能优化：Hadoop机架感知实现及配置：分布式的集群通常包含非常多的机器，由于受到机架槽位和交换机网口的限制，通常大型的分布式集群都会跨好几个机架，由多个机架上的机器共同组成一个分布式集群.
[hadoop] 搭建自己的hadoop集群
- - CSDN博客系统运维推荐文章 a> 五台centos6.2虚拟机,配置主机名、IP地址、yum源、. b> 准备所需要的软件包. 2> 配置我自己的hadoop 集群. a> 修改5台机器的hosts文件. b> 配置master无密码登录slave,在master01和master02上执行以下命令: .
Hadoop 集群基准测试
- - IT瘾-dev生产环境中，如何对 Hadoop 集群进行 Benchmark Test. 本文将通过 Hadoop 自带的 Benchmark 测试程序：TestDFSIO 和 TeraSort，简单介绍如何进行 Hadoop 的读写 & 计算性能的压测. 回顾上篇文章： 认识多队列网卡中断绑定. （本文使用 2.6.0 的 hadoop 版本进行测试，基准测试被打包在测试程序 JAR 文件中，通过无参调用 bin/hadoop jar ./share/hadoop/mapreduce/xxx.jar 可以得到其列表 ）.
Hadoop添加节点datanode
- - 企业架构 - ITeye博客1.部署hadoop
和普通的datanode一样. 安装jdk，ssh
2.修改host
和普通的datanode一样. 已有 0 人发表留言，猛击->> 这里<<-参与讨论. —软件人才免语言低担保 赴美带薪读研.
[hadoop] 基于Hadoop集群的HBase集群的配置
- - CSDN博客系统运维推荐文章 a> 已经配置完成的Hadoop集群. b> 所需要的软件包. 2> 单独安装的ZooKeeper集群，不基于HBase集群管理. a> 在master01上解压zookeeper-3.4.4.tar.gz. b> 修改Zookeeper的配置文件.
hadoop集群环境的配置
- - ITeye博客 之前说过，我们的hadoop集群已经搭建起来了，只是具体的步骤还没来得及整理，幸好今天又把流程走了一遍，真的是不做不晓得，一做才发现自己原来什么都忘记得差不多了，在此记录一下搭建hadoop集群的步骤，便于需要的时候看看. 这个配环境的过程真的是比较困难的，我今天搞了一天终于把自己的机器作为datanode连接上了master机器，我还是年前搞过一遍的呢，所以这个还是需要耐心+细心的.
腾讯TDW：大型Hadoop集群应用
- - 服务器运维与网站架构|Linux运维|X研究PS：TDW是腾讯最大的离线数据处理平台. 本文主要从需求、挑战、方案和未来计划等方面，介绍了TDW在建设单个大规模集群中采取的JobTracker分散化和NameNode高可用两个优化方案. TDW（Tencent distributed Data Warehouse，腾讯分布式数据仓库）基于开源软件Hadoop和Hive进行构建，打破了传统数据仓库不能线性扩展、可控性差的局限，并且根据腾讯数据量大、计算复杂等特定情况进行了大量优化和改造.
Hadoop 添加数据节点（datanode）
- - CSDN博客云计算推荐文章在hadoop集群中添加一个新增数据节点. 同样在其它各节点都添加新的server123服务器. ->在新节点上生成自己的密钥. ->把原集群中的密钥复制添加到新节点的密钥当中. ->再把新节点上的新密钥复制（覆盖）到原集群中的新节点. --首先，为了避免误操作，操作之前要先备份原集群的密钥文件. 2014年 02月 12日 星期三 11:31:08 CST.
[原]Hadoop,HBase添加和删除节点
- - long1657的专栏Hadoop添加和删除节点. （一）添加节点有两种方式，一种是静态添加，关闭hadoop集群，配置相应配置，重启集群（这个就不再重述了）. （二）动态添加，在不重启集群的情况下添加节点. 1．设置新datanode与namenode的SSH无密码登陆. 2．在hosts添加主机名称，并且把该文件复制到集群中的其他节点上.