hadoop配置手册
环境:
Hadoop-1 : 10.10.30.1 ( namehost : ip )
Hadoop-2: 10.10.30.2 ( namehost : ip )
部署步骤( JDK 安装不在描述)
1, 在每一台服务器上添加 hosts 记录
a) Vi /etc/resole.conf
i. Hadoop-1 10.10.30.1
ii. Hadoop-2 10.10.30.2
2, 在 hadoop-1 上 ping hadoop-2 , ping 通正常
3, 在 hadoop-2 上 ping hadoop-1 , ping 通正常
4, 在每一台机器上分别创建 hadoop 用户(次用户名可自定义)
a) Useradd hadoop
5, 设置 ssh 免密码登陆
Set 1 Hadoop-1
a) [hadoop-1@root~]mkdir .ssh
b) [hadoop-1@root~]ssh-keygen –t rsa
c) [hadoop-1@root~]cd .ssh
d) [hadoop-1@root~]cp id_rsa.pub authrized_keys
e) Authrized_keys scp 到其他所有的 hadoop 机器上
f) Scp authrized_keys hadoop-2:/home/ 需要输入 hadoop 用户名和密码
Set2 hadoop-2
a)[hadoop-2@hadoop~]mkdir .ssh
b)[hadoop-2@hadoop~]cp authrized_keys .ssh
c)[hadoop-2@hadoop~]chmod 755 .ssh
d)[hadoop-2@hadoop~]chmod 644 .ssh/ authrized_keys
这一步非常关键,必须保证 authorized_keys 只对其所有者有读写权限,其他人不允许有写的权限,否则 SSH 是不会工作的。
g) 测试是否可无密码登陆
6, Hadoop 安装
a) mkdir /home/hadoop/hadoop/tmp
b) mkdir /home/hadoop/hadoop/data
c) mkdir /home/hadoop/hadoop/name
d) 将 hadoop 包解压的对应的目录
i. Conf 为 hadoop 所有配置文件的存放位置
ii. vi hadoop/conf/core-site.xml
1. <name>hadoop.tmp.dir</name>
2. <value>/home/hadoop/hadoop/tmp</value> #hadoop 临时目录存放位置
3. <name> fs.default.name </name>
4. <value>hdfs:// 192.168.0.56:7771 </value> hadoop 对外访问的 ip : port
iii. vi hadoop/conf/hadoop-env.sh
1. 9 行 export JAVA_HOME=/tools/java 修改对应的 java 目录
iv. vi hadoop/conf/hdfs-site.xml
1. <configuration>
2. <!--property>
3. <name>dfs.name.dir</name>
4. <value>/home/hadoop/hadoop/name</value>
5. </property-->
6. <property>
7. <name>dfs.data.dir</name>
8. <value>/home/hadoop/hadoop/data</value>
9. </property>
10. <property>
11. <name>dfs.replication</name>
12. <value>3</value>
13. </property>
14. </configuration>
a) 修改想对应 name 和 data 的存放位置,其他不需要修改
v. Vi hadoop/conf/master 直接添加 hadoop master 的主机名
vi. Vi hadoop/conf/slave 直接添加 hadoop slave 的所有主机名(每个主机一行)
vii. Vi hadoop/conf/mapred-site.xml
1. <configuration>
2. <property>
3. <name>mapred.job.tracker</name>
4. <value> 192.168.0.56:8888 </value>
5. </property>
6. </configuration>
a) 修改 mapred 的工作 ip : port
7, 进入 hadoop 的 bin 目录 , sbin/start-dfs.sh 启动
8, 使用 jps 命令查看正常与否
i. [root@map1 conf]# jps master 的 jps 输出
5365 NameNode
5557 SecondaryNameNode
5649 JobTracker
已有 0 人发表留言,猛击->> 这里<<-参与讨论
ITeye推荐