一、Linux配置
1、设置hosts的ip(集群机器做同样操作)
vi /etc/hosts
192.168.91.129 master
192.168.91.130 slave
#互相ping通即可
ping master
ping slave
2、关闭防火墙(集群机器做同样操作)
setup
3、修改主机名(修改slave节点主机名，使集群机器主机名不同即可。)
slave集群机：HOSTNAME=slave
4、安装JDK
#复制JDK到全局目录下
cp /home/chenweichu/resource/software/java/jdk-8u131-linux-x64.tar.gz /usr/java/
#解压
tar -zxvf jdk-8u131-linux-x64.tar.gz
#配置环境变量
vi /etc/profile
#/etc/profile增加内容：
export JAVA_HOME=/usr/java/jdk1.8.0_131
export JRE_HOME=/usr/java/jdk1.8.0_131/jre
export PATH=$PATH:/usr/java/jdk1.8.0_131/bin
export CLASSPATH=./:/usr/java/jdk1.8.0_131/lib:/usr/java/jdk1.8.0_131/jre/lib
#刷新环境变量
source /etc/profile
#检查是否安装和配置成功
java -version
#拷贝到slave机器，然后安装配置环境变量。
scp /usr/java/jdk-8u131-linux-x64.tar.gz root@slave:/usr/java/
二、hadoop安装
1、修改hadoop_env.sh
export JAVA_HOME =${JAVA_HOME}
2、修改配置文件
如下4个文件：
core-site.xml
hdfs-site.xml
mapred-site.xml
yam-site.xml
2.1、core-site.xml:
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/chenweichu/hadoopdata</value>
</property>
2.2、hdfs-site.xml:
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
2.3、mapred-site.xml:
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
2.4、yam-site.xml:
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:18040</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:18030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:18025</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:18141</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:18088</value>
</property>
3、修改slaves
改成：slave
4、yarn-env.sh
增加：export JAVA_HOME = /usr/java/jdk1.8.0_131
5、将hadoop复制到集群
scp -r hadoop-2.5.2 chenweichu@slave:~/
6、创建安放hadoop数据的文件夹
mkdir /home/chenweichu/hadoopdata
7、格式化文件系统
在master节点执行
hadoop-2.5.2/bin/hdfs namenode -format
8、启动集群
master:
hadoop-2.5.2/sbin/hadoop-daemon.sh start namenode
hadoop-2.5.2/sbin/yarn-daemon.sh start resourcemanager
slave:
hadoop-2.5.2/sbin/hadoop-daemon.sh start datanode
hadoop-2.5.2/sbin/yarn-daemon.sh start nodemanager
9、运行PI实例检查集群是否成功
进入hadoop安装目录，执行下面的命令
cd hadoop-2.5.2/share/hadoop/mapreduce/
hadoop jar hadoop-mapreduce-examples-2.5.2.jar pi 10 10
10、验证集群是否搭建成功
Web UI查看集群是否启动成功
http://192.168.91.129:18088
http://192.168.91.130:18088
最后输出：
Estimated value of Pi is 3.20000000000000000000
如果以上的3个验证步骤都没问题，说明集群正常启动。