centos7安装hadoop集群（亲测可用）

环境准备

1、hadoop集群

2、软件版本
centos7：CentOS-7-x86_64-DVD-1708.iso 下载地址
hadoop：hadoop-2.9.2.tar.gz 下载地址
jdk：jdk-8u311-linux-x64.tar.gz 下载地址
虚拟机：VMware® Workstation 16 Pro

开始安装

一）准备三台虚拟机，ip地址即hostname如上所示

二）修改hostname（分别改成master、slave1、slave2）
[root@master ~]# vim /etc/hostname

master

重启 修改完hostname重启生效

[root@master ~]#reboot

三）在hosts文件末尾添加如下字段(master、slave1、slave2同样执行如下操作)
[root@master ~]# vim /etc/hosts

192.168.46.22 master
192.168.46.23 slave1
192.168.46.24 slave2

四）免密登录
[root@master ~]# ssh-keygen -t rsa #不输入密码，一路回车

[root@master ~]# ssh-copy-id slave1
[root@master ~]# ssh-copy-id slave2

#测试连通性，所有节点执行

[root@master ~]# ssh slave1
[root@master ~]# ssh slave2
[root@master ~]# ssh master

五）安装jdk（三个节点都需要安装）
1、将jdk放在 /opt/jdk 下并解压

[root@master jdk]# tar -zxvf  jdk-8u311-linux-x64.tar.gz

2、设置环境变量，在末尾添加如下字段

[root@master ~]# vim /etc/profile

export JAVA_HOME=/opt/jdk/jdk1.8.0_311
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

3、刷新环境变量，使其生效

[root@master jdk]# source /etc/profile

六）安装hadoop（三个节点都安装）
1、创建几个必要目录

[root@master jdk]# mkdir  /root/hadoop
[root@master jdk]# mkdir  /root/hadoop/tmp
[root@master jdk]# mkdir  /root/hadoop/var
[root@master jdk]# mkdir  /root/hadoop/dfs
[root@master jdk]# mkdir  /root/hadoop/dfs/name
[root@master jdk]# mkdir  /root/hadoop/dfs/data

2、将hadoop-2.9.2.tar.gz 放在 /opt/hadoop 文件夹下
#解压

tar -zxvf hadoop-2.9.2.tar.gz

3、逐一修改配置文件，在如下目录

[root@master ~]# cd /opt/hadoop/hadoop-2.9.2/etc/hadoop
[root@master hadoop]# pwd
/opt/hadoop/hadoop-2.9.2/etc/hadoop

4、修改core-site.xml，添加如下配置

[root@master hadoop]# vim core-site.xml

<configuration>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
   </property>
   <property>
        <name>fs.default.name</name>
        <value>hdfs://master:9000</value>
   </property>
</configuration>

5、修改hadoop-env.sh，将JAVA_HOME改成如下字段

export JAVA_HOME=/opt/jdk/jdk1.8.0_311

6、修改 hdfs-site.xml，添加如下字段

[root@master hadoop]# vim hdfs-site.xml

<configuration>
<property>
   <name>dfs.name.dir</name>
   <value>file:///root/hadoop/dfs/name</value>
</property>

<property>
   <name>dfs.data.dir</name>
   <value>file:///root/hadoop/dfs/data</value>
</property>

<property>
   <name>dfs.replication</name>
   <value>1</value>
</property>

<property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
<property>
  <name>dfs.safemode.threshold.pct</name>
  <value>0.999f</value>
</property>
<property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
    </property>
<property>
        <name>dfs.nameservices</name>
        <value>lisy-cluster</value>
    </property>
<property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>master:50090</value>
 </property>
</configuration>

7、修改mapred-site.xml，由于源文件中没有所以先复制出来一个

[root@master hadoop]# cp mapred-site.xml.template mapred-site.xml

[root@master hadoop]# vim mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
        <final>true</final>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>master:10020</value>
    </property>

    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>master:19888</value>
    </property>
    <property>
        <name>mapreduce.jobtracker.http.address</name>
        <value>master:50030</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>master:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>master:19888</value>
    </property>
    <property>
        <name>mapred.job.tracker</name>
        <value>http://master:9001</value>
    </property>

</configuration>

8、修改slaves文件 注意（slave1、slave2此文件为空即可）
删除原有文件替换成如下字段

[root@master hadoop]# vim slaves

master
slave1
slave2

9、在 /opt/hadoop/hadoop-2.9.2/sbin/start-yarn.sh 文件末尾增加如下字段
作用：看日志

"$bin"/mr-jobhistory-daemon.sh start historyserver

10、将hadoop 添加到环境变量，在末尾添加如下字段

[root@master ~]# vim /etc/profile

export PATH=$PATH:/opt/hadoop/hadoop-2.9.2/bin

[root@master jdk]# source /etc/profile

启动Hadoop

1、初始化namenode

hadoop  namenode  -format

2、启动hadoop

[root@master ~]# cd /opt/hadoop/hadoop-2.9.2/sbin
[root@master sbin]# ./start-all.sh

3、观测是否启动成功，存在如下进程则表示运行正常

[root@master sbin]# jps
37728 ResourceManager
37908 NodeManager
18022 JobHistoryServer
37494 DataNode
37353 NameNode
40157 Jps

4、打开网址查看文件系统和集群
http://192.168.46.22:50070/ 查看hdfs文件
http://192.168.46.22:8088/cluster 查看map任务log

查看集群mr日志