【Hadoop】一、集群配置

Hadoop安装环境变量参考该文章文章

集群规划

NameNode、SecondaryNameNode、ResourceManager
注意：

• NameNode 和 SecondaryNameNode 不要安装在同一台服务器
• ResourceManager 也很消耗内存，不要和 NameNode、SecondaryNameNode 配置在同一台机器上

基本配置文件

core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 四个配置文件存放在$HADOOP_HOME/etc/hadoop 这个路径上，用户可以根据项目需求重新进行修改配置。
$HADOOP_HOME 是 Hadoop配置环境变量的路径

核心配置文件core-site.xml

注意：windows物理机配置了ip和主机名的映射，使用主机名代替ip地址

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
 <!-- 指定 NameNode 的地址 -->
 <property>
 <name>fs.defaultFS</name>
 <value>hdfs://host2:8020</value>
 </property>
 <!-- 指定 hadoop 数据的存储目录 -->
 <property>
 <name>hadoop.tmp.dir</name>
 <value>/opt/module/hadoop-3.1.3/data</value>
 </property>
 <!-- 配置 HDFS 网页登录使用的静态用户为 congqing -->
 <property>
 <name>hadoop.http.staticuser.user</name>
 <value>congqing</value>
 </property>
</configuration>

HDFS 配置文件 hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- nn web 端访问地址-->
<property>
 <name>dfs.namenode.http-address</name>
 <value>host102:9870</value>
 </property>
<!-- 2nn web 端访问地址-->
 <property>
 <name>dfs.namenode.secondary.http-address</name>
 <value>host4:9868</value>
 </property>
</configuration>

YARN 配置文件 yarn-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
 <!-- 指定 MR 走 shuffle -->
 <property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
 </property>
 <!-- 指定 ResourceManager 的地址-->
 <property>
 <name>yarn.resourcemanager.hostname</name>
 <value>host3</value>
 </property>
 <!-- 环境变量的继承 3.1.3的bug 3.2以上版本无需配置该属性-->
 <property>
 <name>yarn.nodemanager.env-whitelist</name>
 
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
 </property>
</configuration>

MapReduce 配置文件 mapred-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 指定 MapReduce 程序运行在 Yarn 上 -->
 <property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
 </property>
</configuration>

在集群上分发配置好的 Hadoop 配置文件

xsync /opt/module/hadoop-3.1.3/etc/hadoop/

cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml
cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml

配置 workers

vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

替换成如下内容

host2
host3
host4

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。
同步所有节点配置文件

xsync /opt/module/hadoop-3.1.3/etc

启动集群

如果集群是第一次启动，需要在host2节点格式化NameNode（注意：格式化 NameNode，会产生新的集群 id，导致 NameNode 和 DataNode 的集群 id 不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化 NameNode 的话，一定要先停 止 namenode 和 datanode 进程，并且要删除所有机器的 data 和 logs 目录，然后再进行格式化。）
在host2中格式化

hdfs namenode -format

在host2中启动hdfs

# hadoop环境目录
sbin/start-dfs.sh

启动成功

web端

Web 端查看 HDFS 的 NameNode

1. 浏览器中输入：http://host2:9870
2. 查看 HDFS 上存储的数据信息

在配置了 ResourceManager 的节点（host3）启动 YARN

sbin/start-yarn.sh

启动成功

Web 端查看 YARN 的 ResourceManager

1. 浏览器中输入：http://host3:8088
2. 查看 YARN 上运行的 Job 信息

测试

上传文件到集群

上传小文件

创建目录前的hdfs

创建

hadoop fs -mkdir /input

创建后刷新hdfs

在本地创建一个demo.txt文件 ，将本地文件上传到hdfs

hadoop fs -put /home/congqing/cq/demo.txt /input

在web查看

上传大文件

将本地压缩包上传到hdfs 根目录

hadoop fs -put /opt/software/jdk-8u212-linux-x64.tar.gz /

刷新

下载

hadoop fs -get /jdk-8u212-linux-x64.tar.gz ./

集群异常处理

停止yarn

# 在host2执行
sbin/stop-yarn.sh

停止hdfs

# 在host2执行
sbin/stop-dfs.sh

删除集群上所有机器的 data logs目录

格式化

hdfs namenode -format

启动hdfs

sbin/start-dfs.sh 

配置历史服务器

历史服务器查看程序的历史运行情况，使用前需要配置一下历史服务器。具体配置步骤如下：

配置 mapred-site.xml 增加如下配置

<!-- 历史服务器端地址 -->
<property>
 <name>mapreduce.jobhistory.address</name>
 <value>host2:10020</value>
</property>
<!-- 历史服务器 web 端地址 -->
<property>
 <name>mapreduce.jobhistory.webapp.address</name>
 <value>host2:19888</value>
</property>

集群分发

xsync 分发到集群

启动

重启yarn （host3机器操作）

sbin/stop-yarn.sh
sbin/start-yarn.sh

启动历史服务器（host2操作）

mapred --daemon start historyserver

查看是否启动成功

jps

日志聚集

将集群中所有机器的日志聚集在一起方便查阅
注意：开启日志聚集功能，需要重新启动 NodeManager 、ResourceManager 和HistoryServer。

配置 yarn-site.xml

vim yarn-site.xml

<!-- 开启日志聚集功能 -->
<property>
 <name>yarn.log-aggregation-enable</name>
 <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property> 
 <name>yarn.log.server.url</name> 
 <value>http://host2:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为 7 天 -->
<property>
 <name>yarn.log-aggregation.retain-seconds</name>
 <value>604800</value>
</property>

分发配置

xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml

重启

关闭 NodeManager 、ResourceManager 和 HistoryServer

# host2 关闭 history服务器
mapred --daemon stop historyserver
# host3 关闭yarn
sbin/stop-yarn.sh

启动 NodeManager 、ResourceManage 和 HistoryServer

# host3
start-yarn.sh
# host2
mapred --daemon start historyserver

删除 HDFS 上已经存在的输出文件

# host2
hadoop fs -rm -r /output

查看日志
http://host2:19888/jobhistory

集群启动和停止总结

各个模块分开启动/停止

需要配置 ssh

整体启动/停止 HDFS

start-dfs.sh/stop-dfs.sh

整体启动/停止 YARN

start-yarn.sh/stop-yarn.sh

各个服务组件逐一启动/停止

分别启动/停止 HDFS 组件

hdfs --daemon start/stop namenode/datanode/secondarynamenode

启动/停止 YARN

yarn --daemon start/stop resourcemanager/nodemanager

编写 Hadoop 集群常用脚本

Hadoop 集群启停脚本（包含 HDFS，Yarn，Historyserver）：myhadoop.sh

#host2
cd /home/congqing/bin
vim myhadoop.sh

输入如下内容并保存

#!/bin/bash
if [ $# -lt 1 ]
then
 echo "No Args Input..."
 exit ;
fi
case $1 in
"start")
 echo " =================== 启动 hadoop 集群 ==================="
 echo " --------------- 启动 hdfs ---------------"
 ssh host2 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
 echo " --------------- 启动 yarn ---------------"
 ssh host3 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
 echo " --------------- 启动 historyserver ---------------"
 ssh host2 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
 echo " =================== 关闭 hadoop 集群 ==================="
 echo " --------------- 关闭 historyserver ---------------"
 ssh host2 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
 echo " --------------- 关闭 yarn ---------------"
 ssh host3 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
 echo " --------------- 关闭 hdfs ---------------"
 ssh host2 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
 echo "Input Args Error..."
;;
esac

保存后给脚本授权

chmod +x myhadoop.sh

查看三台服务器 Java 进程脚本：jpsall

cd /home/congqing/bin
vim jpsall

输入如下内容

#!/bin/bash
for host in host2 host3 host4
do
 echo =============== $host ===============
 ssh $host jps 
done

保存后给脚本授权

chmod +x jpsall

分发脚本

xsync /home/congqing/bin/

常用及约定端口号

集群时间同步

服务器在公网环境（可以连接时间服务器），可以不使用集群时间同步，因为服务器会定期和公网时间进行校准；
如果服务器在局域网环境，配置集群时间同步是必须的，因为时间久了，集群中的机器会产生时间偏差，导致集群执行任务时间不同步引发一系列问题。
操作：
选定一台机器作为时间服务器，所有的机器与这这台时间服务器定时同步，生产环境根据任务对时间的准确程度要求，确定同步周期。测试环境为了尽快看到效果，可以采用1分钟同步一次。

时间服务器配置

如果可以连接互联网可以不用设置，开启自动时间同步就可以了
必须 root 用户
查看所有节点 ntpd 服务状态和开机自启动状态

sudo systemctl status ntpd
sudo systemctl start ntpd
sudo systemctl is-enabled ntpd

修改 host22 的 ntp.conf 配置文件

sudo vim /etc/ntp.conf

修改 1 授权对应网段

授权 192.168.10.0-192.168.10.255 网段上的所有机器可以从这台机器上查询和同步时间

#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap

解除以上代码的注释 并修改网段为NAT网段，我这里NAT的网段是146

restrict 192.168.146.0 mask 255.255.255.0 nomodify notrap

修改 2 关闭互联网时间同步

集群在局域网中，不使用其他互联网上的时间

server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst

修改为

#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst

添加 3 配置局域网时间服务器宕机策略

当该节点丢失网络连接，依然可以采用本地时间作为时间服务器为集群中的其他节点提供时间同步

server 127.127.1.0
fudge 127.127.1.0 stratum 10

修改 host2 主机的/etc/sysconfig/ntpd 文件

sudo vim /etc/sysconfig/ntpd

增加内容如下，让硬件时间与系统时间一起同步

SYNC_HWCLOCK=yes

重新启动 ntpd 服务

sudo systemctl start ntpd

设置 ntpd 服务开机启动

sudo systemctl enable ntpd

其他机器配置

必须 root 用户

[congqing@host3 ~]$ sudo systemctl stop ntpd
[congqing@host3 ~]$ sudo systemctl disable ntpd
[congqing@host4 ~]$ sudo systemctl stop ntpd
[congqing@host4 ~]$ sudo systemctl disable ntpd

在其他机器配置 1 分钟与时间服务器同步一次

sudo crontab -e

编写定时任务如下：

*/1 * * * * /usr/sbin/ntpdate host2

修改任意机器时间

# 修改host3的时间
sudo date -s "2021-9-11 11:11:11"

1 分钟后查看机器是否与时间服务器同步

[congqing@host3 ~]$ sudo date