栏目分类:
子分类:
返回
终身学习网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
终身学习网 > IT > 前沿技术 > 大数据 > 大数据系统

yarn-HA(高可用)配置

大数据系统 更新时间:发布时间: 百科书网 趣学号

在我上一篇文章中已经配置好了HDFS的高可用,接下来我们来配置yarn的高可用,其实很简单,只需要改一个yarn-site.xml配置文件即可(本文需要已经配好Hadoop集群 zookeeper集群,未配好请跳转我上一篇文章HDFS HAhttps://blog.csdn.net/qq_57193542/article/details/120535500)

yarn-site.xml配置如下


 
 
 yarn.nodemanager.aux-services
 mapreduce_shuffle
 
 

        
          yarn.resourcemanager.ha.enabled
          true
        
        
          yarn.resourcemanager.cluster-id
          cluster1
        
        
          yarn.resourcemanager.ha.rm-ids
        
          yarn.resourcemanager.hostname.rm1
          master
        
        
          yarn.resourcemanager.hostname.rm2
          slave1
        
        
          yarn.resourcemanager.webapp.address.rm1
          master:8088
        
        
          yarn.resourcemanager.webapp.address.rm2
          slave1:8088
        
        
          yarn.resourcemanager.zk-address
          master:2181,slave1:2181,slave2:2181
        
        
          yarn.resourcemanager.recovery.enabled
          true
        
        
          yarn.resourcemanager.store.class
 org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore
        
 
 
 yarn.nodemanager.env-whitelist
JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME
 

将yarn先停止

[root@slave1 .ssh]# stop-yarn.sh 

将配置分发给各个主机

[root@master bin]# xsync /opt/module/hadoop-3.1.3/etc/hadoop/yarn-site.xml 

重启yarn(在其中一台配置了 ResourceManager的主机启动即可)

 [root@master bin]# start-yarn.sh 

启动效果如下

 

这样我们的YARN-HA 就配置好了.

转载请注明:文章转载自 www.051e.com
本文地址:http://www.051e.com/it/279978.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 ©2023-2025 051e.com

ICP备案号:京ICP备12030808号