栏目分类:
子分类:
返回
终身学习网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
终身学习网 > IT > 前沿技术 > 大数据 > 大数据系统

Hadoop(1)——Hadoop集群构建(8)——Hadoop集群配置

大数据系统 更新时间:发布时间: 百科书网 趣学号

可以通过查看目录,来看每一个主要步骤。

主要配置文件:

一. 配置Hadoop集群主节点 1. 修改hadoop-env.sh文件 1.1 进入Hadoop配置文件目录

输入: cd /export/servers/
输入: cd hadoop-2.7.4/
输入:  ls

输入:cd etc/hadoop/

输入: ls

1.2打开hadoop-env.sh文件

输入:vi hadoop-env.sh

找到JAVA_HOME这个配置信息

 

 1.3修改JAVA_HOME的路径

框框内改为:export JAVA_HOME=/export/servers/jdk

 2.修改core-site.xml文件

指定Hadoop文件系统类型为hdfs,主节点为hadoop01,访问端为9000

指定hadoop临时文件目录

2.1进入core-site.xml文件

输入:vi core-site.xml

 2.2找到configuration标签

 2.3添加内容

添加以下内容



        

                fs.defaultFS

                hdfs://hadoop01:9000

         

         

                  hadoop.tmp.dir

                  /export/servers/hadoop-2.7.4/tmp                

          

 

 3. 修改hdfs-site.xml文件

指定三个副本,指定secondary的虚拟机和端口

3.1进入hdfs-site.xml

输入: vi hdfs-site.xml

3.2找到标签

3.3修改标签


        

                dfs.replication

                3

         

         

                  dfs.namenode.secondary.http-address

                  hadoop02:50090                

          

 4. 修改mapred-site.xml文件

指定MapReduce运行框架

4.1拷贝mapred-site.xml文件

输入: cp mapred-site.xml.template mapred-site.xml

4.2打开mapred-site.xml文件

输入: vi mapred-site.xml

 找到configuration

4.3修改参数


        

                mapreduce.framework.name

                yarn

         

 

5.修改yarn-site.xml文件

指定yarn的主机

5.1进入yarn-site.xml

输入: vi yarn-site.xml

5.2找到标签并修改


        

                yarn.resourcemanager.hostname

                hadoop01

         

         

                  yarn.nodemanager.aux-services

                  mapreduce_shuffle                

          

 

 6修改slaves文件

指定从节点

6.1打开slaves这个文件

输入: vi slaves

6.2修改内容

把里面的localhost替换成:

hadoop01 hadoop02 hadoop03 

二、将集群主节点的配置文件分发到其他子节点

注意:在做这一步的时候如果出现了错误:ssh: connect to host hadoop02 port 22: No route to host
lost connection

先看以下你的hadoop02、hadoop03有没有开机

1. 将文件远程复制到其他两台虚拟机hadoop02、hadoop03

输入:scp /etc/profile hadoop03:/etc/profile

输入:scp /etc/profile hadoop02:/etc/profile

 2.分发hadoop目录

把export整个目录复制给其他两台虚拟机

输入:scp -r /export/ hadoop02:/

等待加载完成后

输入:scp -r /export/ hadoop03:/

三、使文件生效 1.在hadoop02中执行:source /etc/profile

 

2.在hadoop03中执行:source /etc/profile

 至此,hadoop配置完成。

转载请注明:文章转载自 www.051e.com
本文地址:http://www.051e.com/it/279932.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 ©2023-2025 051e.com

ICP备案号:京ICP备12030808号