
可以通过查看目录,来看每一个主要步骤。
主要配置文件:
一. 配置Hadoop集群主节点 1. 修改hadoop-env.sh文件 1.1 进入Hadoop配置文件目录输入: cd /export/servers/
输入: cd hadoop-2.7.4/
输入: ls
输入:cd etc/hadoop/
输入: ls
1.2打开hadoop-env.sh文件输入:vi hadoop-env.sh
找到JAVA_HOME这个配置信息
1.3修改JAVA_HOME的路径
框框内改为:export JAVA_HOME=/export/servers/jdk
2.修改core-site.xml文件指定Hadoop文件系统类型为hdfs,主节点为hadoop01,访问端为9000
指定hadoop临时文件目录
2.1进入core-site.xml文件输入:vi core-site.xml
2.2找到configuration标签 2.3添加内容添加以下内容
fs.defaultFS hdfs://hadoop01:9000 hadoop.tmp.dir /export/servers/hadoop-2.7.4/tmp
3. 修改hdfs-site.xml文件
指定三个副本,指定secondary的虚拟机和端口
3.1进入hdfs-site.xml输入: vi hdfs-site.xml
3.2找到标签 3.3修改标签4. 修改mapred-site.xml文件dfs.replication 3 dfs.namenode.secondary.http-address hadoop02:50090
指定MapReduce运行框架
4.1拷贝mapred-site.xml文件输入: cp mapred-site.xml.template mapred-site.xml
4.2打开mapred-site.xml文件输入: vi mapred-site.xml
找到configuration
4.3修改参数mapreduce.framework.name yarn
5.修改yarn-site.xml文件
指定yarn的主机
5.1进入yarn-site.xml输入: vi yarn-site.xml
5.2找到标签并修改yarn.resourcemanager.hostname hadoop01 yarn.nodemanager.aux-services mapreduce_shuffle
6修改slaves文件
指定从节点
6.1打开slaves这个文件输入: vi slaves
6.2修改内容把里面的localhost替换成:
hadoop01 hadoop02 hadoop03
二、将集群主节点的配置文件分发到其他子节点注意:在做这一步的时候如果出现了错误:ssh: connect to host hadoop02 port 22: No route to host
lost connection
先看以下你的hadoop02、hadoop03有没有开机
1. 将文件远程复制到其他两台虚拟机hadoop02、hadoop03输入:scp /etc/profile hadoop03:/etc/profile
输入:scp /etc/profile hadoop02:/etc/profile
2.分发hadoop目录把export整个目录复制给其他两台虚拟机
输入:scp -r /export/ hadoop02:/
等待加载完成后
输入:scp -r /export/ hadoop03:/
三、使文件生效 1.在hadoop02中执行:source /etc/profile2.在hadoop03中执行:source /etc/profile
至此,hadoop配置完成。