栏目分类:
子分类:
返回
终身学习网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
终身学习网 > IT > 前沿技术 > 云计算 > 云平台

window环境下安装大数据环境

云平台 更新时间:发布时间: 百科书网 趣学号

目录

背景:

适用人群:

环境配置:

1.java安装-jdk

环境变量配置

2.scala 安装

环境变量配置

测试

 3. hadoop安装

环境变量配置

 4. spark安装

环境变量配置

测试

idea集成

修改一:改成可识别的资源

 修改二:下载scala的插件

 修改三:添加scala的sdk

四:添加maven

 五:添加git关联(这步看个人情况)


背景:

最近系统经常被公司it格式化重装系统(因为公司的一些战略规划的原因),每次都要把java、spark、scala、Hadoop,那一堆东西弄一边,感觉很麻烦,写出来,以后照抄,十分钟搞定所有开发环境。

适用人群:

大数据以及java开发人员中的新手小白、经常更新环境的兄弟

话不多说,开始安装:

环境配置:

1.java安装-jdk

spark依赖java,首先电脑中必须安装java。

具体可以看博主的这篇文章:

Java新人入职——配置环境及安装开发工具_Alex_81D的博客-CSDN博客

这里简单写一下参考即可

环境变量配置

依次点击我的电脑 ->属性->高级系统设置->环境变量,在系统变量选项卡中,新建一个系统变量,如下,变量名为JAVA_HOME,变量值为本地安装java的路径。

 添加好JAVA_HOME后,需要为Path变量增加值,选择Path变量(同样在系统变量中),点击编辑,弹出如下弹窗,新建两个值,分别为%JAVA_HOME%bin和%JAVA_HOME%jrebin。

 测试

环境变量配置好后,测试java是否安装成功,win+R打开运行对话框,输入cmd命令进入命令行窗口,输入java、javac、java -version查看java版本,有输出则说明java安装成功。

2.scala 安装

spark是由scala语言编写的,需要安装scala。

根据系统下载对应的版本,进行安装,安装位置可自行选择。

环境变量配置

同样,在系统变量的Path中,增加一个值,为scala的安装路径。

测试

打开命令行窗口,输入scala,出现如下界面表示安装成功。

 

 3. hadoop安装 环境变量配置

新增HADOOP_HOME系统变量,值为本地hadoop安装路径

 增加Path系统变量的值,为%HADOOP_HOME%bin

备注:

这块需要注意的是,有时候Hadoop确实一些包,需要手动下载 winutils.exe

 下载对应版本的 winutils:https://github.com/steveloughran/winutils/blob/master/hadoop-2.7.7/bin/winutils.exe,把下载到的bin文件夹覆盖到Hadoop安装目录的bin文件夹,确保其中含有winutils.exe文件

 4. spark安装

「需要注意的是spark版本需要和hadoop版本对应」

环境变量配置

新增SPARK_HOME系统变量,值为本地spark安装路径。

 增加Path系统变量的值,为%SPARK_HOME%bin

测试

在命令行窗口,输入spark-shell,出现如下界面,表示spark安装成功。

 目录:

 spark window单机版安装成功!单机版可以用来学习spark的基础使用,python用户可以用pyspark模块使用spark,R用于可以用SparkR包使用spark。

===================================================================

idea集成

修改一:改成可识别的资源

 修改二:下载scala的插件

 修改三:添加scala的sdk

四:添加maven

 五:添加git关联(这步看个人情况)

这次先到这里,后面再说!

转载请注明:文章转载自 www.051e.com
本文地址:http://www.051e.com/it/1072717.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 ©2023-2025 051e.com

ICP备案号:京ICP备12030808号