栏目分类:
子分类:
返回
终身学习网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
终身学习网 > IT > 前沿技术 > 大数据 > 大数据系统

Scala/Java - 本地执行 Unsupported major.minor version 52.0

大数据系统 更新时间:发布时间: 百科书网 趣学号
一.引言
java -classpath xxx.jar yyy.class

在通道机部署本地任务时,执行报错 Unsupported major.minor version 52.0 :

查了其他解决方案主要结论是:

jar 包是在高版本 java 下打包,运行环境是低版本,所以解决方案一种是将打包的 jdk 版本降低或者是将执行环境的版本提升,如果机器是自己的,项目是自己的比较好修改版本,当遇到机器没有 root 权限 or jar 包为其他同学提供时上述方案失效。

二.解决方案

本地执行 java 失败,将项目代码转换为 spark,然后利用 spark-submit 的 local 模式提交即可避开该问题,将原始执行的本地代码样本通过 sc.parallel 序列化成 rdd 再 collect 转一遍拉到本地,随后执行之前相同逻辑即可。

1.代码转换
    val conf = new SparkConf().setAppName("xxx")
    val sc = new SparkContext(conf)

    val oriInfo =  Array[String]()
    val oriInfoCopy = sc.parallelize(oriInfo).collect()

2.Spark-Submit
$SPARK_HOME/bin/spark-submit 
--class your_class 
--master local[1] 
./xxx.jar 

改用 spark local 模式后,任务成功通道机执行 

转载请注明:文章转载自 www.051e.com
本文地址:http://www.051e.com/it/600924.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 ©2023-2025 051e.com

ICP备案号:京ICP备12030808号