栏目分类:
子分类:
返回
终身学习网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
终身学习网 > IT > 前沿技术 > 大数据 > 大数据系统

Spark-submit提交任务如何读取外部配置文件

大数据系统 更新时间:发布时间: 百科书网 趣学号

需求场景
使用yarn-cluster模式提交Spark任务且需要读取的外部配置文件在本地(driver端)
,当然也可以把外部配置文件放在hdfs上以达到给所有executor广播的效果,但是此处单讨论懒人偏爱操作

解决办法

1、 在Spark-submit命令中加上参数 --files application.conf (可以配置多个文件,逗号隔开)

spark-submit 
--queue root.bigdata 
--master yarn-cluster 
--name targetStrFinder 
--executor-memory 2G 
--executor-cores 2 
--num-executors 5 
--files ./application.conf    # 此处是外部配置文件存放路径
--class targetFind ./combinebak.jar

2、 在代码中直接用ConfigFactor加载

 import com.typesafe.config.ConfigFactory
 
 val configer = ConfigFactory.load("application.conf")
 log.info("获取输入源地址:" + configer.getString("data.source.path"))

不想作为配置文件来读取外部资源文件的话,还可以用如下方式:

val bs: BufferedSource = scala.io.Source.fromFile("application-out.conf")

bs.getLines().foreach(line => {
log.info("==========" + line.toString)

以上两种方式亲测可用,转载请注明出处,有问题敬请指教

如有不解,另请参考 https://blog.csdn.net/qq_41775852/article/details/104773502 这位老师写的比较专业

拒绝矫情,从我做起,

转载请注明:文章转载自 www.051e.com
本文地址:http://www.051e.com/it/700056.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 ©2023-2025 051e.com

ICP备案号:京ICP备12030808号