第 1 章 Spark 性能调优
1.1 常规性能调优
1.1.1 常规性能调优一：最优资源配置
Spark
性能调优的第一步，就是为任务分配更多的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。
资源的分配在使用脚本提交
Spark
任务时进行指定，标准的
Spark
任务提交脚本如下所示：
bin/spark-submit
--class com.atguigu.spark.Analysis
--master yarn
--deploy-mode cluster
--num-executors 80
--driver-memory 6g
--executor-memory 6g
--executor-cores 3
/usr/opt/modules/spark/jar/spark.jar
可以进行分配的资源如表所示：
|
名称
|
说明
|
|
--num-executors
|
配置
Executor
的数量
|
|
--driver-memory
|
配置
Driver
内存（影响不大）
|
|
--executor-memory
|
配置每个
Executor
的内存大小
|
|
--executor-cores
|
配置每个
Executor
的
CPU core
数量
|
