公司网站后台怎么上传视频精准营销

Spark是使用shell脚本进行提交

提交任务的几个重要参数

executor-cores —— 每个executor使用的内核数，默认为1，官方建议2-5个
num-executors —— 启动executors的数量，默认为2
executor-memory —— executor内存大小，默认1G
driver-cores —— driver使用内核数，默认为1
driver-memory —— driver内存大小，默认512M

提交样例

spark-submit \
--master local[5]  \
--driver-cores 2   \
--driver-memory 8g \
--executor-cores 4 \
--num-executors 10 \
--executor-memory 8g \
--class PackageName.ClassName XXXX.jar \
--name "Spark Job Name" \
InputPath      \
OutputPath如果这里通过--queue 指定了队列，那么可以免去写--master

原文地址