将以纱线客户端模式提交作业并提交spark-submit。属性文件AA.conf位于$ current_dir内。使用配置文件提交作业
(1)AA_With_All_Jars.jar将被复制到所有节点? (2)AA.conf将被复制到所有节点? (3)如果输出文件生成为$ current_dir/data,它将工作吗?
如果将模式更改为纱群,会发生什么情况?一样吗?
spark-submit \
--conf "spark.driver.extraClassPath=$current_dir/AA_With_All_Jars.jar" \
--class "MyMain" \
--master yarn-client \
--num-executors 4 \
--driver-memory 16g \
--executor-cores 10 \
--executor-memory 6g \
$current_dir/AAA-assembly.jar $current_dir T-2 2>&1 | tee ./my_log
感谢