Q
远程运行火花作业
2
A
回答
-1
检查从以下网址火花主主机名的火花集群:如果运行良好 去机器从要启动作业 (>>这款机器还应该安装了火花库提交作业并) 从你的机器打这个命令 火花提交--class --jars --master火花://:7077的.jar
2
从代码编程提交申请星火,而不是使用提交脚本,您将需要创建一个SparkContext
。
这里是Java API SparkContext
要进一步配置的情况下你提供给它一个SparkConf
相匹配的配置页面上输入该值:Configuration
您的群集需要你的代码的副本将在其类路径中提交给它。有多种方法可以执行此操作,您可以手动在集群上管理它,或者使用setJars
方法将它传递到SparkConf
。
从Spark 1.3.1开始,每个JVM一次只能创建1 SparkContext
。所以如果你想从同一个JVM提交并发应用程序,你需要正确地管理这个共享资源。
相关问题
- 1. 在具有多个动作的火花应用程序(作业)中重新运行失败的火花作业
- 2. 如何启动并行火花作业?
- 3. rdd.checkpoint跳过火花作业
- 4. 如何在HD Insights(YARN)上永久运行火花流作业?
- 5. 如何设置长时间运行的火花流作业
- 6. 如何远程运行mapreduce作业
- 7. 运行Hbase远程导入TSV作业
- 8. 运行过程中出现一些火花作业同时从驱动
- 9. 作业使用的执行程序的火花数量
- 10. 如何杀死火花应用的火花作业?
- 11. 远程执行Hudson作业
- 12. 运行火花应用
- 13. 运行火花外壳
- 14. 火花斯卡拉运行
- 15. GC减慢火花作业至停止
- 16. 火花流作业性能改进
- 17. 无法在本地使用sbt运行火花作业,但在IntelliJ中工作
- 18. 火花独立群集,在一个执行器上运行的作业
- 19. kafka带有许多活动作业的火花流作业
- 20. 为什么行数计算作业在火花外壳中的运行速度比mapreduce作业慢
- 21. 在生产中永远运行火花流式传输
- 22. Resque远程作业
- 23. 使用数据管道进行火花作业的EMR活动
- 24. 提交星火作业未加载火花cloudant:2.0.0-s_2_11包
- 25. 运行远程触发作业时的模仿
- 26. Laravel Queue Worker,RabbitMQ和正在运行的作业远程生成
- 27. 运行火花microbenchmarks使用sbt
- 28. 的火花运行的总S3数据
- 29. 如何运行的火花应用
- 30. 栈()的火花SQL - 运行时异常
你的意思是“启动Spark作业远程”?通过SSH连接到您的Spark Cluster并调用spark-submit脚本不够吗?你可以通过编程来完成相同的步骤! – emecas 2014-09-14 12:07:28
我在其他主机的主机“A”和CDH群集上有一些Web服务。我想通过服务器“A”中的某些API运行作业,而不使用spark-submit命令。有可能的? – mgurov 2014-09-15 09:33:15
看起来像你需要https://github.com/spark-jobserver/spark-jobserver – 2015-02-02 22:26:41