Hadoop的数据流将运行过程中的“本地”模式时,有设备上运行的Hadoop没有实例。我有一个shell脚本按顺序控制一组hadoop流式作业,并且需要将文件从HDFS复制到本地,具体取决于作业是否已在本地运行。有没有一种标准的方法来完成这个测试?我可以做一个“ps aux | grep something”,但这似乎是特设的。如何判断我即将在群集上还是在“本地”模式下运行Hadoop串流作业?
0
A
回答
0
而不是试图在过程运行该模式的运行时间来检测,它可能是更好的包裹要在bash脚本,明确选择本地VS集群operatide开发工具。 O'Reilly的Hadoop的介绍了如何明确选择本地使用配置文件覆盖:
hadoop v2.MaxTemperatureDriver -conf conf/hadoop-local.xml input/ncdc/micro max-temp
其中conf-local.xml
设置为本地操作的XML文件。
0
当箱子上没有运行hadoop实例时,Hadoop流将以“本地”模式运行进程。
你能PL点为这个参考?
定期或流作业的运行它的配置方式,所以我们提前知道其模式的作业运行时间。查看以不同模式在Single Node和Cluster上配置Hadoop的文档。
0
我没有试过,但我认为你可以读出mapred.job.tracker配置设置。
相关问题
- 1. 如何使用Hadoop Streaming在本地Hadoop集群中运行MRJob?
- 2. 如何在群集模式下运行spark,但是在本地执行文件?
- 3. 在Amazon EC2上运行hadoop作业:多节点群集
- 4. 在忙碌时正在写hadoop集群运行map reducer作业
- 5. java.lang.NoClassDefFoundError:上运行Hadoop集群
- 6. 如何判断我的容器是否在Kubernetes集群内运行?
- 7. 如何判断字符串是URL还是本地路径?
- 8. 在Hadoop集群上运行Mahout
- 9. 在Hadoop集群上运行mapreduce jar
- 10. 如何在hadoop集群上运行xgboost进行分布式模型培训?
- 11. 如何以编程方式知道我的火花程序是以本地还是集群模式运行?
- 12. 确定我是在Cloudhub上运行还是在本地运行
- 13. 如何在集群模式下在纱线上并行运行多个点火作业?
- 14. 如何判断在浏览器中还是在NodeJS中运行?
- 15. 如何判断我是否在网络服务器下运行?
- 16. 我的Perl程序如何判断是否在mod_perl下运行?
- 17. oozie实例可以同时在多个hadoop集群上运行作业吗?
- 18. 如何判断应用程序是以32位还是64位模式运行?
- 19. 如何将本地Hadoop群集上的流数据保存到AWS S3
- 20. Hadoop框架模拟本地集群
- 21. 如何判断虚拟机是在服务器还是客户端模式下运行?
- 22. 如何判断PHP是在浏览器下运行还是作为独立脚本被调用
- 23. 如何在共享套接字上运行本地tomcat集群?
- 24. 如何确定我是在本地PC上还是在云上运行?
- 25. 如何判断您是否在运行时以“发布模式”运行
- 26. 如何在集群上运行spark工作远程了解如何在集群上运行spark工作
- 27. 运行在Hadoop(单节点集群)
- 28. 在hadoop集群上安装spark集群
- 29. 如何判断SQL Server是本地还是远程?
- 30. 如何在并行hadoop作业中运行stando hadoop distritbuion 0.20.0