我正在编写映射器,并想知道是否可以获取映射器正在运行的nodename。HADOOP - 获取映射器内的nodename
1
A
回答
3
Hadoop会自动将您的MapReduce程序移动到您的数据所在的位置,因此我认为您可以仅使用getHostName()(如果您使用的是Java),并且它应该返回程序运行的节点的名称。
java.net.InetAddress.getLocalHost().getHostName();
如果您使用其他语言如Python和Ruby等(即使用HadoopStreaming),同样的想法,所以你应该能够使用可用相应的函数/法在这些语言也是如此获取主机名称。
0
的配置值fs.default.name
很可能会给你一个网址名称节点,如果你拿到的文件系统(Filesystem.get(conf)
)的情况下,你应该能够调用getUri()
方法来获取相同的信息。
相关问题
- 1. 获取Hadoop映射器类中的输入路径
- 2. HADOOP:从映射器发射矩阵
- 3. Hadoop递归映射
- 4. Hadoop映射器/还原器重用
- 5. Hadoop流式缩减器映射器
- 6. 如何从映射器或Reducer中获取Hadoop任务跟踪器信息
- 7. Hadoop映射器上下文对象
- 8. hadoop映射器静态初始化
- 9. hadoop mapreduce只执行一个映射器
- 10. 将参数传递给Hadoop映射器
- 11. 从内存中获取grails url映射
- 12. 如何让hadoop映射器读取整个句子
- 13. Python + SQLAlchemy:从InstrumentedList获取映射器类?
- 14. ElasticSeach映射获取错误
- 15. 无法获取映射
- 16. Hadoop - 映射器没有发射任何东西
- 17. 的Hadoop的map-reduce映射编程
- 18. 如何获取jquery中div标签内的所有nodeName?
- 19. 在Hadoop中为多个映射器配置映射端加入Map/Reduce
- 20. 只有一个映射器的组合器,在hadoop中有两个映射器的情况下
- 21. Hadoop的:一个值(爪哇)的(键,值)的映射器
- 22. 如何告诉hadoop要分配给单个映射器工作的内存量?
- 23. 部分取消映射Win32内存映射文件
- 24. 设置输入分割不工作的映射器的Hadoop数
- 25. Hadoop将数据从映射器减少到组合器
- 26. Hadoop映射器和减速器值类型不匹配错误
- 27. 读取hadoop映射中的excel文件reduce
- 28. Hadoop映射器从2个不同的源输入文件中读取
- 29. hadoop mapreduce映射器从文本文件中读取不正确的值
- 30. 多次输入到hadoop中的映射器