什么是找到与给定块名称在HDFS块相关联的文件/最简单的方法ID如何从块名称在HDFS Hadoop的发现文件
5
A
回答
11
漫长而痛苦的方式,假设您已经阅读所有的文件访问(和执行的目录):
hadoop fsck/-files -blocks | grep blk_520275863902385418_1002 -B 20
然后扫描备份你的块匹配上一个文件名:
/hadoop/mapred/system/jobtracker.info 4 bytes, 1 block(s): OK
0. blk_520275863902385418_1002 len=4 repl=1
在这种情况下blk_5202 ...是的一部分文件
以编程方式,这些不是名称节点的接口,它允许您通过块ID进行搜索,但可以查看次要名称节点的来源并查看它如何合并编辑 - 然后试验来自辅助名称节点的已保存输出(而不是在活动名称节点文件上工作的风险)。
祝你好运!
5
不知道什么时候这个被介绍,但你可以做到这一点
hdfs fsck -blockId <block_id>
hdfs fsck -blockId blk_1100790203
Connecting to namenode
FSCK started by hdfs
Block Id: blk_1100790203
Block belongs to: /common/FFL1447685899336.txt
相关问题
- 1. HDFS中Hadoop块的概念
- 2. 如何使水槽加载文件为hdfs,hdfs从不关闭文件.tmp并按名称重命名文件。
- 3. 更新hadoop HDFS文件
- 4. 如何从一个HDFS文件中的Hadoop
- 5. HDFS如何在CopyFromLocal中分发新的块或文件
- 6. 如何从HDFS/Hadoop中的数据实现仪表板
- 7. hadoop命令在HDFS上拆分文件
- 8. 在hadoop HDFS中存储大文件?
- 9. Hadoop:在HDFS中压缩文件?
- 10. 如何从终端运行hadoop hdfs testcase
- 11. 如何文件或目录获得存储在Hadoop的HDFS
- 12. 查看hdfs中的文件内容hadoop
- 13. 如何列出在Hadoop的HDFS
- 14. 如何从HDFS获取其名称的最大目录?
- 15. HDFS上的文件块
- 16. 如何使用Ruby在Hadoop HDFS中写入/读取文件?
- 17. 如何在Hadoop HDFS上存储数千个CSV文件
- 18. Hadoop HDFS数据文件:显示数据结点和块
- 19. 从hadoop hdfs数据搜索
- 20. Hadoop HDFS最大文件大小
- 21. Hadoop将本地文件复制到HDFS?
- 22. HDFS块创建
- 23. 关于hadoop hdfs文件系统重命名
- 24. 小文件和HDFS块
- 25. 无法从映射器打开文件HDFS Hadoop的
- 26. HDFS块重启
- 27. Hadoop HDFS备份
- 28. Hadoop hdfs to elastisearch
- 29. HBase + HDFS - 缺少hdfs块
- 30. 从HDFS读取文件时出现MalformedURLException