如何在非Java客户端从HDFS读取文件

Question

因此，我的MR作业生成一个报告文件，并且该文件需要能够由需要点击普通网页上的按钮的最终用户下载报告界面，并让它下载输出。根据this O'Reilly book excerpt，有一个HTTP只读接口。它表示它基于XML，但它似乎只是一个普通的Web界面，旨在通过Web浏览器进行查看，而不是通过编程方式查询，列出和下载的内容。我唯一的办法是编写自己的基于servlet的界面吗？或者执行hadoop cli工具？

Answer 1

通过使用Trift以编程方式从Java以外的其他程序访问HDFS的方式。 HDFS源代码树中包含多种语言（Java，Python，PHP，...）的预生成客户端类。

见http://wiki.apache.org/hadoop/HDFS-APIs

Answer 2

恐怕你可能不得不与CLI AFAIK解决。

不知道它是否适合您的情况，但我认为将作业结束后执行hadoop dfs -get ...的任何脚本发送到已提供的已知目录将是合理的。

对不起，我不知道更简单的解决方案。