我可以从自定义web应用程序访问HDFS文件

Question

我有一个要求，我需要设置hadoop来保存文件，而不仅仅是文本文件，它可以是图像视频pdf。并且会有一个Web应用程序，用户可以根据需要添加文件和访问文件。

它可以实现吗？ Web应用程序也需要由我来开发。谢谢。

Answer 1

如果您的应用程序是用Java编写的，那么使用DFS客户端库很容易就可以实现这一点，它可以以类似于标准文件系统的方式在HDFS中读写文件。基本上可以打开输入或输出流并读取任何你想要的数据。

如果您打算使用python构建Web应用程序，那么您可以查看webHDFS，它提供了一个基于HTTP的API来放置和从HDFS获取文件。