在HDFS中存储Avro文件

Question

我想在HDFS上存储大量数据。我已经能够使用Python生成Avro文件。 Avro是否提供将输出直接存储到HDFS的功能？

Answer 1

Avro是序列化框架，旨在以avro格式存储数据，它没有任何写入HDFS的智能。

您需要使用HDFS API上传/写avros到HDFS，使用类似的东西在Python ，其中srcPath是当地的Avro和dstPath是HDFS

public void uploadToHdfs(String srcPath, String dstPath) throws IOException { 
     FileSystem fs = getFileSystem(); 
     fs.copyFromLocalFile(new Path(srcPath), new Path(dstPath)); 
} 

感谢