哪个更快，将文件上传到HDFS或直接创建和写入HDFS文件？

Question

基本上我有一个程序，它将文件上传到HDFS。文件在任务执行结束时上传。所以，会发生的情况是，许多任务同时（在执行结束时）将文件上传到HDFS，从而造成争用。文件大小小于HDFS块（< 64 MB）。我想知道，如果事先创建一个HDFS文件会更快（当任务正在进行一些处理以避免争用时），然后当处理完成时，读取一个字符串中的本地文件的内容，然后追加该字符串已预先创建的HDFS文件。

所以，基本上我的问题是，它有更多的开销，创建一个HDFS文件或附加一个字符串到已经创建的HDFS文件？

Answer 1

我自己测试过这个，并且注意到创建一个HDFS文件几乎与追加它的时间几乎相同。这是假设写入的内容小于HDFS块大小。如果你上传一个HDFS文件，这相当于创建HDFS文件并添加到它，所以这意味着它需要两倍的时间追加到它。