在hadoop中备份源数据文件

Question

我希望每周都会将数据文件转换为AVRO，数据文件格式为XML，Excels，分隔格式。您是否建议在HDFS下以原始格式备份源文件，或在本地文件系统（不是HDFS）下面的文件夹中备份文件。

这些文件来自FTP。

Answer 1

转换过程成功后，由于HDFS托管AVRO文件，因此假设您根据需要设置复制因子，它将负责备份。此时，将源文件保存在HDFS中是不必要的。可能是磁带备份在这一点上是最佳的。