是否有工具可以将目录的内容连续复制到HDFS中？

Question

我尝试使用flume目录后台处理程序源和HDFS接收器。但是这并不符合我的目的，因为这些文件被Flume读取，然后作为可以按大小/时间滚动的部分文件写入HDFS（请纠正我，如果我有这个错误）。

有没有一种工具可以持续执行像HDFS一样的操作，将所有文件放入spool目录中？

Answer 1

，如果我得到你的问题正确，那么你有一个和你得到的文件到它，你想要移动到HDFS该文件没有阅读它，HDFScopyFromLocal将解决你的问题，那么你只需要有一个逻辑可以返回目录中的最近文件并运行CopyFromLocal命令将其复制到HDFS。