更新Hadoop中分布式缓存中的缓存文件

Question

我有一小组文件缓存并通过DistributedCache分发到映射减少作业。 缓存的文件将来需要定期更新。我想知道是否可以在不重新启动地图缩减作业的情况下更新缓存的文件。

我阅读了关于跟踪缓存文件的修改时间戳的分布式缓存。当地图缩小作业未使用文件时，这对于更新文件有用吗？

Answer 1

缓存的文件在提交作业时被复制到HDFS，然后在产生M/R任务之前由不同的任务跟踪器本地复制到本地节点。因此，作业运行时，分布式缓存中的文件无法更改。