Hadoop（HDFS） - 文件版本

Question

在给定的时间，我的应用程序中有用户文件系统（apache CMIS）。因为它越来越大，我怀疑转移到hadoop（HDFS），因为我们还需要运行一些统计数据。 问题： 当前文件系统提供文件的版本控制。 当我读到hadoop-HDFS和文件版本控制时，我发现大部分时间我都必须自己编写这个（版本控制）层。 是否已有可用于管理HDFS中文件版本的东西，还是我真的必须亲自编写它（不想重新发明热水，但也找不到合适的解决方案）。

回答

有关详情：见下文

的Hadoop（HDFS）的答案（S）注释不支持的文件版本。将hadoop与（亚马逊）S3结合使用时，您可以获得此功能： Hadoop将使用S3作为文件系统（没有chunck，但恢复将由S3提供）。该解决方案随S3提供的文件版本一起提供。 Hadoop仍将使用YARN进行分布式处理。

Answer 1

HDFS无法进行版本控制。
取而代之，您可以使用Amazon S3，它提供了Versioning，也是compatible与Hadoop。

Answer 2

HDFS支持快照。我认为这与HDFS的“版本控制”非常接近。