emrfs是否支持s3 url中的自定义查询参数？

Question

是否可以在s3 url中添加客户查询参数？

我们想一些自定义元数据添加到S3对象，但希望它是透明的EMRFS

喜欢的东西：

S3：//桶名称/对象的名称X -amz-meta标记=魔法标记

那么在我们PySpark或Hadoop的工作，我们希望这样写：

data.write.csv（'S3：//桶名称/对象的名称？x-amz-meta-tag = magic-tag'）

在emrfs上尝试这样做，表明它将“object-name？x-amz-meta-tag = magic-tag”视为整个对象名称，而不是忽略查询参数。

Answer 1

我不能说闭源EMRFS，但对于ASF s3连接器，答案是“否”。有趣的建议，但;也许你应该考虑把它提交给ASF。当然，这增加了一个新问题：如果现有用户正在创建文件，那该怎么办？在他们的名字 - 如何保持兼容性。