访问Amazon EMR中的Azure blob存储

Question

我想从Amazon EMR中的Spark群集设置访问Azure blob存储中的大量数据（〜20 TB）。做这个的最好方式是什么？将这些数据转移到S3是唯一的选择吗？如果是，那么将这些数据传输到S3的最便宜方式是什么？

谢谢！

Answer 1

根据您的描述，您有大约20TB的数据要传输到Amazon S3。我对亚马逊并不熟悉。但在Azure中，我们将收取数据传输费用。这里是pricing site。例如，你需要每GB 0.08美元。 20 * 1024 * 0.08 = 1638.4美元。这非常贵。我建议你考虑其他方法。如果您根本不关心金钱，请尝试在Google中搜索工具或编写自己的代码来传输这些数据。