需要帮助在aws中设置hadoop群集

Question

我想在aws中设置一个hadoop群集，其总容量大约为100T。如果我按照http://aws.amazon.com/ec2/instance-types/选择aws实例，我没有得到理想的数据节点配置，我想使用本地磁盘（SSD/NON-SSD）作为工作节点。例如，如果我为datanode选择cc2.8xlarge实例，那么对于100T，我将不得不设置30个cc2.8xlarge实例，这将非常昂贵。你能否建议我应该如何在aws（EC2）中使用最少数量的datanodes来配置我的集群，或者在aws中有没有hadoop的标准配置？

Answer 1

这听起来很像您想要考虑的Elastic MapReduce，它是基于Hadoop的核心AWS服务。

http://aws.amazon.com/elasticmapreduce/

您可以指定你的配置和集群将推出适合你 - 不是试图自行配置EC2实例要容易得多。

Answer 2

如果你想自己做Hadoop，那么你使用EBS驱动器。您可以在每个节点上安装一堆驱动器（我记得约为10-20个），每个驱动器可以高达1 TB。

如果你不想自己动手，那么就像monkeymatrix说的那样看看EMR。