如何在我的系统上创建类似Amazon EC2的环境？

Question

我有这个hadoop项目，其他人编码（链接）。我有来源。我想在我的集群上实现这个（基本上是3个Ubuntu机器）。但提及项目在EC2平台上运行（使用Cloudera发行版）。

那么，我应该在我的系统上安装什么，以使其具有运行这样的项目的软件？

我想到了Oracle Java的Cloudera Manager。

Answer 1

如果该项目与cloudera发行（不与EMR），您可以安装cloudera，它应该没事。只有角落我可以预料会有问题 - 如果s3被用作文件系统。
如果该项目确实对s3有效，你有两种方法：
a）尝试将s3替换为hdfs和所有文件名/路径，并且它也应该正常工作（如果它们是硬编码的）。
b）安装OpenStack的Swift，它是S3的开源替代品，然后尝试在其上运行Hadoop。披露：我参与了在Swift上运行hadoop的项目。 https://github.com/Dazo-org/swift