如何在EC2-S3或EBS实例上安装Cloudera Hadoop集群？

Question

如何在EC2-S3或EBS实例上设置Cloudera Hadoop集群？ 我有一个具有EBS存储的EC2实例之一的Cloudera Manager。当我从Cloudera Manager开始创建Hadoop集群时，它会根据您指定的节点数量开始创建新的EC2实例。它会请求实例，但问题是它会生成“实例存储”实例。

如何提供已有的具有EBS或S3存储的实例？

任何想法？

Answer 1

这是由设计：

为什么Cloudera的经理宁愿实例存储支持在EBS背 的AMI？尽管EBS卷提供持久性存储，但它们是网络连接的 ，并且对每个I/O请求收费，因此它们不适用于Hadoop部署的 。如果您希望试用EBS支持的 实例，则始终可以使用自定义EBS AMI。

source

Answer 2

的Hadoop提供的方式来阅读和EBS的情况下写在S3和EBS两个数据，你只需要安装在您的实例在磁盘和Hadoop中使用它。

但是在S3的情况下，会有一些额外的步骤，以提供访问键和Secrate关键通过fs.s3n.awsAccessKeyId和fs.s3n.awsSecretAccessKey核心-site.xml中和HDFS使用属性到Hadoop的-site.xml如下

<property> 
    <name>fs.s3n.awsAccessKeyId</name> 
    <value>Access Key</value> 
    </property> 
    <property> 
    <name>fs.s3n.awsSecretAccessKey</name> 
    <value>Secret key</value> 
    </property> 

提那么设置这一项下可以做后：

hadoop fs -ls s3n://Bucket_Name/ 

，这将打印在您的S3存储桶的可用文件夹。