使用EMRFS（s3存储桶）创建EMR 5.3.0作为存储

我正尝试使用EMRFS（S3存储桶）作为存储创建EMR 5.3.0。请提供关于此的一般指导。使用EMRFS（s3存储桶）创建EMR 5.3.0作为存储

我目前使用下面的命令与InstanceType = m4.2xlarge.Which创建EMR 5.3.0工作正常，但EMRFS作为存储我不能做

aws emr create-cluster --name "DEMAPAUR001" --release-label emr-5.3.0 --service-role EMR_DefaultRole_Private --enable-debug --log-uri 's3n://xyz/trn' --ec2-attributes SubnetId=subnet-545e8823, KeyName=XXX --applications Name=Hbase Name=Hive Name=Pig Name=Ganglia --configurations '[{"Classification":"hdfs-site","Properties": {"dfs.replication":"2"},"Configurations":[]}]' --instance-groups 'InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.2xlarge, EbsConfiguration={EbsOptimized=true, EbsBlockDeviceConfigs=[{VolumeSpecification= {VolumeType=io1,SizeInGB=500,Iops=200},VolumesPerInstance=1}]}' 'InstanceGroupType=CORE, InstanceCount=1,InstanceType=m4.2xlarge,EbsConfiguration={EbsOptimized=true, EbsBlockDeviceConfigs=[{VolumeSpecification={VolumeType=io1,SizeInGB=500,Iops=200},VolumesPerInstance=1}]}' --tags Name=DEMAPAUR001 Owner="XXX" Division=Corporate Application=DEM-EMR Environment=TRN CostCenter=XXX123 CreatedBy=XXX ManagedBy=XXX Availability=24x7_Mon-Fri Backup=NA

请帮助我解决这个问题。

来源

2017-02-10 Yushi

启动群集时，可以在配置中使用以下分类。

为使一致的看法

{ “分类”： “emrfs现场”， “属性”：{ “fs.s3.consistent”： “真正的” }}

此外，如果您实际上希望配置单元指向S3并在其中存储所有新文件，则必须将此分类添加到hive-site.xml。

{ “Classification”：“hive-网站”， “属性”：{ “hive.metastore.warehouse.dir”：self.hive_warehouse_dir }}

来源

2017-02-10 09:08:56 Chirag

“这是工作正常，但与EMRFS作为存储我不能做”。用EMRFS作为什么存储？我很困惑你的问题。你究竟想要做什么，发生了什么问题？你是否收到错误信息？ –

使用EMRFS（s3存储桶）创建EMR 5.3.0作为存储

回答

相关问题