2017-08-30 194 views
0

当我为AWS Glue服务创建S3 VPC端点以从Redshift集群卸载数据时,ETL作业仅在VPC端点策略设置为“完全访问”时起作用。AWS Glue S3 VPC端点策略问题

{ 
    "Statement": [ 
     { 
      "Action": "*", 
      "Effect": "Allow", 
      "Resource": "*", 
      "Principal": "*" 
     } 
    ] 
} 

策略时,设置为“自定义”,如下修改它不工作。

{ 
    "Statement": [ 
     { 
      "Action": "*", 
      "Effect": "Allow", 
      "Resource": ["arn:aws:s3:::examplebucket", 
        "arn:aws:s3:::examplebucket/*"], 
      "Principal": "*" 
     } 
    ] 
} 

在ETL工作中,我已指定examplebucket为保存ETL脚本和临时文件的位置,所以我觉得很难理解为什么只有当政策设置为自定义的ETL作业失败。 Glue是否尝试访问除作业中指定存储桶之外的另一个S3资源?

回答

0

胶水作业还需要以下内容: 1. S3中的临时目录。 2.在S3中存储生成的Python脚本的位置。

例如,如果未指定脚本位置;胶自动选择以下位置“s3:// aws-glue-scripts-YourAccountId-us-east-1 /”

确保您的IAM角色策略反映了您选择的s3位置。