s3使用oozie工作流程的服务器加密

Question

我有一个sqoop作业，它将数据写入s3存储桶。如果我从命令行运行这个作业，它将加密s3文件。但是，如果我使用相同的jar文件使用oozie工作流运行sqoop作业，那么它会将数据推送到s3，但不会发生加密。

以下是我的oozie工作流程。

<java> 
     <job-tracker>${jobTracker}</job-tracker> 
     <name-node>${nameNode}</name-node> 
     <main-class>com.aa.datalake.ingest.util.SqoopIngestUtil</main-class> 
     <arg>root</arg> 
     <arg>root</arg> 
     <arg>test</arg> 
    <arg>avro</arg> 
    <arg>sqoop-demo</arg> 
    </java> 
    <ok to="end"/> 
    <error to="email-action" /> 
</action> 

在jar中，我们使用distcp命令将数据从hdfs复制到s3。

那么我怎样才能使用oozie工作流对s3文件进行服务器端加密？

Answer 1

我通过在启动群集之前在EMR群集中启用s3加密解决了上述问题。