如何筛选S3文件作为Amazon EMR的输入？

Question

我正在尝试运行将在S3存储桶中处理CloudFront日志的Amazon EMR Hadoop过程。由于CloudFront在同一个存储桶中生成大量日志，因此如何过滤日志文件而不会为S3访问生成额外的带宽？

Answer 1

我发现我可以用FileSystem.globStatus()快速从CloudFront的过滤文件记录斗：

FileSystem fs = new Path("s3://logs").getFileSystem(conf); 
for (FileStatus fileStatus: fs.globStatus("s3://logs/prefix-2015-11-01*")) { 
    if (fileStatus.isFile()) { 
     FileInputFormat.addInputPath(myJob, fileStatus.getPath()); 
    } 
}