AWS数据管道访问S3

Question

我正在使用AWS Data Pipeline将文件从S3复制到AWS Redshift表中。在S3上的文件夹结构如下：

s3://test/folderA 
s3://test/example=01 
s3://test/example=02 
s3://test/example=03 
s3://test/example=04 

我希望能够给所有文件复制在“例如= ##”文件夹，但不是“folderA”

任何想法怎么办这个？ Data Pipeline中的正则表达式似乎不起作用。

Answer 1

数据管道调用Redshift COPY命令将S3文件加载到Redshift中。 S3路径可以只是你想要的文件的前缀。你可以看看这里的文档：http://docs.aws.amazon.com/redshift/latest/dg/t_loading-tables-from-s3.html

如果你想写自己的Redshift COPY命令，你可以对Redshift连接使用SqlActivity。 https://github.com/awslabs/data-pipeline-samples/tree/master/samples/SQLActivityWithTimeout

Answer 2

如果有很多的文件，好像是一个清单文件是最好的选择： http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-s3datanode.html

如果只有几个文件，我会用一个表达式为S3文件名：http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-pipeline-expressions.html 与用户定义的字段。用不同的值创建多个按需管道执行。