2017-10-12 192 views
0

我有需要每天通过AWS s3 CLI拉取的文件。使用AWS CLI拉取特定文件--include

我正在为〜80个文件做这件事,但他们除了我解决的动态日期之外还有静态信息,但现在我们引入一种新类型。 新类型的文件名:

ACR_{{randomInt}}_YYYY_MM_DD_ThiFil.csv

目前我使用一个批处理文件来保存昨天的日期%昨日%,这工作做

aws s3 cp s3://~~~directorystuff/ACR_StaticInfo_%yesterday%_ThiFil.csv C:\localDirStuff~~~\ACR_StaticInfo_%yesterday%_ThiFil.csv

这工作,因为的静态信息。随着randomInt(我也需要在最终文件中存在),我有问题。我知道AWS SLI使用--include来代替缺少通配符功能,但每次尝试时我都会得到一个stream is not seekable

我现在在做什么 - 根本不可扩展 - 我递归地拉整个目录并删除所有不是今天的东西。我讨厌这种方法,它根本不可扩展。

我怎样才能使用AWS CLI来处理我只需要的文件,具体是什么?

注意:randomInt将每周更改,每天将有30-40个不同的,这就是为什么我不能让一个数组过滤通过拉每一个。

更新

我也试过 aws s3 cp C:\localDir\ s3://remoteDir --include "2017-10-12",我仍然得到stream is not seekable

回答