AWS S3 Node.js SDK：需要一次下载一个桶中的所有文件

Question

目前，我可以迭代桶中的所有文件并逐个下载， 使用node.js sdk。 我需要一次下载S3存储桶中的所有文件。然后从桶中删除它。

Answer 1

这种更高级别的节点S3库具有downloadDir函数同步远程S3桶的本地目录。

https://github.com/andrewrk/node-s3-client#clientdownloaddirparams

Answer 2

假设您有一个函数listFiles，它返回要下载的存储区中的密钥数组，以及接受文件密钥（名称）并下载并删除它的函数downloadFile。

你想对listFiles返回的所有文件同时调用downloadFile对不对？使用async库。

function listFiles(cb) { 
    s3.stuff(params, cb); 
} 
function downlaodFile(key, cb) { 
    s3.stuff(key, cb); 
} 
listFiles(function (err, fileKeys) { 
    if (err) { 
     throw err;//don't really but this is just an example 
    } 
    async.each(fileKeys, downloadFile, function done(err) { 
     if (err) { 
      throw err; 
     } 
    }); 
}); 

Answer 3

可以使用下面的命令中使用aws cli：

aws s3 sync s3://yourbucket . 

如果你必须使用node那么你可以使用exec或spwan。

const exec = require('child_process').exec; 
exec('aws s3 sync s3://yourbucket .', (err, stdout, stderr) => {});