读取AWS S3存储使用节点文件FS

Question

我试图读取使用

fs.readFile(file, function (err, contents) { 
    var myLines = contents.Body.toString().split('\n') 
}) 

我已经能够下载和使用节点aws-上传文件的文件是在AWS S3存储桶sdk，但我对如何简单阅读并解析内容感到茫然。

下面是我如何从S3读取该文件的例子：

var s3 = new AWS.S3(); 
var params = {Bucket: 'myBucket', Key: 'myKey.csv'} 
var s3file = s3.getObject(params) 

Answer 1

你有几个选项。您可以包含一个回调作为第二个参数，该参数将被任何错误消息和对象调用。这example是直接从AWS文档：

s3.getObject(params, function(err, data) { 
    if (err) console.log(err, err.stack); // an error occurred 
    else  console.log(data);   // successful response 
}); 

或者，您可以将输出转换成流。另外还有AWS文档中的example：

var s3 = new AWS.S3(); 
var params = {Bucket: 'myBucket', Key: 'myImageFile.jpg'}; 
var file = require('fs').createWriteStream('/path/to/file.jpg'); 
s3.getObject(params).createReadStream().pipe(file); 

Answer 2

这将做到这一点：

new AWS.S3().getObject({ Bucket: this.awsBucketName, Key: keyName }, function(err, data) 
{ 
    if (!err) 
     console.log(data.Body.toString()); 
}); 

Answer 3

因为你似乎要处理的S3文本文件行由行。下面是使用标准的readline模块和AWS” createReadStream（）

const readline = require('readline'); 

const rl = readline.createInterface({ 
    input: s3.getObject(params).createReadStream() 
}); 

rl.on('line', function(line) { 
    console.log(line); 
}) 
.on('close', function() { 
}); 

Answer 4

这里是我用以检索和从S3解析JSON数据的例子的节点版本。

var params = {Bucket: BUCKET_NAME, Key: KEY_NAME}; 
    new AWS.S3().getObject(params, function(err, json_data) 
    { 
     if (!err) { 
     var json = JSON.parse(new Buffer(json_data.Body).toString("utf8")); 

     // PROCESS JSON DATA 
      ...... 
    } 
    }); 

Answer 5

我想不出为什么呢，但createReadStream/pipe做法并没有为我工作。我试图下载一个大的CSV文件（300MB +），我得到了重复的行。这似乎是一个随机问题。每次尝试下载最终文件大小都会有所不同。

最后我用另一种方式的基础上，AWS JS SDK examples：

var s3 = new AWS.S3(); 
var params = {Bucket: 'myBucket', Key: 'myImageFile.jpg'}; 
var file = require('fs').createWriteStream('/path/to/file.jpg'); 

s3.getObject(params). 
    on('httpData', function(chunk) { file.write(chunk); }). 
    on('httpDone', function() { file.end(); }). 
    send(); 

这样一来，它的工作就像一个魅力。

Answer 6

从S3非常大的文件下载时，我有完全相同的问题。

从AWS文档中的示例解决方案是行不通的：

var file = fs.createWriteStream(options.filePath); 
     file.on('close', function(){ 
      if(self.logger) self.logger.info("S3Dataset file download saved to %s", options.filePath); 
      return callback(null,done); 
     }); 
     s3.getObject({ Key: documentKey }).createReadStream().on('error', function(err) { 
      if(self.logger) self.logger.error("S3Dataset download error key:%s error:%@", options.fileName, error); 
      return callback(error); 
     }).pipe(file); 

虽然这种解决方案将工作：

var file = fs.createWriteStream(options.filePath); 
    s3.getObject({ Bucket: this._options.s3.Bucket, Key: documentKey }) 
    .on('error', function(err) { 
     if(self.logger) self.logger.error("S3Dataset download error key:%s error:%@", options.fileName, error); 
     return callback(error); 
    }) 
    .on('httpData', function(chunk) { file.write(chunk); }) 
    .on('httpDone', function() { 
     file.end(); 
     if(self.logger) self.logger.info("S3Dataset file download saved to %s", options.filePath); 
     return callback(null,done); 
    }) 
    .send(); 

的createReadStream尝试只是不火的end，close或error回调一些原因。关于这个请看here。

我使用的解决方案也为档案写下来gzip的，因为第一个（AWS实例）不会在这种情况下工作，要么：

 var gunzip = zlib.createGunzip(); 
     var file = fs.createWriteStream(options.filePath); 

     s3.getObject({ Bucket: this._options.s3.Bucket, Key: documentKey }) 
     .on('error', function (error) { 
      if(self.logger) self.logger.error("%@",error); 
      return callback(error); 
     }) 
     .on('httpData', function (chunk) { 
      file.write(chunk); 
     }) 
     .on('httpDone', function() { 

      file.end(); 

      if(self.logger) self.logger.info("downloadArchive downloaded %s", options.filePath); 

      fs.createReadStream(options.filePath) 
      .on('error', (error) => { 
       return callback(error); 
      }) 
      .on('end',() => { 
       if(self.logger) self.logger.info("downloadArchive unarchived %s", options.fileDest); 
       return callback(null, options.fileDest); 
      }) 
      .pipe(gunzip) 
      .pipe(fs.createWriteStream(options.fileDest)) 
     }) 
     .send();