[Node.js]通过本机驱动程序循环插入1000000个文件到mongodb，为什么节点占用大量内存？

Question

我使用下面的代码循环插入1000000文件到mongodb，但我发现节点进程占用大量内存，我的客户端已经死亡。

db.collection("batch_insert", function (err, collection) { 
    if (!err) { 
     var count = 0; 
     for (var i = 0; i < 1000000; i++) { 
      collection.insert({hello:'world', ok:'OKOKOK'}, {safe:true, serializeFunctions:false}, function (err, result) { 
       count++; 
       if (1000000 == count) { 
        db.close(); 
       } 
      }); 
     } 
    } else { 
     console.log(err); 
    } 
}); 

Answer 1

与其他数据库一样，mongodb需要一些时间来处理请求。你向它投掷了一百万个请求，并且由于你的代码块中没有任何内容，这意味着在任何时候都有一大堆请求会在某个地方排队（最有可能在多个地方，其中一些位于驱动程序的内部代码，其他节点的事件循环内）。这需要超过一点点的记忆。

如果排队没有发生，你可以阻止或放弃一些请求。有没有这样的免费午餐。

Answer 2

您的for周期会阻止事件循环。并且它不能去nextTick并处理查询结果，直到所有查询发送到mongodb。您需要使用异步方式批量插入数据。 类似这样的：

var mongo = require('mongodb'); 

var Inserter = function (collection) { 
    this.collection = collection; 
    this.data = []; 
    this.maxThreads = 6; 
    this.currentThreads = 0; 
    this.batchSize = 5000; 
    this.queue = 0; 
    this.inserted = 0; 
    this.startTime = Date.now(); 
}; 

Inserter.prototype.add = function(data) { 
    this.data.push(data); 
}; 

// Use force=true for last insert 
Inserter.prototype.insert = function(force) { 
    var that = this; 
    if (this.data.length >= this.batchSize || force) { 
     if (this.currentThreads >= this.maxThreads) { 
      this.queue++; 
      return; 
     } 
     this.currentThreads++; 
     console.log('Threads: ' + this.currentThreads); 
     this.collection.insert(this.data.splice(0, this.batchSize), {safe:true}, function() { 
      that.inserted += that.batchSize; 
      var currentTime = Date.now(); 
      var workTime = Math.round((currentTime - that.startTime)/1000) 
      console.log('Speed: ' + that.inserted/workTime + ' per sec'); 
      that.currentThreads--; 
      if (that.queue > 0) { 
       that.queue--; 
       that.insert(); 
      } 
     }); 
    } 
}; 

var db = new mongo.Db('test', new mongo.Server('localhost', 27017, {}), {native_parser:false}); 
db.open(function(err, db) { 
    db.collection('test', function(err, collection) { 
     var inserter = new Inserter(collection); 
     setInterval(function() { 
      for (var i = 0; i < 5000; i++) { 
       inserter.add({test:'test'}); 
      } 
      inserter.insert(); 
     }, 0); 
    }); 
});