MongoDB NodeJS Process slut på minne

Om din MongoDB-server är 2.6 eller nyare skulle det vara bättre att använda skrivkommandon Bulk API som tillåter exekvering av bulk-inlägg operationer som helt enkelt är abstraktioner ovanpå servern för att göra det enkelt att bygga bulkoperationer. Dessa bulkoperationer kommer huvudsakligen i två smaker:

• Beställda massoperationer . Dessa operationer utför alla operationer i ordning och fel vid det första skrivfelet.
• Obeställda massoperationer . Dessa operationer utför alla operationer parallellt och aggregerar alla fel. Oordnade massoperationer garanterar inte utförandeordning.

Observera att för äldre servrar än 2.6 kommer API:et att nedkonvertera operationerna. Det är dock inte möjligt att nedkonvertera 100 %, så det kan finnas vissa kantfall där det inte kan rapportera rätt siffror korrekt.

I ditt fall kan du implementera Bulk API så här:

var MongoClient = require('mongodb').MongoClient;

MongoClient.connect("mongodb://localhost:27017/course", function(err, db) {
    // Handle error
    if(err) throw err;

    // Get the collection and bulk api artefacts
    var col = db.collection('students'),
        types = ['exam', 'quiz', 'homework', 'homework'],
        bulk = col.initializeOrderedBulkOp(), // Initialize the Ordered Batch
        counter = 0;

    // Drop the collection
    col.drop();


    // Representing a long loop with 1 Million Records
    for (var i = 0; i < 1000000; i++) {
        var scores = [],
            class_id = 0,
            record = {};

        // Each student taking 10 classes
        for (var class_counter = 0; class_counter < 10; class_counter ++) {

            // Each Class has 4 grades
            // and each class has 4 grades
            for (var j = 0; j < 4; j++) {
                scores.push({ 'type': types[j], 'score': Math.random()*100 });
            }

            // there are 500 different classes that they can take
            class_id = Math.floor(Math.random() * 501); // get a class id between 0 and 500    

            record['student_id'] = i;
            record['scores'] = scores;
            record['class_id'] = class_id;
        }

        bulk.insert(record);            
        counter++;

        if (counter % 1000 == 0 ) {
            bulk.execute(function(err, result) {  
                // re-initialise batch operation           
                bulk = col.initializeOrderedBulkOp();
            });
        }
    }

    if (counter % 1000 != 0 ){
        bulk.execute(function(err, result) {
            // do something with result
            db.close();
        }); 
    } 
});

-- UPPDATERING --

Kudos till @MarkusWMahlberg, för att du genererar dummy-innehåll kanske du vill prova paketet mgenerate .