sql >> Databasteknik >  >> NoSQL >> MongoDB

Snabbaste sättet att radera över 100 miljoner dokument med ID

Eftersom vi inte har råd med driftstopp och lösningen ska köras dagligen (om än i mycket mindre skala, eftersom vi kommer ikapp med den här första körningen) kunde jag inte använda Salvador Dalis lösning. Det slutade med att jag grupperade mina poster som skulle raderas i grupper om 1k och skickade ett BulkWrite-kommando som innehöll en delete() operation för varje post. Parallellt skickade jag n BulkWrite-kommandon för att omintetgöra referenser till varje post, där n är antalet samlingar som refererar till posterna och där varje BulkWrite-begäran har 1k individuella update() operationer, liknande delete() . Detta fungerade ganska snabbt så jag försökte inte optimera ytterligare genom att justera antalet operationer i BulkWrite-kommandona.



  1. MongoDB-sökning när främmande fält är en array

  2. Python och MongoDB:Ansluter till NoSQL-databaser

  3. MongoError:ns hittas inte när du försöker avbryta samlingen

  4. Heroku:Bakgrundsuppgifter i Python med RQ