Hur laddar man in 100 miljoner poster i MongoDB med Scala för prestandatestning?

Några tips :

1. Indexera inte din samling innan du infogar , som infogar ändra indexet som är en overhead. Infoga allt och skapa sedan index .

2. istället för "spara", använd mongoDB "batchinsert" som kan infoga många poster i en operation. Så har cirka 5 000 dokument infogade per batch. Du kommer att se anmärkningsvärd prestandavinst .

   se metod #2 för att infoga här, det krävs en mängd dokument för att infoga istället för ett enda dokument. Se även diskussionen i den här tråden

   Och om du vill jämföra mer -

3. Det här är bara en gissning, prova att använda en fördefinierad samling med en fördefinierad stor storlek för att lagra all din data. Begränsad samling utan index har mycket bra insättningsprestanda.