sql >> Databasteknik >  >> NoSQL >> MongoDB

MongoDB:mongoimport tappar anslutningen vid import av stora filer

Jag antar att problemet handlar om prestanda, vilket sätt du kan lösa med:

du kan använda mongoimport option -j . Prova att öka om det inte fungerar med 4. dvs. 4,8,16, beror på antalet kärnor du har i din cpu.

mongoimport --hjälp

-j, --numInsertionWorkers=antal infogningsoperationer som ska köras samtidigt (standard är 1)

mongoimport -d mietscraping -c mails -j 4

eller så kan du dela upp filen och importera alla filer.

Jag hoppas att detta hjälper dig.

tittar lite mer, är det ett fel i någon version https://jira.mongodb.org/browse/TOOLS-939här en annan lösning kan du ändra batchSize, för standard är 10000, minska värdet och testa:

mongoimport -d mietscraping -c mails



  1. Kombinera två Redis-instanser till en enda instans med två dbs

  2. mongodb - Hitta dokument med närmaste heltalsvärde

  3. Redis vs MongoDB

  4. Mongoose, Välj ett specifikt fält med hitta