MySQL ladda data i fil - acceleration?

om du använder innodb och bulkladdning här är några tips:

sortera din csv-fil i primärnyckelordningen i måltabellen:kom ihåg att innodb använder klustrade primärnycklar så att den laddas snabbare om den sorteras!

typisk laddningsdatafil jag använder:

truncate <table>;

set autocommit = 0;

load data infile <path> into table <table>...

commit;

andra optimeringar du kan använda för att öka laddningstiderna:

set unique_checks = 0;
set foreign_key_checks = 0;
set sql_log_bin=0;

dela upp csv-filen i mindre bitar

typisk importstatistik som jag har observerat under bulklaster:

3.5 - 6.5 million rows imported per min
210 - 400 million rows per hour