Hur tar man bort dubbletter av objekt i MySQL med en datauppsättning på 20 miljoner rader?

Du kan prova detta:

ALTER IGNORE TABLE my_tablename ADD UNIQUE INDEX idx_name (text1 , text2);

dvs försök att lägga till UNIQUE INDEX till dina kolumner och alter bordet

Detta har en fördel att det inte heller i framtiden kommer att finnas några dubbletter av rader som du kan infoga i din tabell