Ett riktigt enkelt sätt att göra detta är att lägga till en UNIQUE index på de 3 kolumnerna. När du skriver ALTER inkludera IGNORE nyckelord. Som så:
ALTER IGNORE TABLE jobs
ADD UNIQUE INDEX idx_name (site_id, title, company);
Detta kommer att ta bort alla dubblettrader. Som en extra fördel, framtida INSERTs som är dubbletter kommer att felas. Som alltid kanske du vill ta en säkerhetskopia innan du kör något sånt här...