Efter att ha spenderat timmar på att prova alla typer av inställningar i konfigurationsfilerna och starta om mysql dussintals gånger kom jag på detta som verkar lösa problemet (kunde inte hitta detta i någon dokumentation någonstans)
MySQLdb.connect(server, username, password, database, local_infile = 1)