Problemet kom från mysql med /var/tmp som tmpdir, vilket inte är tillräckligt stort för att kopiera tabellen och skapa de nödvändiga indexen. Jag fixade det genom att ändra tmpdir-plats till en plats som innehåller mer utrymme.
först skapade jag katalogen /home/mysql/tmp
mkdir /home/mysql/tmp
sedan ändrade jag ägaren till den katalogen till mysql:mysql
chown mysql:mysql /home/mysql/tmp
sedan stoppade jag mysql-servern
service mysql stop
startade den sedan igen med följande kommando:
service mysql start --tmpdir=/home/mysql/tmp