Jag hittade ett svar på detta. Det är dock väldigt enkelt.
Jag använder normalt snabbexport och sparar tabellen i CSV-format.
Nu istället för att exportera den i CSV, om jag exporterade den i excel-format, visas den arabiska texten :). Jag vet inte varför det hände men det fungerade.
Skriv gärna om du vet något bättre svar. Tack :)