Använd BINARY nyckelord, som tvingar fram REGEXP att matcha strängen som en binär sträng, vilket görs skiftlägeskänsligt.
SELECT 'a' REGEXP 'A', 'a' REGEXP BINARY 'A';
Även om detta inte uttryckligen angetts i dokumenten (att man kan göra det med en vanlig sträng), enligt min erfarenhet fungerar det som förväntat.