Det borde fungera. Har du försökt visa det, vad din CAST(rad SOM DECIMAL) producerar?
Klistra in exempel på data som du försöker sortera. Kanske har du nollor där eller siffror som inte passar in i decimaltyp.
Vilken version av mysql använder du? Kanske är anledningen detta (från mysql hjälp):