Bara för sådana som jag, som googlar och försöker hitta en lösning för laravel 5.4 . Du kan använda -> operator för att extrahera JSON, det vill säga json_extract funktion eller till column->"$.key" syntax.
$users->orderBy('column->key', 'desc');
Ser ut som att det skulle vara väldigt användbart i slutet av 2013 (leende).