Jag skulle först och främst fråga varför du har en varchar-kolumn som måste behandlas som numerisk, men strunt i det.
Du kan använda extra
queryset-metod för att konvertera din sträng:
MyTable.objects.extra(select={'int_name': 'CAST(t.name AS INTEGER)'},
order_by=['int_name'])