Svaret är ett RawSQL-uttryck;
queryset.annotate(value = RawSQL("(jsonfield->%s)", ('key_name',)))
queryset.values('value')
Det första argumentet till RawSQL är som en mallsträng, kommer det andra argumentet att fylla i det förstas %s
UPPDATERING:tydligen stöder Django 2.1+ nu mitt ursprungliga förväntade beteende;
queryset.values('jsonfield__key_name')