Du kan använda ISNUMERIC funktion:
select * from table where isnumeric(mycolumn) = 0
Om du tillåter NULL-värden i din kolumn, måste du också lägga till en kontroll för NULL eftersom ISNUMERIC(NULL) utvärderas till 0 också
select * from table where isnumeric(mycolumn) = 0 or mycolumn is not null