Inte riktigt. Ha-satsen innebär en aggregering, vilket innebär att du inte har de ursprungliga raderna längre.
Jag tror att du vill ha följande:
DELETE from UserPredictions
where UserId in (select UserId from UserPredictions group by UserId having count(*) < 500)