Använda en ROW_NUMBER i en CTE låter dig ta bort dubbletter av värden samtidigt som du behåller unika rader.
WITH q AS (
SELECT RN = ROW_NUMBER() OVER (PARTITION BY ID ORDER BY ID )
, ID
, Name
FROM ATable
)
DELETE FROM q WHERE RN > 1