Du kan göra så här
DELETE FROM table WHERE id NOT IN ( 2 )
ELLER
DELETE FROM table WHERE id <> 2
Som @Frank Schmitt noterade, kanske du vill vara försiktig med NULL-värdena också. Om du vill radera allt som inte är 2 (inklusive NULL) lägg sedan till OR id IS NULL till WHERE-satsen.