Om du inte (uttryckligen) vill använda temporära tabeller kommer detta att fungera:
SELECT id FROM (
(SELECT 1 AS id) UNION ALL
(SELECT 2 AS id) UNION ALL
(SELECT 3 AS id) UNION ALL
(SELECT 4 AS id) UNION ALL
(SELECT 5 AS id)
) AS list
LEFT JOIN users USING (id)
WHERE users.id IS NULL
Den är dock ganska ful, ganska lång, och jag är tveksam till hur den skulle fungera om listan med ID är lång.