du väljer alla kolumner i den inre frågan och försöker sedan göra %10 , det ger dig ett fel eftersom du inte kan %10 till flera kolumner. Växla den för att välja en kolumn istället.
(SELECT * FROM participants ORDER BY serial DESC LIMIT 0, 1) % 10
väljer flera kolumner och försöker sedan moda det med 10