MYSQL välj slumpmässigt av var och en av kategorierna

Om du har två kategorier (som i din fråga), är det enklaste sättet i MySQL att använda union all :

(select * from t_shop where category = 1 order by rand() limit 5)
union all
(select * from t_shop where category = 2 order by rand() limit 5)