Du måste hitta senaste datum för varje kategori i en underfråga, gå med i denna underfråga till din tabell och beställ efter 3 fält:
SELECT p.* FROM products p
JOIN
( SELECT category_id, MAX(date) as category_date FROM products
GROUP BY category_id ) pg
ON p.category_id = pg.category_id
ORDER BY pg.category_date DESC, p.category_id, p.date DESC