Du kan gå med i en härledd tabell som innehåller det sammanlagda värdet för varje gruppering av b
select * from mytable t1
join (
select avg(a), b
from mytable
group by b
) t2 on t2.b = t1.b
eller med en underfråga
select *, (select avg(a) from mytable t2 where t2.b = t1.b)
from mytable t1
frågan är taggad både mysql och psql, så jag är inte säker på vilken db du använder. Men på postgres kan du använda fönsterfunktioner
select *, avg(a) over (partition by b)
from mytable