Du kan välja varje objekt från Items och LEFT JOIN MyTbl på det vanliga ItemID , räknar matcherna;
select
Items.itemId,
count(MyTbl.itemId) as count
from Items
left join MyTbl on (MyTbl.ItemID = Items.ItemID)
group by Items.itemId
order by Items.itemId