Den här frågan handlar mer om att justera din matematiska formel än något annat.
Det låter som att det du efterfrågar är popularitet, snarare än betyg. Ett enkelt sätt att göra detta kan vara att multiplicera det genomsnittliga betyget med antalet röster. Vad sägs om det här (ursäkta mig om min syntax är avstängd, jag är borta från en SQL-server för tillfället):
select From_ID, AVG(Rating) * COUNT(Rating) AS Rating FROM Ratings Group BY Fruit_IDORDER by Rating DESC
Tänk på att den här formeln skulle betygsätta 1 000 röster av 1 mycket högre än 1 röst av 5.