Varför sparar du inte det totala antalet röster för varje kommentar? Öka/minska detta när en ny omröstning har skett.
Sedan måste du kontrollera om användaren har röstat specifikt för denna kommentar för att endast tillåta en röst per kommentar och användare.