Ok, så jag hittade lösningen på mitt problem.
Först installerade jag pg gem med homebrew, som förklaras här :
brew install postgres
Sedan kunde jag inte starta rails-servern, så jag följde denna lösning och körde:
pg_ctl -D /usr/local/var/postgres -l /usr/local/var/postgres/server.log start
Nu fungerar allt.