Du har förmodligen fel sökväg för --with-pg-config , kontrollera om det faktiskt finns där.
Du kan hitta rätt sökväg till pg_config med:
find /Applications -name pg_config
I den senaste Postgres.app-versionen är sökvägen:
gem install pg -- --with-pg-config=/Applications/Postgres.app/Contents/Versions/9.5/bin/pg_config