Det felet antyder att du försöker lägga till en PostgreSQL databas snarare än en PostGIS databas. Du måste lägga till PostGIS-tillägget till databasen med detta kommando:
psql -d yourdatabase -c "CREATE EXTENSION postgis;"
psql -d yourdatabase -c "CREATE EXTENSION postgis_topology;"
Detta gör att du sedan kan lagra geometrier (och geografier) i dina tabeller som GeoServer sedan kan visa som kartlager.