Hur kan jag lägga till en kolumn som inte tillåter nollvärden i en Postgresql-databas?

Du måste ange ett standardvärde.

ALTER TABLE mytable ADD COLUMN mycolumn character varying(50) NOT NULL DEFAULT 'foo';

... some work (set real values as you want)...

ALTER TABLE mytable ALTER COLUMN mycolumn DROP DEFAULT;