Jag är inte säker på varför svaret ovan inte fungerade för mig men jag tänkte att jag också kunde dela med mig av vad som faktiskt fungerade för mig när jag körde pyspark från en Jupyter-anteckningsbok (Spark 2.3.1 - Python 3.6.3):
from pyspark.sql import SparkSession
spark = SparkSession.builder.config('spark.driver.extraClassPath', '/path/to/postgresql.jar').getOrCreate()
url = 'jdbc:postgresql://host/dbname'
properties = {'user': 'username', 'password': 'pwd'}
df = spark.read.jdbc(url=url, table='tablename', properties=properties)