sql >> Databasteknik >  >> RDS >> PostgreSQL

Pyspark-anslutning till Postgres-databasen i ipython-anteckningsboken

Jag är inte säker på varför svaret ovan inte fungerade för mig men jag tänkte att jag också kunde dela med mig av vad som faktiskt fungerade för mig när jag körde pyspark från en Jupyter-anteckningsbok (Spark 2.3.1 - Python 3.6.3):

from pyspark.sql import SparkSession
spark = SparkSession.builder.config('spark.driver.extraClassPath', '/path/to/postgresql.jar').getOrCreate()
url = 'jdbc:postgresql://host/dbname'
properties = {'user': 'username', 'password': 'pwd'}
df = spark.read.jdbc(url=url, table='tablename', properties=properties)


  1. Returnera booleskt värde som TRUE eller FALSE i Select (PostgreSQL/pgAdmin)

  2. Hur mycket snabbare är tidsstämpel än datetime-kolumnen i MySQL?

  3. Sortera poster från PostgreSQL med flera decimaler (.)

  4. Hur man ställer in teckenuppsättningen och sorteringen av en kolumn i MySQL