sql >> Databasteknik >  >> RDS >> PostgreSQL

Spark SQL 2.0:NullPointerException med en giltig PostgreSQL-fråga

Jag har ett mycket liknande problem istället med en Teradata-datakälla, och det kom till att kolumnen nullability på DataFrame inte matchade de underliggande data (kolumnen hade nullable=false, men vissa rader hade null-värden i det specifika fältet). Orsaken i mitt fall var att Teradata JDBC-drivrutinen inte returnerade korrekt kolumnmetadata. Jag har ännu inte hittat en lösning på detta.

För att se koden som genereras (inom vilken NPE kastas):

  • importera org.apache.spark.sql.execution.debug.__
  • ringa .debugCodegen() på DataSet/DataFrame

Hoppas detta hjälper.



  1. jquery replacewith för att få data med Ajax efter att ha klickat på en cell

  2. Hur man skapar ett databasdiagram i Access

  3. Hur man gör en DELETE Pass-Through Query i SQL Server

  4. Hur man tar bort arkivloggfiler på AWS RDS Oracle-instans