Stötte på detta med AWS Glue och Postgres. Det fanns en bugg i Spark 2.1.0 som fixade det för de flesta, men någon postade en lösning i kommentarerna om att använda en alternativ för anpassat schema .
Jag hade ett liknande problem med AWS Glue och Spark SQL:Jag beräknade ett valutabelopp så resultatet blev ett flytande. Lim gav felet Decimal precision 1 exceeds max precision -1 även om Glue Data Catalog definierade kolumnen som en decimal. Tog en sida från ovanstående customSchema-lösning genom att uttryckligen casta kolumnen som NUMERIC(10,2) och Spark slutade klaga.