Jag hade exakt det här problemet med mysql/mariadb och fick STOR ledtråd av den här frågan
Så ditt pyspark-kommando bör vara:
pyspark --conf spark.executor.extraClassPath=<jdbc.jar> --driver-class-path <jdbc.jar> --jars <jdbc.jar> --master <master-URL>
Se också efter fel när pyspark startar som "Varning:Lokal burk ... finns inte, hoppar över." och "ERROR SparkContext:Jar not found at ...", dessa betyder förmodligen att du har stavat sökvägen fel.