Jag kom på svaret på min fråga. Detta var ett kompatibilitetsproblem med Mongo-Spark-kontakten och versionen av Spark som jag uppgraderade till. Specifikt ändrades värdet findTightestCommonTypeOfTwo i PR:
https://github.com/apache/spark/pull/16786/files
För Spark 2.2.0 är den kompatibla Mongo-Spark-kontakten också 2.2.0, så i mitt exempel skulle paketet laddas så här:
--packages org.mongodb.spark:mongo-spark-connector_2.11:2.2.0\
Detta kan ändras i framtiden, så när du använder kontakten bör du kontrollera kompatibilitet med den version av Spark som används.