Din användning av --packages argumentet är fel:
--packages com.mongodb.spark:hdfs:///user/liac/package/jars/mongo-spark-connector_2.11-1.0.0-assembly.jar:1.0.0
Det måste vara i form av groupId:artifactId:version som resultatet antyder. Du kan inte använda en URL med den.
Ett exempel på att använder mongoDB med spark med det inbyggda arkivstödet:
$SPARK_HOME/bin/spark-shell --packages org.mongodb.spark:mongo-spark-connector_2.11:1.0.0
Om du insisterar på att använda din egen burk kan du tillhandahålla den via --repositories . Argumentets värde är
I ditt fall kan det till exempel vara
--repositories hdfs:///user/liac/package/jars/ --packages org.mongodb.spark:mongo-spark-connector_2.11:1.0.0