Sqoop on Dataproc kan inte exportera data till Avro-format

Problemet kan vara i olika Avro-versioner i Dataprocs Hadoop (Avro 1.7.7) och Sqoop 1.4.7 (Avro 1.8.1).

Du kanske vill försöka nedgradera Sqoop till 1.4.6 som beror på Avro 1.7 och använda avro-tools-1.7.7.jar under inlämning av jobb.

Redigerad:

För att lösa problem med klassladdning måste du ställa in mapreduce.job.classloader=true när du skickar Dataproc-jobb:

gcloud dataproc jobs submit hadoop --cluster=<CLUSTER_NAME> \
    --class=org.apache.sqoop.Sqoop \
    --jars=gs://<BUCKET>/sqoop-1.4.7-hadoop260.jar \
    --properties=mapreduce.job.classloader=true \
    -- \
    . . .