- Du kan absolut inte blanda versioner av Hadoop-common, hadoop-aws, aws-s3-sdk och jackson från vad allt förväntar sig, annars kommer du att se stackspår.
- Och det är helt öppen källkod, så om du använder alla källkods-JAR lokalt, kommer din IDE att hjälpa dig att hitta vad som orsakar stackspårningen. Det här är vad vi alla gör . Det är inte magiskt, moderna IDE (intellij IDEA) har till och med speciell stackfelsökning.
Den här kommer in eftersom värdet på fs.s3a.multipart.size inställd i hadoop-commons /core-default.xml resursen är 100 miljoner, som kom in med HADOOP-13680
och intervalltolkningshanteringsnummer som "100M" istället för 104857600 . Denna stackspårning säger "Hadoop 2.8+-konfiguration"
Du kan prova att ställa in egenskapen i dina konfigurationer till det numeriska värdet, men det är ett varningstecken på att versioner av JAR:er är osynkroniserade och du kommer förmodligen bara att komma några rader längre innan något annat går sönder.
Fix:se till att hadoop-common.jar och hadoop-aws.jar är synkroniserade. Det verkar som att du har jackson och aws på rad, även om jackson är tillräckligt komplex kan du aldrig ta det för givet.