sql >> Databasteknik >  >> NoSQL >> MongoDB

Spark Mongo-kontakt, MongoShardedPartitioner fungerar inte

Ledsen Jose att höra att du har problem med kontakten.

Information om partitionerare finns på Spark-anslutningsdokumentationswebbplatsen a> . Skicka in en biljett i Docs jira-projektet om du känner att något saknas eller är oklart kan det verkligen hjälpa framtida användare!

Standardpartitioneraren är ett tunt omslag runt MongoSamplePartitioner . Den delar upp en samling i storlekspartitioner baserat på statistiskt urval av samlingen.

MongoShardedPartitioner använder shardKey för att generera partitionerna. Som standard kommer den att använda _id som nyckeln. Du kan behöva konfigurera det värdet.

Obs! Hashade shadkeys är inte stöds av MongoShardedPartitioner eftersom det för närvarande inte finns något sätt att fråga en samling mot det hashade värdet - så när du hämtar partitioner kommer den inte att returnera resultat. Jag har lagt till DOCS-12345 för att uppdatera dokumentationen.

Det verkar som att det finns ett problem i din installation där MongoShardedPartitioner misslyckas med att partitionera samlingen som förväntat och returnerar 0 resultat. Schema slutledning kommer fortfarande att fungera på grund av hur det frågar samlingen. Om det inte är ett config/hashat shardkey-problem, vänligen skicka in ett fel i Spark jira-projektet och jag kan hjälpa dig att identifiera orsaken och släppa en lösning åt dig.




  1. mongo - kunde inte ansluta till server 127.0.0.1:27017

  2. Skaffa en samling och lägg till ett värde till svaret

  3. Får du ett anslutningsfel när du använder redis-trib.rb för att skapa ett kluster?

  4. find({}) returnerar en tom arraymangust