sql >> Databasteknik >  >> NoSQL >> MongoDB

Distribuerad officiell Mongodb Kafka Source Connector med flera uppgifter fungerar inte

Det verkar vara beteendet hos Official MongoDB Kafka Source Connector. Detta är svaret jag fick på ett annat forum från Ross Lawley (MongoDB-utvecklare):

Före 1.2.0 stöddes endast en uppgift av sink-anslutningen. Källanslutningen stöder fortfarande bara en enskild uppgift, det beror på att den använder en enda Change Stream-markör. Detta räcker för att titta på och publicera ändringar klusterbrett, databasbrett eller ner till en enda samling.

Jag skaffade den här biljetten:https://jira.mongodb.org/browse/KAFKA-121 Fick följande svar:Källkontakten kommer bara att producera en enda uppgift. Detta är designat eftersom källanslutningen backas upp av en förändringsström. Ändringsströmmar internt använder samma data som används av replikeringsmotorn och bör därför kunna skalas som databasen gör. Det finns inga planer på att tillåta flera markörer, men skulle du känna att detta inte uppfyller dina krav, kan du konfigurera flera kontakter och var och en skulle ha sin egen markör för förändringsström.




  1. Hur man fångar redis.serializer.SerializationException

  2. Använder operatorn $slice för att få det sista elementet i arrayen

  3. Använder parametern maxTimeMS med aggregeringsfrågor på Mongo 2.6 och Pymongo 2.7.1

  4. Visa resultaten av GET-förfrågan i webbläsaren med NodeJS