sql >> Databasteknik >  >> RDS >> Mysql

Kafka Connect-inställning för att skicka post från Aurora med AWS MSK

Nej. Du kan aktivera scheman i json-poster. JDBC-källa kan skapa dem åt dig baserat på tabellinformationen

value.converter=org.apache.kafka...JsonConverter 
value.converter.schemas.enable=true

Om du vill använda Schema Registry bör du använda kafkastore.bootstrap.servers .med Kafka-adressen, inte Zookeeper. Så ta bort kafkastore.connection.url

Vänligen läs dokumenten för förklaringar av alla egenskaper

spelar ingen roll. Schemaämnet skapas när registret först startar

Ja (ignorerar tillgängligt JVM-högutrymme). Återigen, detta är detaljerat i Kafka Connect-dokumentationen.

När du använder fristående läge, skickar du först anslutningsarbetarkonfigurationen, sedan upp till N anslutaregenskaper i ett kommando

Genom att använda distribuerat läge använder du Kafka Connect REST API

https://docs.confluent.io/current/connect/managing/configuring .html

Först och främst är det för Sqlite, inte Mysql/Postgres. Du behöver inte använda snabbstartsfilerna, de finns bara där för referens

Återigen, alla egenskaper är väldokumenterade

https://docs.confluent.io /current/connect/kafka-connect-jdbc/index.html#connect-jdbc

Här finns mer information om hur du kan felsöka det

https://www.confluent.io/ blog/kafka-connect-deep-dive-jdbc-source-connector/

Som sagt tidigare, skulle jag personligen föreslå att du använder Debezium/CDC där det är möjligt

Debezium Connector för RDS Aurora



  1. Hur funktionen OCTET_LENGTH() fungerar i MySQL

  2. Materialiserade vyer - Identifiera den senaste uppdateringen

  3. group_concat MYSQL ny rad

  4. Hur ställer jag programmatiskt in anslutningssträngen för Entity-Framework Code-First?