vad är det bättre sättet att indexera data från Oracle/relationstabeller till elastisk sökning?

Vi använder ES som en rapporteringsdatabas och när nya poster skrivs till SQL vidtar vi följande åtgärd för att få in dem i ES:

1. Skriv primärnyckeln i en kö (vi använder rabbitMQ)
2. Kanin plockar upp primärnyckeln (när den har tid) och frågar i relations-DB för att få den information den behöver och skriver sedan in data i ES

Denna process fungerar utmärkt eftersom den hanterar både ny data och gammal data. För gamla data skriv bara ett snabbt skript för att skriva 300 miljoner primärnycklar till kanin och du är klar!