Läs dessa inläggsserier från Wepay, där de beskriver hur de synkroniserar sina MySQL-databaser till BigQuery, med hjälp av Airflow:
- https://wecode.wepay.com/posts/ wepays-data-warehouse-bigquery-airflow
- https://wecode.wepay.com/posts/airflow-wepay
- (tredje handlar om BigQuery)
Som en sammanfattning (citat):
- Konfigurera autentisering, anslutningar, DAG.
- Definiera vilka kolumner som ska hämtas från MySQL och laddas in i BigQuery.
- Välj hur du ska ladda data:inkrementellt eller helt.
- De-duplicerar.