Du har helt klart rätt idé; du kan antingen hämta den senaste datetime från databasen och bara infoga objekt nyare än så, eller (om du vill vara riktigt komplett) hämta allt från databasen, jämföra med allt i flödet och bara infoga objekt som inte gör det matcha något som redan finns i databasen. Men om du verkligen vill att INSERT bara ska infoga nya data, som antyds i din frågas rubrik, INSERT IGNORE
är vägen att gå, och utan tvekan den enklaste implementeringen också. Om du inte har en oro över mängden trafik på databasen, skulle jag hålla fast vid det.