sql >> Databasteknik >  >> RDS >> Sqlserver

Hur går man enbart igenom filer som inte finns i destinationen med ett SSIS-paket?

Här är en potentiell lösning med två antaganden:

  1. Alla filer i målmappen flyttades av detta paket.
  2. Filnamnen är unika.

Du kan lägga till ett filnamnsloggningssteg till ETL.

Skapa en ny loggtabell i databasen med en kolumn för filnamnet. Skriv filnamnet till den här tabellen på varje loop i paketet. Sedan kan du använda det som en enkel uppslagstabell som används av någon villkorlig logik i ETL för att kontrollera om filnamnet som bearbetas matchar en befintlig fil.

Exakt hur du implementerar loggningssteget och den villkorliga kontrollen (kan vara ett villkorat dataflöde, utfört i skriptuppgift, etc) beror på utformningen av ditt paket, men det bör åstadkomma det du letar efter.




  1. Hantera MySQL med phpMyAdmin på Ubuntu 9.10 (Karmic)

  2. Att använda MySQL:s TIMESTAMP kontra att lagra tidsstämplar direkt

  3. Ta bort fråga som genererar UncategorizedSQLException och ORACLE-minnesproblem i SPRING-ramverket

  4. Finns det något sätt att casta postgresql 9.3 datatyp så att den bara kan påverka en sida