Datareplikering innebär att kopiera data från en plats till en annan, och görs vanligtvis mellan användare av olika databaser som behöver dela samma informationsnivå. Replikering kan också involvera andra datakällor och mål, och bli mer komplex i transformation och tidsmässiga termer.
Detta är den första av två artiklar som täcker databasreplikering i IRI Workbench GUI. IRI Workbench är den kostnadsfria IDE byggd på Eclipse™ som stöder alla IRI-produkter, inklusive IRI NextForm (för data- och databasmigrering) och IRI Voracity (en plattform för total datahantering som inkluderar NextForm et al.). IRI Workbench skapar och kör datareplikeringsjobb med hjälp av guider, skript och arbetsflödesdiagram.
Här är några av de sätt på vilka replikeringar uppstår:
- Data i en databas kopieras till en annan databas på samma eller en annan server.
- Data från två eller flera databaser kombineras till en enda databas.
- Användare får fullständiga initiala kopior av databasen och sedan regelbundna uppdateringar när data ändras.
- Data extraheras selektivt från en databas och replikeras i en extern fil.
Datareplikering låter dig replikera endast en del av databasen; d.v.s. valda tabeller, kolumner och/eller rader. Att replikera alla tabeller är en del av databasspeglingen. Ändringar av scheman, begränsningar, procedurer och åtkomstbehörigheter är dock inte lika lätta att replikera och kan involvera separata processer.
Grundläggande exempel i IRI Workbench
Vi kommer att använda en guide för att skapa jobb från NextForm-menyn i IRI Workbench-verktygsfältet för detta första datareplikeringsexempel. Vi kommer att kopiera data från en Oracle-tabell till både en MySQL-tabell och en modifierad platt fil. Den här andra artikeln visar replikeringen av endast uppdaterade data i en tabell genom att utvärdera värden för tidsstämpelkolumnen.
NextForm-menyn innehåller tre guider för att skapa jobb:
- Nytt omformateringsjobb
- Nytt jobb för migrering med en enda källa
- Nytt jobb för migrering av flera bord
Vi kommer att använda guiden New Reformat Job för att utföra denna replikering. För ett mer komplext jobb skulle vi använda en annan NextForm-guide eller en ETL-jobbguide i Voracity-menyn (eller bygga ett nytt arbetsflöde manuellt).
Här är strukturen för käll- och måltabellerna:
Steg 1:Ange namn och jobbalternativ
Från NextForm-menyn i det övre verktygsfältet, välj guiden New Reformat Job. I det här exemplet anger du jobbfilens namndatareplication . NextForm lägger till tillägget .ncl. Du kan också lägga till all relevant information om det här jobbet som kommer att visas som kommentarer i skriptet.
Lämna standardvalet Skapa skript från listan med alternativknappar eftersom detta är ett fristående jobb och inte en del av ett större flödes- eller batchprojekt.
Steg 2:Identifiera källan
På nästa skärm, Datakällor, klicka på Lägg till datakälla . Källan i det här exemplet är en ODBC-ansluten databas, så välj ODBC, och klicka sedan på Bläddra för att välja datakällans namn (DSN) och tabell.
Steg 3:Ange källmetadata
För att IRI-programvaran ska kunna flytta och manipulera data i dess motor (i det här fallet replikera i NextForm), behöver du metadata för källan och mål som definieras i jobbskriptet, i IRI:s datadefinitionsfilformat (DDF).
Du kan bygga DDF:erna för valfri källa (eller mål) automatiskt i IRI Workbench. Den funktionen är inbäddad här, där du kan välja att antingen upptäcka metadata eller Lägg till befintlig metadata . I det här fallet kommer vi att lägga till befintlig metadata, som skapades på ett annat sätt. Det valet och dess resultat visas i följande dialogruta:
Klicka på Källfältslayout för att se layouten för data.
Klicka på OK för att stänga källfältslayouten. Klicka sedan på Nästa på sidan Datakällor för att öppna sidan Datamål.
Steg 4:Definiera målen/målen
Vi skickar den replikerade Oracle-datan till två mål:en MySQL-tabell som vi namngercustomers_out , och en fil som heter personout.csv .
Lägg till en måltabell
Klicka på Lägg till datamål . Välj ODBC och klicka på Bläddra . Välj sedan datakällans namn (DSN) Oracle och tabellen CUSTOMERS_REP . Klicka på OK för att stänga dialogrutan.
På sidan Datamål markerar du tabellnamnet och klickar på Lägg till befintlig metadata . Välj cust.ddf (som skapades tidigare) och klicka på OK .
Vi vill begränsa antalet poster i den här filen till 100. Klicka på Redigera målalternativ för att öppna redigeraren och i Outcollect fältet anger du 100 och klicka på OK .
Lägg till en målfil
Klicka återigen på Lägg till datamål . Välj Arkiv och skriv personout.csv och klicka på OK . Vi vill begränsa antalet poster i filen till högst 50, och vi behöver även ändra formatet till CSV. För att göra båda, klicka på Redigera målalternativ för att öppna editorn. Ändra Format till CSV , och i Outcollect fältet anger du 50 och klicka på OK .
Lägg till en strängfunktion i målfilen
Vi kommer också att lägga till en strängfunktion för att endast visa de fyra sista siffrorna i SSN-fältet. För att göra detta klickar du på Target Field Layout, och klicka på fliken personout.csv.
Välj SSN-fältet, högerklicka och välj Använd regel Skapa regel . Välj Strängmanipulationsfunktioner på sidan Val av guiden Nya fältregel. . På nästa sida – String Manipulation Functions – välj sub_string . I Offset fältet anger du 6 för antalet tecken från vänster om fältet och i Längd fältet anger du 4 för längden på delsträngen och klickar sedan på Slutför .
Lägg till ett inkluderingsfilter
För att fortsätta modifiera CSV-filen kommer vi att lägga till ett filter för att begränsa data till att endast inkludera de poster från CA. Klicka på Record Filter för att skapa filtret. Välj Inkludera för filteråtgärden och välj Nytt villkor för typen. Öppna uttrycksbyggaren genom att klicka på funktionsikonen. 
I uttrycksbyggaren väljer du kategorin Relationella operatörer och objektet EQ . I Uttryck fältet högst upp anger du STATE EQ "CA" med hjälp av verktygen i verktygsfältet och klickar på Slutför .
Tillbaka på sidan Datamål bestämmer vi oss för att placera om efter- och förnamnsfälten efter zip-fältet. Välj Efternamn och klicka på Ner tills fältet är längst ned i listan, välj sedan FÖRNAMN och gör detsamma.
När vi har lagt till båda målen visas fälten och ändringarna på sidan Datamål.
Klicka på Slutför för att slutföra konstruktionen av skriptet, vilket visas nedan i den färgkodade, syntaxmedvetna redigerarvyn av IRI Workbench:
Resultat
Kör jobbskriptet genom att högerklicka i skriptet och väljaKör som> IRI-jobb . Måldata visas på flikarna nedan:
Om du har några frågor om att replikera data i NextForm eller Voracity, kontakta din IRI-representant.
- Från Data Source Explorer, högerklicka på tabellen, välj IRI Generera DDF . Detta skapar DDF för tabellen i den aktiva projektmappen och kommer att refereras av IRI:s datamanipuleringsmotor vid körning.