Namnen på IRIs mjukvaruprodukter och hur de fungerar har ibland varit en källa till mystik, eller till och med förvirring, för den oinvigde. Den här artikeln förklarar bitarna och förtydligar deras samspel, vilket ger en snabb primer för potentiella användare, partners och ny branschanalys st.
Där allt började
Det började med IRI CoSort 1978, verktyget för sortering, transformation och rapportering av stora data för Unix och Windows som fortfarande används i stor utsträckning idag. Före CoSort kallades denna första IRI-produkt CO-SORT, COSORT och CoSORT, i den ordningen.
1992 lade IRI till sorteringskontrollspråket (SortCL) datadefinitionssyntax och manipulationsprogram till de andra verktygen och API:erna i CoSort-paketet. Idag är SortCL det mest använda och funktionsspäckade användargränssnittet i CoSort-paketet.
SortCL-skript definierar, och sortcl-programmet körs, de jobb som utför och kombinerar många vanliga dataförflyttnings- och mappningsuppgifter som CoSort-användare behöver köra. SortCL är inte bara en enkel 4GL att lära sig, läsa och modifiera, utan den stöds också genom ett API (kallat sortcl_routine), och grafiskt i den kostnadsfria IRI Workbench IDE, byggd på Eclipse.
När SortCL-funktionaliteten utökades, växte den ifrån den traditionella CoSort-marknaden för sorteringsmigreringar och BI/DW-acceleration. Idag är SortCL körbara inte bara motorn som kör de flesta CoSort-jobb, utan det är hjärtat i flera spin-off-produkter, som illustreras här:
CoSort / SortCL Spin-Off-produkter
Närmare bestämt samma SortCL-motor och kompatibla jobbskript — vanligtvis designade och ofta hanterade från IRI Workbench, bearbetar strukturerade datakällor i:
- IRI FieldShield och IRI DarkShield för datamaskering
- IRI RowGen för testdatasyntes och databasunderinställningar
- IRI NextForm för data- och databaskonvertering och replikering och
- IRI Voracity datahanteringsplattformsjobb, som inkluderar de i CoSort och produkterna länkade ovan, plus ytterligare frontfunktioner genom det gemensamma Workbench GUI, som:
- Dataupptäckt (profilering, klassificering och sökning)
- Datalager ETL, CDC och SDC
- Data Vault 2.0-migrering och prototyper
- Datakvalitet (validering, rensning, homogenisering)
- Analytik eller datatvistelse för Splunk och KNIME och andra BI-verktyg via handoff
Ett annat sätt att se på produkthierarkin är så här:
där Workbench IDE är där alla IRI-produktjobb är designade – inklusive de ytterligare funktioner som stöds i Voracity.
En vanligt ställd fråga
Eftersom SortCL började med CoSort, och är gemensamt för alla dessa produkter, betyder det att jag kan använda CoSort eller en annan produkt ovan för att göra vad de andra produkterna gör också?
Svaret är ja och nej. Ja, du har SortCL och kan i teorin få en del av samma arbete gjort som en annan SortCL-kompatibel IRI-produkt är tänkt att utföra. Men det skulle vara svårare och utgöra en produktionsrisk. IRI tillhandahåller endast dokumentation och support för de uppgifter som är bäst förknippade med dina licensierade IRI-produkter.
Därför är crossover-kapaciteten begränsad i praktiken. Icke desto mindre är kombinationsfunktioner vanlig i många fall (som en sorterad DB-delmängd), och i Voracity är användningsfall med flera uppgifter i flera steg (som inkrementell mappning, maskering, rensning och omformatering) mycket effektiva och stöds fullt ut.
SortCL är standardmotorn i alla IRI Voracity CDC, ETL, CDC, rensning, avstämning, underinställning ,
PII-maskering, testdatasyntes, konvertering, omformatering, gräl, analys och rapportering.
Runtime Architecture
Nu när du känner till namnen på produkterna, låt oss ta upp hur de hänger ihop och distribueras.
IRI-programvara fungerar vanligtvis i en klient/server-modell, där SortCL-kompatibla jobb definieras i en frontend-redigeringsmiljö som IRI Workbench eller annan textredigerare, eller via IRI API. Dessa jobb körs vanligtvis i SortCLs backend-program på Linux, Unix eller Windows (fysiska eller virtuella) maskiner, på plats eller i molnet:
Vissa jobb skriptade i SortCL-syntax kan också köras utan modifiering direkt i Map Reduce 2, Spark, Spark Stream, Story eller Tez för licenstagare av Voracity Grid (VGrid)-utgåvan för Hadoop.
Observera dock att till skillnad från många andra ETL- och datamaskeringsprogram finns det ingen CoSort-server där SortCL måste köras eller hanteras centralt. Den lätta körbara sortCL-filen kan köras var som helst från en Raspberry Pi till en z/Linux stordator.
Det är därför vanligt, enligt diagrammet ovan, att webbplatser har test- och QA SortCL-instanser installerade på bärbara utvecklare som kör IRI Workbench, såväl som på centraliserade fil- eller databasservrar för att optimera prestanda. Denna FAQ täcker frågan om var man licensierar SortCL i samband med IRI-datamaskeringsprodukter, till exempel, och hur man kan beräkna dess kostnader därefter.
Om du har några frågor om vilken IRI-produkt du behöver, eller hur du bäst distribuerar den på den hårdvara du har (eller planerar att tillhandahålla), kontakta din IRI-representant.