sql >> Databasteknik >  >> RDS >> Oracle

Automatisera IRI Data Integration Jobs med Oracle Job Scheduler

Jobbschemaläggare är datorprogram som styr andra programkörningar bakom kulisserna, eller som en del av batchprocesser. Denna automatisering av arbetsbelastningen är vanligtvis koordinerad så att traditionell bakgrundsdatabehandling kan integreras med affärsaktiviteter i realtid utan att tömma resurser eller störa andra applikationer. Jobbschemaläggaren automatiserar gränssnitt i arbetsflöden, skickar in och övervakar exekveringar och köar exekveringsordningen för orelaterade jobb så att operationer hanteras i rätt ordning och under vissa särskilda villkor.

Ett populärt verktyg för databasprocessautomatisering är Oracles inbyggda jobbschemaläggare. Den kan användas inte bara för att automatisera SQL-procedurer och verktygsoperationer, utan för processer från tredje part som påverkar Oracles effektivitet. Oracle DBA:er använder rutinmässigt IRI FACT, IRI CoSort och SQL*Loader för att ta bort overheaden av transformationer från databaslagret och förbättra arbetsflödet genomgående i ETL- och offline-reorg-operationer med stora volymer. Dessa verktyg kan nu kombineras och schemaläggas med Oracles Job Scheduler i IRI Workbench, en GUI-miljö byggd på Eclipse™.

Oavsett om det är på kommandoraden, ett Oracle-gränssnitt eller IRI i Eclipse™, kan Oracle DBA:er nu schemalägga interberoende ETL-steg, eller ställa in lossnings-/sorterings-/reload-operationer (omorganisera) med IRI-programvara. Med Oracle Job Scheduler, DBMS_SCHEDULER, DBA:er och datalagerarkitekter kan specificera när FACT-extrakt, CoSort-sortering/transformerar/rapporter och/eller bulkbelastningar ska initieras, och ange beroenden mellan dessa processer.

Oracle Job Scheduler hjälper användaren att hantera och planera olika uppgifter så att manuellt ingripande inte krävs. För att använda jobbschemaläggaren behövs tre små skript:

• Procedur för att montera ETL-processen

• Funktion för att fånga alla meddelanden från Java-programmet

• Java-program för att hantera kommandoradsanrop till ETL-stegen:FACT (E), CoSort SortCL (T),  och Oracle SQL*Loader (L)

När skripten är klara kan användaren skapa en procedur för att automatisera det önskade arbetet. Användaren kan ange datum och tid då proceduren ska börja. Användaren kan också ange hur ofta de vill att jobbet ska köras (veckovis, dagligen, varje timme eller på en specifik tid och datum ner till var 30:e sekund).

Schemaläggaren kommer att hantera stegen så att de utförs i rätt ordning. Det är också möjligt att definiera anpassade kontroller för att säkerställa att nästa steg inte börjar om inte det föregående har lyckats eller uppfyllt vissa kriterier.

I exemplet nedan har användaren valt proceduren "runFlow" för att initiera definierade steg varje tisdag klockan 8:00 och varje fredag ​​klockan 15:00.


DECLARE
JobNo user_jobs.job%TYPE;
v_date1 date :=to_date('20130312 080000′,'yyyymmdd hh24miss');
v_date2 date :=to_date(30201) ′,'yyyymmdd hh24miss');
BEGIN
dbms_job.submit( JobNo,  –Job ID
'begin runFlow; end;', ​​— Procedur för att köra
v_date1, — start körs vid
'SYSDATE + 7' — intervall av jobb
);
COMMIT;
dbms_job.submit(  JobNo,  –Job ID
'begin runFlow; end; ', — Procedur för att köra
v_date2, — börja köras vid
'SYSDATE + 7' — intervall av jobb
);
COMMIT;
END;

Det finns betydande fördelar med att automatisera ETL-processerna på detta sätt, särskilt för Oracle DBA:er som redan är bekanta med DBMS_SCHEDULER. Metoden kan spara kostnader för dyra ETL- eller jobbschemaläggningspaket, minimera risken för mänskliga fel och förhindra behovet av manuellt ingripande. Det är också möjligt att använda integrationen för att automatisera offlinereorganisering och ELT-relaterade steg.

Om du har några frågor om implementeringen av IRI-jobbstegen i Oracle Job Scheduler, eller vill ha exemplet på vitboken, kontakta oss.


  1. Hur man ställer in intervallutdataformatet i PostgreSQL

  2. Information om informationsschemadatabasen i MySQL

  3. SQL Server AlwaysOn Tillgänglighetsgrupper:Installation och konfiguration, del 2

  4. PostgreSQL lastbalansering med HAProxy &Keepalved