Spåra ISS med SAP Data Intelligence och SAP HANA:Lagra och analysera data

Det här exemplet används som en demo i en session INT105 – Bygg datapipelines med SAP Data Intelligence på SAP TechEd 2020. Du är mer än välkommen att gå med i den här sessionen och se den demon. Men det är ingen förutsättning om du vill fortsätta med det här inlägget.

I förra inlägget började vi bygga en datapipeline i SAP Data Intelligence för att inta data från en API-slutpunkt och för att omvandla data från det TLE-kodade formatet till en läsbar JSON-nyttolast. Nu är det dags att ladda dessa data, och vi kommer att använda SAP HANA, expressutgåva, för det.

Ok, låt oss fortsätta vår resa...

Lägg till SAP HANA-anslutningskonfiguration

Låt oss gå till Connection Management-applikationen i SAP Data Intelligence.

I default hyresgästen av en testinstans kan du en anslutning HANA_LOCALHOST bland andra. Det kan vara ett bra alternativ att spela med om du vill läsa/skriva data från SAP HANA inifrån Testinstans för Data Intelligence. Men i vårt fall vill jag kunna ha tillgång till data i SAP HANA db från andra externa klienter också.

Låt oss skapa en annan anslutning. Som jag har nämnt kommer det att vara en molnbaserad instans av SAP HANA, expressutgåva. Jag kommer att kalla det MyHXE_HXE_SYSTEM .

Du kanske ser att jag ändrar Use TLS alternativet på. Det är bättre att vara säker än förlåt.

Testa anslutningen lyckades, så låt mig Skapa denna konfiguration.

Kontrollera objekt i Metadata Explorer

Nu när anslutningen har skapats, låt oss kontrollera den i Metadata Explorer-applikationen. Om du inte är bekant med Metadata Explorer rekommenderar jag att du först kollar självstudierna:

Använd, upptäck och profilera data med SAP Data Intelligence, testversion

Gå till Katalog> Bläddra i anslutningar...

i programmet

… och sedan till vår anslutning (i mitt fall är det MyHXE_HXE_SYSTEM ) och till SYSTEM schema. I mitt system är det tomt för tillfället.

Lägg till SAP HANA-operatör till datapipeline

Tillbaka till Modeler-applikationen och vår graf som skapades i föregående inlägg, låt oss lägga till en SAP HANA-klientoperatör till datapipelinen.

Anslut den senaste avlyssningens out port till HANA-klientens data port.

Låt oss konfigurera operatören genom att definiera följande parametrar:

Namn:ISS locs to SAP HANA
Anslutning:MyHXE_HXE_SYSTEM från Anslutningshanteraren
Tabellnamn:"ISS_TRACK"
Tabellkolumner:[{"name":"TSTMP","type":"SECONDDATE"},{"name":"LAT","type":"DOUBLE"},{"name":"LON","type":"DOUBLE"},{"name":"ALT","type":"INTEGER"}]
Inmatningsformat:JSON
Infogningsläge:INSERT
Tabellinitiering:Skapa
Decimalutgång:flytande komma
Avsluta vid fel:False

JSON-konfigurationen av tabellkolumner bör tillåta oss att se en snygg formulärvy när den öppnas i förhandsgranskningen av tabelldetaljer.

När denna ytterligare konfiguration är klar är det dags att spara och köra grafen.

Och när den väl är igång...

Kontrollera `ISS_TRACK` objekt i Metadata Explorer

Gå tillbaka till Metadata Explorer. Uppdatera vid behov skärmen för att se ändringar i SYSTEM schema för MyHXE_HXE_SYSTEM anslutning.

Du bör se ISS_TRACK objekt av typen "Tabell" där.

Gå till faktabladet för detta objekt och växla till dataförhandsvisning. Du bör se data infogat av den löpande grafen.

Låt grafen köras i minst 10 minuter för att samla in lite data.

Utforskning av data i SAP HANA

När det har samlats in minst 10 minuter av data kan vi stoppa grafens exekvering och gå vidare till utforskning av data i SAP HANA.

Om du följt mina tidigare inlägg så vet du att tack vare Mathias Kemeter gillar jag att använda DBeaver databashanterare tack vare dess snygga inbyggda visualisering av rumslig data.

Låt oss ta en titt på vilken väg ISS tog när jag körde en graf som samlade in data.

SELECT UTCTOLOCAL("TSTMP") AS "TSTMP", "LON", "LAT", "ALT", 
SECONDS_BETWEEN (UTCTOLOCAL("TSTMP"), NOW()) AS "Sec_Ago", 
NEW ST_POINT('Point Z('||"LON"||' '||"LAT"||' '||"ALT"||')',4326) AS "Loc3D"
FROM "ISS_TRACK";

Låt oss beräkna satellitens "markhastighet" - som om den rörde sig på jordens yta - vid den senast registrerade tidsstämpeln.

SELECT TOP 1
  UTCTOLOCAL ("TSTMP", 'CET') as TIMECET,
  ROUND(IFNULL(NEW ST_Point('POINT ('||"LON"||' '||"LAT"||')', 4326).ST_Distance
  (NEW ST_Point('POINT ('||LAG("LON", 1, "LON") OVER (ORDER BY "TSTMP")||' '||LAG("LAT", 1, "LAT") OVER (ORDER BY "TSTMP")||')', 4326), 'kilometer')/
  SECONDS_BETWEEN (LAG("TSTMP", 1) OVER (ORDER BY "TSTMP"),"TSTMP"), 0), 2) AS "KMpS"
FROM
	(SELECT TOP 2 
		UTCTOLOCAL("TSTMP") AS "TSTMP", "LON", "LAT", "ALT", 
		SECONDS_BETWEEN (UTCTOLOCAL("TSTMP"), NOW()) AS "Sec_Ago", 
		NEW ST_POINT('Point Z('||"LON"||' '||"LAT"||' '||"ALT"||')',4326) AS "Loc3D"
	FROM "SYSTEM"."ISS_TRACK"
	ORDER BY "TSTMP" DESC)
ORDER BY "TSTMP" DESC