Navistar är en ledande global tillverkare av kommersiella lastbilar. Med en flotta på 350 000 fordon skapade oplanerat underhåll och fordonshaverier pågående störningar i deras verksamhet. Navistar krävde en diagnostikplattform som skulle hjälpa dem att förutsäga när ett fordon behövde underhåll för att minimera stilleståndstiden. Denna plattform behövde kunna samla in, analysera och betjäna data från över 70 telematik- och sensordataflöden från varje fordon i deras flotta, inklusive data som mäter motorprestanda, kylvätsketemperatur, lastbilshastighet och bromsslitage. Navistar vände sig till Cloudera för att hjälpa till att bygga en IoT-aktiverad fjärrdiagnostikplattform, kallad OnCommand® Connection, för att övervaka deras fordons tillstånd och för att öka fordonens drifttid.
Den här bloggen visar användningen av liknande teknologier för att ta itu med problem som är mycket mindre i omfattning men med paralleller till dem som Navistar stod inför. Data hämtades från en mycket modifierad, högpresterande Corvette (se fig 1) för att visa stegen att ladda data från en extern källa, formatera den med Apache NiFi, skjuta den till en strömkälla genom Apache Kafka och lagra den med Apache HBase för ytterligare analys.
Fig 1. 2008 Corvette med modifierad 6,8L motor
För detta specifika exempel har Corvetten i fråga fått alla de ursprungliga fabriksmotorkomponenterna utbytta till förmån för delar med högre prestanda. Motorn revs ner till sitt skal, cylindrarna borrades, vevaxeln och kamaxeln byttes ut och nya kolvar och vevstakar installerades, vilket jagade målet på ~600 hästkrafter (se fig 2). För att den här nya motorkonfigurationen skulle fungera korrekt genomgick motorns programvara en fullständig översyn. Samtidigt som gaspedalen blev betydligt mer dramatisk, var en oavsiktlig konsekvens att bilens ursprungliga diagnostik och felsystem inte längre var korrekta och därför måste inaktiveras.
Fig 2. Motorn är mitt i ombyggnationen med alla nya glänsande inre delar
För att fånga och analysera Corvettens sensordata behövdes en väg för att data skulle flöda från bilen till en alternativ analys- och diagnostikplattform. Det första steget var att ansluta en bärbar dator till Corvettens diagnostikport (se fig 3) för att importera sensordata till en molnbaserad lagringsplats. S3 användes för detta projekt.
Fig 3. Bärbar dator ansluten till diagnostikporten via USB
Nästa steg var att använda Cloudera Data Platform (CDP), Clouderas multifunktionella, multi-analytics-plattform, för att komma åt de tjänster som behövs för att flytta data till dess slutliga lagringsdestination för ytterligare analys. Med hjälp av CDP Public Cloud skapades 3 datahubbar, som var och en var värd för en uppsättning färdigpaketerade tjänster med öppen källkod (se fig 4):
- Den första installationen var NiFi, en tjänst som är byggd för att automatisera och hantera dataflödet. NiFi användes för att importera, formatera och flytta Corvettens data från källan till dess slutliga lagringspunkt.
- Nästa var att sätta upp Kafka, en streamingtjänst i realtid som gör att stora mängder data kan vara tillgänglig som en stream. Kafka ger möjlighet till strömbehandling av data, samtidigt som andra användare får möjlighet att prenumerera på dataströmmarna. I det här exemplet finns det inga prenumeranter; detta är dock ett viktigt koncept som förtjänar en demonstration av hur man ställer in det.
- Den slutliga installationen var HBase, en mycket skalbar, kolumnorienterad operativ databas som ger läs-/skrivåtkomst i realtid. När data väl har importerats till HBase, skulle Phoenix användas för att fråga och hämta data.
Fig 4. Corvette-dataflödesdiagram från källa till fråga.
Att bygga diagnostikplattformen med CDP för att övervaka Corvettens hälsa och prestanda var en framgångsrik övning. Genom att använda NiFi och Kafka för att formatera och strömma sensordata till HBase kan avancerad datateknik och bearbetning utföras oavsett hur stor datamängden växer.
Nästa steg
För att se allt detta i praktiken, se länkar nedan till några olika källor som visar upp processen som skapades.
- Video – Om du vill se och höra hur detta byggdes, ta en titt på en snabb 5-minuters video som visar realtidsnavigering av CDP som kör NiFi, Kafka och HBase.
- Självstudier – Om du vill göra detta i din egen takt, se en detaljerad genomgång med skärmdumpar och rad för rad instruktioner om hur du ställer in detta.
- MeetUps – Om du vill prata direkt med experter från Cloudera och till och med ägaren till denna Corvette, gå med i en virtuell träff för att se hans livepresentation. Det kommer att finnas tid för direkta frågor och svar i slutet.
- CDP-användarsida – Klicka på länken för att lära dig om andra CDP-resurser som skapats för användare, inklusive ytterligare videor, handledningar, bloggar och evenemang.