I denna Hadoop-handledning , vi kommer att diskutera konceptet med NameNode Automatic Failover i Hadoop Först och främst kommer vi att se vad som är failover och typer av failover. Sedan kommer vi att täcka HDFS automatisk failover i Hadoop.
Komponenter av Hadoop Automatic Failover i HDFS som ZooKeeper quorum, ZKFailoverController Process (ZKFC). Till sist kommer vi också att diskutera rollerna för dessa två komponenter i Hadoop .
Vad är Failover?
Processen där systemet överför sin kontroll till det sekundära systemet när det upptäcker ett fel kallasfailover .
Failover är av två typer:
- Graceful Failover – Administratören initierar Graceful Failover manuellt, till exempel vid rutinunderhåll. Systemet kommer inte att aktivera en failover automatiskt från den aktiva till standby-namnnoden, även om den aktiva noden har misslyckats i Graceful Failover.
- Automatisk failover – Automatisk failover är den process där systemet automatiskt överför sin kontroll till standby-namnnoden när namnnoden misslyckas. I Hadoop sker automatisk failover vid NameNode-fel. Men i fallet med NameNode-fel kommer Failover att starta automatiskt. Denna failover är automatisk failover.
NameNode Automatic Failover i Hadoop
Automatisk failover i Hadoop lägger till nedanstående komponenter till en Hadoop HDFS-distribution:
- ZooKeeper kvorum.
- ZKFailoverController Process (ZKFC).
1. ZooKeeper Quorum
Zookeeper i Hadoop är en centraliserad tjänst. Den upprätthåller konfigurationsinformation, namngivning och tillhandahåller distribuerad synkronisering. Det tillhandahåller även grupptjänster. Zookeeper hanterar och koordinerar också ett stort kluster av maskiner.
Av skälen nedan bygger implementeringen av automatisk HDFS-failover på Zookeeper:
- Felidentifiering- Zookeeper i Hadoop håller en session med namnnoderna. Under ett misslyckande kommer sessionen att upphöra. Så djurskötaren kommer att informera andra namnnoder för att starta failover-processen.
- Aktivt namnnodval- En enkel mekanism tillhandahållen av Zookeeper för att bara välja en nod som aktiv. Vid tidpunkten för aktiv namnnodsfel kan andra namnnoder ta ett exklusivt lås i Zookeeper som säger att de vill bli nästa aktiva namnnod.
2. ZKFailoverController (ZKFC)
ZKFC är en klient till Zookeeper i Hadoop som övervakar och hanterar namnnodens status. Var och en av maskinerna som kör namenode-tjänsten kör också en ZKFS. Den kan hantera:
- Hälsoövervakning – Med ett hälsokontrollkommando pingar ZKFS sin lokala namnnod. ZKFS anser att namnnoden är hälsosam, så länge som namnnoden svarar åt gången. Hälsoövervakaren kommer att markera en nod som ohälsosam, om noden har kraschat eller hamnat i ett ohälsosamt tillstånd.
- Sessionshantering för djurskötare – ZKFC håller en session öppen i Zookeeper när den lokala namnnoden är frisk. Den har också en speciell "lås"-znod, om den lokala namnnoden är aktiv. Om sessionen löper ut kommer låset att tas bort automatiskt.
- Djurvårdsbaserat val – I HDFS, om den lokala namnnoden är frisk och ZKFC ser att ingen annan nod för närvarande håller låsnoden, kommer den själv att försöka få låset. Och om det lyckas, då har det vunnit valet”, och det hanterar att köra en failover för att göra sin lokala namnnod aktiv.
Slutsats
Därför startar Automatic Failover i Hadoop automatiskt i händelse av NameNode-fel. Automatisk failover lägger till komponenter från ZooKeeper quorum och ZKFailoverController Process (ZKFC) till en HDFS-distribution.
Zookeeper i Hadoop är en tjänst som tillhandahåller automatisk failover-funktion i HDFS .