sql >> Databasteknik >  >> NoSQL >> HBase

Topp 10 funktioner i Big Data Hadoop

I den här Hadoop-handledningen kommer vi att diskutera de 10 bästa funktionerna i Hadoop. Om du inte är bekant med Apache Hadoop, så kan du hänvisa till vår Hadoop-introduktion blogg för att få detaljerad kunskap om Apache Hadoop-ramverket.

I den här bloggen kommer vi att gå igenom de viktigaste funktionerna i Big data Hadoop som Hadoop Fault Tolerance, Distributed Processing in Hadoop, Scalability Tillförlitlighet Hög tillgänglighet, ekonomisk, flexibilitet,  dataplats i Hadoop.

Hadoop Introduktion

Hadoop är ett ramverk för öppen källkod som stöder distribuerad lagring och bearbetning av enorma mängder data. Det är det mest kraftfulla big data-verktyget på marknaden på grund av dess funktioner. Funktioner som feltolerans, pålitlighet, hög tillgänglighet etc.

Hadoop tillhandahåller-

  • HDFS  – Världens mest pålitliga lagringslager
  • MapReduce  – Distribuerat bearbetningslager
  • GARN  – Lager för resurshantering

Viktiga funktioner i Big data Hadoop

Det finns så många funktioner som Apache Hadoop tillhandahåller. Låt oss diskutera dessa funktioner i Hadoop i detalj.

a. Öppen källkod

Det är ett Java-baserat programmeringsramverk med öppen källkod. Öppen källkod innebär att den är fritt tillgänglig och även vi kan ändra dess källkod enligt dina krav.

b. Feltolerans

Hadoop kontrollerar fel genom processen för att skapa repliker. När klienten lagrar en fil i HDFS delar Hadoop-ramverket upp filen i block. Sedan distribuerar klienten datablock över olika maskiner som finns i HDFS-klustret.

Och skapa sedan repliken av varje block på andra maskiner som finns i klustret. HDFS skapar som standard 3 kopior av ett block på andra maskiner som finns i klustret.

Om någon maskin i klustret går ner eller misslyckas på grund av ogynnsamma förhållanden. Då kan användaren också enkelt komma åt dessa data från andra maskiner.

c. Distribuerad bearbetning

Hadoop lagrar enorma mängder data på ett distribuerat sätt i HDFS. Bearbeta data parallellt på ett kluster av noder.

d. Skalbarhet  

Hadoop är en öppen källkodsplattform. Detta gör den extremt skalbar plattform. Så nya noder kan enkelt läggas till utan driftstopp. Hadoop ger horisontell skalbarhet så en ny nod läggs till i farten till systemet. I Apache hadoop körs applikationer på mer än tusentals noder.

e. Tillförlitlighet

Data lagras på ett tillförlitligt sätt i klustret av maskiner trots maskinfel på grund av replikering av data. Så om någon av noderna misslyckas kan vi också lagra data på ett tillförlitligt sätt.

f. Hög tillgänglighet

På grund av flera kopior av data är data mycket tillgänglig och tillgänglig trots hårdvarufel. Så, vilken maskin som helst går ner kan data hämtas från den andra vägen. Lär dig Hadoop High Availability-funktionen i detalj.

g. Ekonomiskt

Hadoop är inte särskilt dyrt eftersom det körs på klustret av råvaruhårdvara. Eftersom vi använder lågkostnadshårdvara behöver vi inte spendera en enorm summa pengar för att skala ut ditt Hadoop-kluster.

i. Flexibilitet

Hadoop är väldigt flexibel när det gäller förmågan att hantera all slags data. Den handlar om strukturerad, semi-strukturerad eller ostrukturerad.

j. Lätt att använda

Inget behov av klient för att hantera distribuerad datoranvändning, ramverket tar hand om allt. Så det är lätt att använda.

k. Datalokalitet

Det hänvisar till förmågan att flytta beräkningen nära där faktiska data finns på noden. Istället för att flytta data till beräkning. Detta minimerar nätverksstockning och ökar systemets överkapacitet. Läs mer omDatalokalitet.

Slutsats

Sammanfattningsvis kan vi säga att Hadoop är mycket feltolerant. Den lagrar på ett tillförlitligt sätt enorma mängder data trots hårdvarufel. Det ger hög skalbarhet och hög tillgänglighet.

Hadoop är kostnadseffektivt eftersom det körs på ett kluster av råvaruhårdvara. Hadoop-arbete på datalokalitet eftersom flyttberäkning är billigare än att flytta data. Alla dessa funktioner i Big data Hadoop gör den kraftfull för Big data-behandling.


  1. hur man importerar en .csv-datafil till Redis-databasen

  2. hur får man nycklar som inte matchar ett visst mönster i redis?

  3. Mongodb PHP - heltal med decimaler

  4. MongoDB byter namn på databasfält inom array