sql >> Databasteknik >  >> NoSQL >> HBase

Så här gör du:Lägg till Cloudera Search i ditt kluster med Cloudera Manager

Cloudera Manager 4.7 lade till stöd för att hantera Cloudera Search 1.0. Således kan Cloudera Manager-användare enkelt distribuera alla komponenter i Cloudera Search (inklusive Apache Solr) och hantera alla relaterade tjänster, precis som alla andra tjänster som ingår i CDH (Clouderas distribution av Apache Hadoop och relaterade projekt).

I den här instruktionen kommer du att lära dig stegen för att lägga till Cloudera Search till ett Cloudera Enterprise (CDH + Cloudera Manager)-kluster.

Installera SOLR-paketet

I vårt exempel använder klustret ett CDH 4.4-paket och kör tjänsterna Apache ZooKeeper, HDFS och Apache HBase. (Paket är ett riktigt användbart sätt att distribuera ny programvara och göra smärtfria uppgraderingar via Cloudera Manager.)

Om du vill ladda ner SOLR-paketet direkt från Cloudera kan du använda standardinställningarna för "Remote Parcel Repository URLs" (under Parcels avsnittet på fliken Administration) som visas nedan:

Ange webbadressen till paketförrådet

Om du vill använda ett lokalt arkiv (det vill säga först ladda ner paketet från Cloudera och sedan installera från den lokala kopian), kan du följa instruktionerna här. Nästa steg är att "Ladda ner", "Distribuera" och "Aktivera" paketet från sidan Paket på fliken Värdar.

Distribuera SOLR-paketet

När paketet är aktiverat har du alla komponenter i Cloudera Search (Solr, Lily HBase Indexer och Apache Flumes Morphlines Sink) redo att användas tillsammans med CDH.

Nästa steg är att lägga till Apache Solr-tjänsten i ditt kluster. I menyn "Åtgärder" i ditt kluster på fliken Tjänster, välj "Lägg till en tjänst", som tar dig till "Guiden Lägg till tjänst" i Cloudera Manager. När du följt stegen i guiden och väljer var Solr-servrarna ska köras, kommer du att landa på en arbetsflödessida som initierar Solr-tjänsten och startar alla Solr-servrar.

Få igång Solr-tjänsten

Det är allt - Solr-tjänsten är nu redo att användas! Följ instruktionerna i Cloudera Search User Guide för att skapa samlingar och lägga till dokument till dem för indexering. Skärmdumpen nedan visar hur man skapar en samling med Solr-standardschemat.

Skapa den första samlingen

Lägga till Lily HBase Indexer

Cloudera Manager 4.7 ger också stöd för Lily HBase Indexer som ingår i SOLR-paketet. Lily HBase Indexer Service är ett flexibelt, skalbart, feltolerant, transaktionsbaserat, nästan realtidssystem för att bearbeta en kontinuerlig ström av HBase-celluppdateringar till livesökindex. För att använda den, lägg till tjänsten "Keystore Indexer" via "Add Service Wizard."

Innan du kan använda Lily HBase Indexer måste du dock se till att replikering och indexering är aktiverade i HBase-tjänsten i klustret. Du kan ändra dessa egenskaper på HBase-tjänstens konfigurationssida under avsnittet "Säkerhetskopiering".

Ställa in HBase-egenskaper för Lily HBase Indexer

Observera också att Cloudera Manager inkluderar en standard Cloudera Morphlines-fil som kan användas av Lily HBase Indexer. För att ändra den filen för att använda dina egna funktioner bör du navigera till Keystore Indexer-tjänsten och ändra Morphlines-konfigurationen enligt nedan:

Redigera Cloudera Morphlines för Lily HBase Indexer

När dessa ändringar har gjorts kan du börja använda Lily HBase Indexer för att indexera all data som kommer in i HBase genom att följa instruktionerna i Lily HBase Indexer User Guide . Det här blogginlägget ger också ett bra exempel på hur man indexerar e-postmeddelanden med HBase och Cloudera Search.

Slutsats

Nu vet du hur enkelt det är att distribuera, konfigurera och hantera en Cloudera Search-tjänst till ditt CDH-kluster med Cloudera Manager. Från och med Cloudera Enterprise 5 (i beta vid skrivande stund), kommer Cloudera Search och Lily HBase indexer att installera och starta som standard – vilket gör denna process ännu enklare.

Vikram Srivastava är mjukvaruingenjör på Cloudera.


  1. Installera Redis på CentOS 7

  2. Kontrollerar anslutningen till MongoDB

  3. Rate-Limit an API (spring MVC)

  4. Mongoengine creation_time-attribut i dokument