Apache Falcon: Ny datastyringsplattform for Hadoop-økosystemet



Apache Falcon er en ny datastyringsplattform for Hadoop-økosystemet som forenkler ombordføring av fôrbehandling og feedadministrasjon på hadoop-klynger. Lær hvordan du konfigurerer det.

Apache Falcon er et rammeverk for å administrere datas livssyklus i Hadoop-klynger. Den etablerer forholdet mellom forskjellige data og behandlingselementer i et Hadoop-miljø, og gir også tjenester for feedadministrasjon som fôrretensjon, replikasjoner på tvers av klynger, arkivering etc.





La oss først diskutere hvordan du konfigurerer Apache Falcon. Kjør kommandoen nedenfor for å laste ned git-arkiv for Falcon:

Kommando: git klon https://git-wip-us.apache.org/repos/asf/falcon.git falk



git-command-apache-falcon

For å kjøre falk må du først bygge den.

Kommando: cd falk



Kommando: eksporter MAVEN_OPTS = ”- Xmx1024m -XX: MaxPermSize = 256m -overvåke” && mvn ren installasjon -DskipTests

__i det__

Kommando: mvn ren montering: montering -DskipTests -DskipITs

Når du har bygget falk, finner du en falkpakke i / falcon / distro / target / katalog.

Kommandoene for å bygge falk ser veldig enkle ut, men du vil møte mange problemer før du ser meldingen Bygg suksess. Jeg møtte mange problemer mens jeg bygde den for Hadoop-2.2.0

Så for å hoppe over smerten ved å bygge Falcon, gir jeg deg en vellykket bygget falkpakke, som du kan laste ned ved hjelp av lenken nedenfor.

https://edureka.wistia.com/medias/xw5cfzqmho/download?media_file_id=124642564

Pakk ut filen for å få falcon-0.10-katalogen.

Kommando: pakke ut falk-0.10-SNAPSHOT.zip

Sett flacon-miljøvariabler i .bashrc-filen.

Kommando: sudo gedit .bashrc

Kommando: kilde .bashrc

Du kan gå til falkatalogen og se filene og katalogene i den.

Kommando: cd falcon-0.10-SNAPSHOT /

Kommando: ls

Du kan finne falkeskripter i papirkurven.

Kjør under kommandoen for å starte Falcon.

Kommando: ./bin/falcon-start

Du ser en ny daemon FalconServer som kjører nå.

Kommando: jps

Kommando: ./bin/falcon admin-versjon

Åpne nettleseren din og gå til lokal vert: 15000 . Du kan se Falcon web-brukergrensesnitt.

Har du et spørsmål til oss? Nevn dem i kommentarseksjonen, så kommer vi tilbake til deg.

Relaterte innlegg:

Drilling Down on Apache Drill