I denne bloggen, la oss se hvordan du bygger Spark for en bestemt Hadoop-versjon.
Vi vil også lære å bygge Spark med HIVE og GARN.
les xml-fil i java-eksempel
Tatt i betraktning at du har Hadoop, jdk, mvn og gå forhåndsinstallert og forhåndskonfigurert på systemet ditt.
Åpen Mozilla-nettleser og Last ned Gnist ved hjelp av lenken nedenfor.
https://edureka.wistia.com/medias/k14eamzaza/
Åpen terminal.
Kommando: tar -xvf Nedlastinger / spark-1.1.1.tgz
Kommando: ls
Åpne katalogen gnist-1.1.1.
Du kan åpne pom.xml fil. Denne filen gir deg informasjon om alle avhengigheter du trenger.
Ikke rediger den for å holde deg utenfor trøbbel.
Kommando: cd spark-1.1.1 /
Kommando: sudo gedit sbt / sbt-launch-lib.bash
Rediger filen som øyeblikksbilde, lagre den og lukk den.
Vi reduserer hukommelsen for å unngå problemer med objektbunkeplass som nevnt i øyeblikksbildet nedenfor.
Kjør nå kommandoen nedenfor i terminalen for å bygge gnist for Hadoop 2.2.0 med HIVE og Garn.
Kommando: ./sbt/sbt -P garn -P bikube -Phadoop-2.2 -D hadoop.version = 2.2.0 -D skipTests montering
Merk: Min Hadoop-versjon er 2.2.0, du kan endre den i henhold til Hadoop-versjonen.
For andre Hadoop-versjoner
# Apache Hadoop 2.0.5-alfa
-Dhadoop.version = 2.0.5-alfa
#Cloudera CDH 4.2.0
-Dhadoop.version = 2.0.0-cdh4.2.0
# Apache Hadoop 0.23.x
-Phadoop-0.23 -Dhadoop.version = 0.23.7
# Apache Hadoop 2.3.X
-Phadoop-2.3 -Dhadoop.version = 2.3.0
# Apache Hadoop 2.4.X
-Phadoop-2.4 -Dhadoop.version = 2.4.0
Det tar litt tid å kompilere og pakke, vent til den er ferdig.
To krukker gnistmontering-1.1.1-hadoop2.2.0.jar og gnist-eksempler-1.1.1-hadoop2.2.0.jar blir opprettet.
Sti av gnistmontering-1.1.1-hadoop2.2.0.jar : /home/edureka/spark-1.1.1/assembly/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar
Sti av spark-examples-1.1.1-hadoop2.2.0.jar: /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar
Gratulerer, du har vellykket bygget Spark for Hive & Garn.
Har du et spørsmål til oss? Vennligst nevn dem i kommentarfeltet, så kommer vi tilbake til deg.
Relaterte innlegg:
Apache Spark med Hadoop - Hvorfor betyr det noe?