Vi har lært hvordan Bygg Hive and Garn on Spark . La oss nå prøve eksempler på Hive and Garn på Spark.
Hive Eksempel på Spark
Vi vil kjøre et eksempel på Hive on Spark. Vi vil lage en tabell, laste inn data i den tabellen og utføre en enkel spørring. Når man jobber med Hive, må man konstruere en HiveContext som arver fra SQLContext .
Kommando: cd gnist-1.1.1
Kommando: ./bin/spark-shell
Lag en inndatafil 'prøve' i hjemmekatalogen din som nedenfor øyeblikksbilde (fane atskilt).
Kommando: val sqlContext = ny org.apache.spark.sql.hive.HiveContext (sc)
Kommando: sqlContext.sql (“OPPRETT TABELL HVIS IKKE EKSISTER test (navn STRING, rang INT) RÅFORMAT AVGRENSET FELTER AVSLUTTET MED‘ ‘LINJER AVSLUTTET AV‘
‘”)
hva er ekko i php
Kommando: sqlContext.sql (“LOAD DATA LOCAL INPATH‘ / home / edureka / sample ’INTO TABLE test')
Kommando: sqlContext.sql (“SELECT * FROM test WHERE rang<5”).collect().foreach(println)
Garneksempel på gnist
Vi vil kjøre SparkPi eksempel på Garn. Vi kan distribuere Garn on Spark i to moduser: klyngemodus og klientmodus. I garnklyngemodus kjører Spark-driveren inne i en applikasjonsmasteprosess som administreres av Garn i klyngen, og klienten kan gå bort etter at applikasjonen er startet. I garnklientmodus kjører driveren i klientprosessen, og applikasjonsmasteren brukes bare til å be om ressurser fra Garn.
hva er vedlegg i java
Kommando: cd gnist-1.1.1
Kommando: SPARK_JAR =. / Montering / mål / scala-2.10 / gnistmontering-1.1.1-hadoop2.2.0.jar ./bin/spark-submit – master garn –deploy-mode cluster –class org.apache.spark.examples. SparkPi –num-executors 1 –driver-memory 2g –executor-memory 1g – executor-cores 1 eksempler / target / scala-2.10 / gnist-eksempler-1.1.1-hadoop2.2.0.jar
Når du har utført kommandoen ovenfor, må du vente en stund til du kommer GJELDET beskjed.
Bla gjennom lokal vert: 8088 / klynge og klikk på Spark-applikasjonen.
Klikk på tømmerstokker .
Klikk på stdout for å sjekke utdataene.
For å distribuere Garn on Spark i klientmodus, er det bare å lage –Distribusjonsmodus som 'klient'. Nå vet du hvordan du bygger Hive and Garn on Spark. Vi gjorde også praksis på dem.
Har du et spørsmål til oss? Vennligst nevn dem i kommentarfeltet, så kommer vi tilbake til deg.
Relaterte innlegg
Apache Spark med Hadoop - Hvorfor betyr det noe?
hvordan du installerer php 7 på Windows 10
Hive & Garn Get Electrified By Spark