Eksempler på bikube og garn på gnist

I denne bloggen vil vi kjøre eksempler på Hive og Garn på Spark. Bygg først Hive and Garn on Spark, og deretter kan du kjøre Hive and Garn-eksempler på Spark.

Vi har lært hvordan Bygg Hive and Garn on Spark . La oss nå prøve eksempler på Hive and Garn på Spark.



Learn-Spark-Now

Hive Eksempel på Spark

Vi vil kjøre et eksempel på Hive on Spark. Vi vil lage en tabell, laste inn data i den tabellen og utføre en enkel spørring. Når man jobber med Hive, må man konstruere en HiveContext som arver fra SQLContext .

Kommando: cd gnist-1.1.1

Kommando: ./bin/spark-shell

Lag en inndatafil 'prøve' i hjemmekatalogen din som nedenfor øyeblikksbilde (fane atskilt).

Kommando: val sqlContext = ny org.apache.spark.sql.hive.HiveContext (sc)

Kommando: sqlContext.sql (“OPPRETT TABELL HVIS IKKE EKSISTER test (navn STRING, rang INT) RÅFORMAT AVGRENSET FELTER AVSLUTTET MED‘ ‘LINJER AVSLUTTET AV‘
‘”)

hva er ekko i php

Kommando: sqlContext.sql (“LOAD DATA LOCAL INPATH‘ / home / edureka / sample ’INTO TABLE test')

Kommando: sqlContext.sql (“SELECT * FROM test WHERE rang<5”).collect().foreach(println)

Garneksempel på gnist

Vi vil kjøre SparkPi eksempel på Garn. Vi kan distribuere Garn on Spark i to moduser: klyngemodus og klientmodus. I garnklyngemodus kjører Spark-driveren inne i en applikasjonsmasteprosess som administreres av Garn i klyngen, og klienten kan gå bort etter at applikasjonen er startet. I garnklientmodus kjører driveren i klientprosessen, og applikasjonsmasteren brukes bare til å be om ressurser fra Garn.

hva er vedlegg i java

Kommando: cd gnist-1.1.1

Kommando: SPARK_JAR =. / Montering / mål / scala-2.10 / gnistmontering-1.1.1-hadoop2.2.0.jar ./bin/spark-submit – master garn –deploy-mode cluster –class org.apache.spark.examples. SparkPi –num-executors 1 –driver-memory 2g –executor-memory 1g – executor-cores 1 eksempler / target / scala-2.10 / gnist-eksempler-1.1.1-hadoop2.2.0.jar

Når du har utført kommandoen ovenfor, må du vente en stund til du kommer GJELDET beskjed.

Bla gjennom lokal vert: 8088 / klynge og klikk på Spark-applikasjonen.

Klikk på tømmerstokker .

Klikk på stdout for å sjekke utdataene.

For å distribuere Garn on Spark i klientmodus, er det bare å lage –Distribusjonsmodus som 'klient'. Nå vet du hvordan du bygger Hive and Garn on Spark. Vi gjorde også praksis på dem.

Har du et spørsmål til oss? Vennligst nevn dem i kommentarfeltet, så kommer vi tilbake til deg.

Relaterte innlegg

Apache Spark med Hadoop - Hvorfor betyr det noe?

hvordan du installerer php 7 på Windows 10

Hive & Garn Get Electrified By Spark