I dette innlegget vil jeg snakke om Apache Pig-installasjon på Linux . La oss starte med den grunnleggende definisjonen av Apache Pig og Pig Latin.
Apache Pig er et verktøy / plattform for å lage og utføre Map Reduce-program som brukes med Hadoop. Det er et verktøy / plattform for å analysere store datasett. Du kan si, Apache Pig er en abstraksjon over MapReduce. Programmører som ikke er så flinke i Java pleide å slite med å jobbe på Hadoop, hovedsakelig mens de skrev MapReduce-jobber.Så det er et viktig tema å lære og mestre for .Apache Pig har sitt eget språk Griselatin som er velsignet for dårlige programmerere.
En grunnleggende introduksjon til Pig Latin vil hjelpe deg å forstå bedre:
Prosedyrespråket på høyt nivå som brukes i Apache Pig-plattformen kalles Griselatin . Apache Pig har ‘Pig Latin’ som er et relativt enklere språk som kan kjøre over distribuerte datasett på Hadoop File System (HDFS). I Apache Pig må du skrive Pig-skript ved hjelp av Pig Latin-språk, som blir konvertert til MapReduce-jobb når du kjører deg Pig-skript. Apache Pig har forskjellige operatører som brukes til å utføre oppgavene som å lese, skrive, behandle dataene. For å lære om Apache Pig-operatører, gå til bloggen vår “ Operatører i Apache Pig: Del 1 - Relasjonsoperatører ”.
Nå som du har grunnleggende forståelse av Apache Pig, la oss starte med Apache Pig Installation på Linux.
Apache Pig-installasjon på Linux:
Nedenfor er trinnene for installasjon av Apache Pig på Linux (ubuntu / centos / windows bruker Linux VM). Jeg bruker Ubuntu 16.04 nedenfor oppsettet.
Trinn 1: nedlasting Gris tjære fil.
Kommando: wget http://www-us.apache.org/dist/pig/pig-0.16.0/pig-0.16.0.tar.gz
Steg 2: Pakk ut tjære fil ved hjelp av tjærekommando. Under tjærekommandoen, x betyr pakke ut en arkivfil, med betyr å filtrere et arkiv gjennom gzip, f betyr filnavn på en arkivfil.
pivot og unpivot i sql server
Kommando: tjære -xzf gris-0.16.0.tar.gz
Kommando: ls
Trinn 3: Rediger “ .bashrc ”-Fil for å oppdatere miljøvariablene til Apache Pig. Vi setter det slik at vi får tilgang til gris fra hvilken som helst katalog, vi trenger ikke gå til grisekatalog for å utføre grisekommandoer. Også, hvis noen annen applikasjon leter etter Pig, vil den bli kjent med banen til Apache Pig fra denne filen.
Kommando: sudo gedit .bashrc
Legg til følgende på slutten av filen:
# Sett PIG_HOME
eksporter PIG_HOME = / home / edureka / pig-0.16.0
eksporter PATH = $ PATH: /home/edureka/pig-0.16.0/bin
eksporter PIG_CLASSPATH = $ HADOOP_CONF_DIR
Sørg også for at hadoop-banen også er angitt.
Kjør under kommandoen for å gjøre endringene oppdatert i samme terminal.
Kommando: kilde .bashrc
Trinn 4: Sjekk grisversjon. Dette er for å teste at Apache Pig ble riktig installert. I tilfelle du ikke får Apache Pig-versjonen, må du kontrollere om du har fulgt trinnene ovenfor riktig.
slå objekt til array php
Kommando: gris -versjon
Trinn 5 :Sjekk grisehjelp for å se alle alternativene for grisekommandoer.
Kommando: gris -hjelp
Trinn 6 :Kjør gris for å starte gryntskallet. Grunt shell brukes til å kjøre gris latinske skript.
Kommando: gris
hvilken skannerklassemetode leser en streng?
Hvis du ser på bildet ovenfor riktig, har Apache Pig to moduser der det kan kjøres, som standard velger det MapReduce-modus. Den andre modusen du kan kjøre gris i, er lokal modus. La meg fortelle deg mer om dette.
Utførelsesmodi i Apache Pig:
- MapReduce Mode - Dette er standardmodusen, som krever tilgang til en Hadoop-klynge og HDFS-installasjon. Siden dette er en standardmodus, er det ikke nødvendig å spesifisere -x flagg (du kan utføre gris ELLER gris -x kartredusere ). Inngang og utgang i denne modusen er tilstede på HDFS.
- Lokal modus - Med tilgang til en enkelt maskin blir alle filene installert og kjørt ved hjelp av et lokalt verts- og filsystem. Her spesifiseres den lokale modusen ved hjelp av '-x flagg' ( gris -x lokal ). Inngang og utgang i denne modusen er tilstede på lokale filsystemer.
Kommando: gris -x lokal
Du kan gå gjennom videoen nedenfor for å se Apache Pig Installation på Linux:
Installasjon av Apache Pig | Grisinstallasjon på Linux Edureka
Nå som du er ferdig med Apache Pig Installation på Linux, er neste skritt fremover å prøve noen relasjonelle Pig-operatører på Pig Grunt shell. Derfor neste blogg “ Operatører i Apache Pig: Del 1 - Relasjonsoperatører ”Vil hjelpe deg å mestre griseoperatører.
Nå som du har installert Apache Pig på Linux, sjekk ut av Edureka, et pålitelig online læringsfirma med et nettverk med mer enn 250 000 fornøyde elever spredt over hele verden. Edureka Big Data Hadoop Certification Training-kurset hjelper elever å bli eksperter i HDFS, Garn, MapReduce, Pig, Hive, HBase, Oozie, Flume og Sqoop ved å bruke sanntidsbruk på Retail, Social Media, Aviation, Tourism, Finance.
Har du spørsmål til oss? Vennligst nevn det i kommentarfeltet, så kommer vi tilbake til deg.