Apache Hive er en av de viktigste rammene i Hadoop-økosystemet, noe som igjen gjør det veldig viktig for . I denne bloggen vil vi lære om Apache Hive og Hive-installasjon på Ubuntu.
Hva er Apache Hive?
Apache Hive er en infrastruktur for datalager som muliggjør spørring og administrering av store datasett som ligger i distribuert lagringssystem. Den er bygget oppå Hadoop og utviklet av Facebook. Hive gir en måte å spørre på dataene ved hjelp av et SQL-lignende spørrespråk kalt HiveQL (Hive query Language).
Internt oversetter en kompilator HiveQL uttalelser til Kart reduksjon jobber, som deretter sendes til Hadoop rammeverk for henrettelse.
Forskjellen mellom Hive og SQL:
Hive ser veldig ut som tradisjonell database med SQL adgang. Imidlertid fordi Hive er basert på Hadoop og Kart reduksjon operasjoner, er det flere viktige forskjeller:
Som Hadoop er ment for lange sekvensielle skanninger og Hive er basert på Hadoop , forventer du at spørringer har veldig høy ventetid. Det betyr at Hive ville ikke være passende for de applikasjonene som trenger veldig raske responstider, slik du kan forvente med en tradisjonell RDBMS-database.
Til slutt, Hive er lesebasert og derfor ikke hensiktsmessig for transaksjonsbehandling som vanligvis innebærer en høy prosentandel av skriveoperasjoner.
hvordan du installerer formørkelsesvinduer
Hive Installasjon på Ubuntu:
Følg trinnene nedenfor for å installere Apache Hive på Ubuntu:
Trinn 1: nedlasting Hive tjære.
Kommando: wget http://archive.apache.org/dist/hive/hive-2.1.0/apache-hive-2.1.0-bin.tar.gz
Steg 2: Pakk ut tjære fil.
Kommando: tar -xzf apache-hive-2.1.0-bin.tar.gz
Kommando: ls
Trinn 3: Rediger “.Bashrc” fil for å oppdatere miljøvariablene for brukeren.
Kommando: sudo gedit .bashrc
Legg til følgende på slutten av filen:
# Sett HIVE_HOME
eksporter HIVE_HOME = / home / edureka / apache-hive-2.1.0-bin
eksporter PATH = $ PATH: /home/edureka/apache-hive-2.1.0-bin/bin
Sørg også for at hadoop-banen også er angitt.
Kjør under kommandoen for å få endringene til å fungere i samme terminal.
Kommando: kilde .bashrc
Trinn 4: Sjekk bikubeversjonen.
selen webdriver med agurkeksempel i formørkelse
Trinn 5: Skape Hive kataloger innenfor HDFS . Katalogen 'lager' er stedet for å lagre tabellen eller data relatert til bikupen.
Kommando:
- hdfs dfs -mkdir -p / bruker / bikube / lager
- hdfs dfs -mkdir / tmp
Trinn 6: Angi lese- / skrivetillatelser for tabellen.
Kommando:
I denne kommandoen gir vi skrivetillatelse til gruppen:
- hdfs dfs -chmod g + w / bruker / bikube / lager
- hdfs dfs -chmod g + w / tmp
Trinn 7: Sett Hadoop sti inn h ive-env.sh
Kommando: cd apache-hive-2.1.0-bin /
Kommando: gedit conf / hive-env.sh
Still inn parametrene som vist i stillbildet nedenfor.
Trinn 8: Redigere hive-site.xml
Kommando: gedit conf / hive-site.xml
javax.jdo.option.ConnectionURL jdbc: derby: databaseName = / home / edureka / apache-hive-2.1.0-bin / metastore_dbcreate = true JDBC-tilkoblingsstreng for en JDBC-metastore. For å bruke SSL til å kryptere / autentisere tilkoblingen, oppgi databasespesifikt SSL-flagg i tilkoblings-URL-en. For eksempel jdbc: postgresql: // myhost / db? Ssl = true for postgres database. hive.metastore.warehouse.dir / user / hive / warehouse plassering av standard database for lageret hive.metastore.uris Thrift URI for den eksterne metastore. Brukt av metastore-klienten for å koble til ekstern metastore. javax.jdo.option.ConnectionDriverName org.apache.derby.jdbc.EmbeddedDriver Driverklassenavn for en JDBC-metastore javax.jdo.PersistenceManagerFactoryClass org.datanucleus.api.jdo.JDOPersistenceManagerFactory klasse som implementerer jdo-persistens
Trinn 9: Som standard bruker Hive Derby database. Initialiser Derby-databasen.
Kommando: bin / schematool -initSchema -dbType derby
Trinn 10 :Start Hive.
Kommando: bikube
Trinn 11 :Kjør noen spørsmål i Hive shell.
Kommando: vise databaser
Kommando: opprett tabellmedarbeider (id-streng, navnestreng, avd. streng) radformat avgrenset felt avsluttet med ‘‘ lagret som tekstfil
Kommando: vis bord
forskjellen mellom c c # og c ++
Trinn 12: For å gå ut av Hive:
Kommando: exit
Nå som du er ferdig med Hive-installasjonen, er neste skritt fremover å prøve Hive-kommandoer på Hive-skallet. Derfor vår neste blogg “ Topp Hive-kommandoer med eksempler i HQL ”Vil hjelpe deg å mestre Hive-kommandoer.
Relaterte innlegg: