Da jeg var yngre, elsket jeg Star Wars-filmserien. Jeg elsket det så mye at jeg hadde denne videokassetten av hver og en av dem. Jeg pleide å se dem om og om igjen. Så kom tiden til DVD-spillere, og jeg måtte få disse filmene igjen på DVD. Jeg hadde ingen betenkeligheter med å kjøpe hele settet igjen på DVD, da jeg ønsket å oppleve den nye teknologien og fortsette å glede meg over favorittfilmene mine også. Ting var bra til en annen ny teknologi, Blu-ray dukket opp. Etter å ha kjøpt filmene allerede to ganger, så jeg ikke frem til å kjøpe dem igjen. I noen tid anstrengte jeg meg ikke for å 'oppdatere' meg selv og tenkte at jeg ville gjøre det bra uten denne teknologien. Og jeg klarte meg bra. Det påvirket ikke livet mitt uansett. Men jeg kunne se en trendendring og kunne ikke dele filmene mine med vennene mine, som de gjorde med hverandre. Jeg følte meg virkelig utenfor.
Jeg endelig gikk ut og fikk filmen i Blu-ray. Jeg husker det ikke fordi jeg elsker filmen, men på grunn av det faktum at kvaliteten på videoen var tankefull. Og for å toppe det hele fikk jeg hele settet med filmer på en enkelt Blu-ray-plate.
Behovet eller trangen til å holde oss oppdatert er sterkest når det gjelder vårt yrke ettersom risikoen er større. Det har blitt viktig å holde deg på toppen av spillet ditt.
4 praktiske grunner til å lære Hadoop 2.0:
Så uunngåelig det kan være, har vi blitt en viktig del av livet vårt å holde oss oppdatert i vårt yrke. Så skremmende som det kan høres ut, er det ikke nødvendig å bli skremt, ettersom teknologier egentlig ikke endrer seg så raskt eller drastisk. Men samtalene og informasjonen om disse teknologiene og de tingene vi kan gjøre med dem, blir synlig. Her er noen grunner til at du bør holde deg oppdatert:
# 1: Ikke bli fanget ut
pl sql for nybegynnere med eksempler
Å ikke være oppmerksom på den siste oppdateringen i en teknologi kan få deg til å se ut som et hjort fanget i et frontlys. Ikke akkurat et strålende bilde av dine profesjonelle evner. Å være oppdatert vil få deg respektert av jevnaldrende for dine faglige ferdigheter. Det er kanskje ikke behov for å implementere alle nye ting du lærer, men å være bevisst på oppdateringene er viktig.
For eksempel, når det er en samtale på Hadoop, kan du fortelle jevnaldrende at Hadoop 2.5.0 har autentiseringsforbedringer når du bruker en HTTP-proxy-server. Og også i den samme versjonen av Hadoop er det en bestemmelse for å skrive direkte til Graphite.
Det blir viktig å være med på de siste oppdateringene når organisasjoner tenker å migrere til Hadoop. Og 'å vite' kan gjøre en stor forskjell for karrieren din.
# 2: Å ha en konkurransedyktig fordel
Fagpersoner som er dyktige innen sine felt respekteres. Og å holde seg oppdatert er den beste måten å være på topp. Ditt behov for å holde deg oppdatert gjenspeiler lidenskapen din mot jobben din. Ved å utvikle ekspertise i jobben din og din bransje, vil du tjene tilliten og respekten til menneskene rundt deg. Fra et lederperspektiv er dette uvurderlig!
Selv om organisasjonen din fremdeles jobber med Hadoop 1.0, vil kunnskap om alle de nyeste funksjonene i Hadoop 2 holde deg på sporet ettersom den er relativt ny og definitivt bedre. Å være den første til å lære dette vil gi deg et forsprang på dine jevnaldrende.
# 3: Nye muligheter
Det er en trist realitet at vår nåværende rolle stadig endres. Med tiden kommer ansvar og muligheter til å utføre nye oppgaver. Ved å holde deg oppdatert på bransjetrender er du i den beste posisjonen til å utnytte disse mulighetene.
Bedrifter som Macy's, Lockheed Martin, California Creative Solutions, Capital One, CSpring, CACI International Inc., Oracle, Yahoo !, American Express, BlueHawk, Aetna, Lawrence Livermore National Laboratory og mange flere leter etter folk som er dyktige i de nyeste funksjonene i Hadoop 2, som GARN.
# 4: Ta bedre beslutninger
Den ekstra informasjonen gjør at du kan ta informerte valg og bedre beslutninger. Det vil hjelpe deg å gjenkjenne muligheter og legge til verdi i organisasjonens strategi.
Hadoop 2 har funksjoner som forbedrer hastigheten og reduserer kostnadene. Å foreslå alternativer for å forbedre ytelsen og øke hastigheten kan definitivt øke organisasjonens produktivitet. Her er noen funksjoner i Hadoop 2 som vil være til nytte for organisasjonen og foreslå at de også vil øke karrieren din.
Støtte for å kjøre Hadoop på Microsoft Windows
Forenklet distribusjon av MapReduce-binære filer via HDFS i YARN Distribuert Cache.
Forbedret støtte for nye applikasjoner på YARN med Application History Server og Application Timeline Server
Komplett HTTPS-støtte i HDFS
Kerberos-integrasjon for YARNs tidslinjebutikk.
Støtte for heterogent lagringshierarki i HDFS.
Minnebuffer for HDFS-data med sentralisert administrasjon og administrasjon.
Forenklet distribusjon av MapReduce-binære filer via HDFS i YARN Distribuert Cache.
Det er mer enn bare praktiske grunner til å holde seg oppdatert. Det er også tekniske grunner. Hadoop har mange funksjoner som er fordelaktige for organisasjonene. Å ta en grundig titt på dem vil gi deg et klart bilde av hva som er fordelaktig.
Hva er den siste oppdateringen i Hadoop?
Hvert produkt går gjennom forskjellige faser av utgivelser og kommer med forskjellige versjoner av seg selv. Hadoop er ikke noe unntak og har kommet opp med Hadoop 2.0. Apache-stiftelsen har kommet med påfølgende versjoner av Hadoop som Hadoop 2.1.0, Hadoop 2.4.0 og har nådd Hadoop 2.5.1, som er den siste versjonen som ble utgitt i september 2014.
Hvorfor ble Hadoop 2 utgitt?
Med den nye versjonen kommer tilleggsfunksjoner og faste feil. Så hver gang du bruker en bestemt versjon av Hadoop og tror at en bestemt funksjon kan legges til eller noen feil må løses, lar du gutta på Apache foundation få vite om det. Disse karene jobber igjen med det og gir deg et bedre produkt i neste versjon.
Hadoop 2 - ikke bare et tall
Hadoop 2 er ikke bare den siste versjonen av Hadoop. I det store og hele er det en andre generasjons arkitektur. Arun Murthy, grunnlegger og arkitekt ved Hadoop-distributør Hortonworks, insisterer på at skillet er viktig fordi mengden re-engineering som kreves for å flytte Hadoop utover batchbehandling og til en verden av sanntidsanalyse, har vært betydelig.
La oss diskutere hvor forskjellig Hadoop 2.0 er fra forgjengeren Hadoop 1.0. Åpenbart kommer den senere utgitte versjonen til å være overlegen enn den tidligere utgivelsen. Følgende er de fire store forbedringene i Hadoop 2.0 over Hadoop 1.x:
HDFS Federation - Horisontal skalerbarhet av NameNode
NameNode høy tilgjengelighet - NameNode er ikke lenger et enkelt feilpunkt
GARN - Evne til å behandle Terabyte og Petabyte med data tilgjengelig i HDFS ved bruk av applikasjoner som ikke er MapReduce, for eksempel MPI, GIRAPH
Resource Manager - Deler de to hovedfunksjonene til overbelastet JobTracker (ressursadministrasjon og jobbplanlegging / overvåking) i to separate demoner: en global Resource Manager og ApplicationMaster per applikasjon
Det er flere funksjoner som kapasitetsplanlegger (Enable Multi-tenancy support in Hadoop), Data Snapshot, Support for Windows, NFS access, som muliggjør økt Hadoop-adopsjon i bransjen for å løse Big Data-problemer.
Hadoop 2.X vs Hadoop 1.X
La oss gjøre en liten sammenligning og se på hvilke måter Hadoop 2.0 er bedre og forskjellig fra Hadoop 1.0
Hvorfor foretrekkes Hadoop 2 fremfor Hadoop 1.0?
Hadoop 2.0 tilbyr ytelsesforbedringer som fordeler relaterte teknologier i Hadoop-økosystemet. Foruten de banebrytende funksjonene i HDFS og andre generasjons arkitektur (YARN), er det enda flere og større grunner til å foretrekke Hadoop 2 fremfor Hadoop 1.0:
Hadoop 2 har ikke lenger språkbegrensning. Betydning, et bredt spekter av fagpersoner kan nå bruke Hadoop.
Med Hadoop 2 blir hindringer som mangel på MapReduce-kodere overvunnet.
2 ganger raskere enn Hadoop 1.0
2 ganger avkastningen med eksisterende maskinvare.
Med YARN er applikasjonsprogrammeringsgrensesnittet mye mer åpent og fleksibelt.
Hadoop 2 utvider mulighetene for å bruke Hadoop i Big Data-prosjekter.
hvordan gå ut i java
Med Hadoop 2 kan utviklere nå utføre et stort utvalg av dataknusende oppgaver, utover Hadoops tidligere omfang av batchbehandling.
Tilbyr nye muligheter for informasjonsledere og adresserer mangler i tidligere versjoner.
Denne nye utgivelsen har den unike funksjonen å kjøre flere arbeidsbelastninger på samme Hadoop-klyngen.
Hadoop er ikke lenger begrenset til en funksjon. Applikasjonen strekker seg nå utover HDFS og MapReduce.
Viktige fordeler med garn
Vi er klar over at GARN er en andre generasjons arkitektur, la oss se hva som gjør det så flott.
Skala
Nye programmeringsmodeller og tjenester
kommandolinje argumenter i java eksempel kode
Forbedret klyngebruk
Smidighet
Mye mer enn Java
Og mange flere
Krav om Hadoop 2-ferdigheter
Organisasjoner lanserer eller eksperimenterer nå med Hadoop 2. Derfor kommer det et behov for fagpersoner som er dyktige i Hadoop 2. Mange organisasjoner har allerede begynt å lete internt etter folk til å jobbe med Hadoop. Det er klare indikasjoner på at GARN er på vei oppover og til slutt vil erstatte etterspørselen etter MapReduce-dyktighet.
Her er noen synspunkter på den nåværende og forventede etterspørselen etter Hadoop-ferdigheter:
Ifølge analytikere fra Gartner er Hadoop 2 en viktig utvikling ettersom store bedrifter over hele verden har funnet Hadoop å være en spillveksler i deres Big Data-administrasjon.
I følge Eric Kavanagh, fra Bloor-gruppen, har Hadoop 2.0 fått grep blant informasjonsarbeidere som ønsker å knuse Big Data.
Adopsjon av Hadoop 2.0 fortsetter å øke og går nå inn i modenhetsfasen.
Organisasjoner er klar over fordelene med garn og er glade for det.
Her er et øyeblikksbilde av ledige stillinger for Hadoop 2.0 / YARN i Indeed.com
Hvem flytter til Hadoop 2 eller har allerede?
Yahoo:
Yahoo! , lederen i alt Hadoop har implementert GARN (0,23.x). I følge Murthy behandler Yahoos 35.000-node-klynge nå 130-150 jobber per dag sammenlignet med 50-60 før YARN.
Når vi snakker om den fantastiske forestillingen, siterer Murthy: 'When you're got 2x over 35,000 to 40,000 nodes, That's phenomenal'. Han la også til: 'Det er en ganske overbevisende historie å fortelle en informasjonsansvarlig at hvis du bare oppgraderer programvaren din fra Hadoop 1 til Hadoop 2, vil du se forbedringer i kapasiteten to ganger i jobbene dine.'
eBay:
eBay har en av de største Hadoop-klyngene i bransjen, hvor dataene er i petabyte. De har også migrert klyngene sine til Hadoop 2.
Konklusjon:
Med Hadoop 2 som moden og lettere å implementere, overbeviser de til og med skeptikerne, og flere og flere organisasjoner migrerer til Hadoop 2.0. Det er gyldige grunner til å unngå 1.x-versjonene. Men med Hadoop 2 vurderer selv de vantro det som det kan brukes til et bredt spekter av bruksområder. Når du lærer Hadoop 2.0 og implementerer den for å utføre beregninger på Big Data, åpner du portene for en teknisk avansert og økonomisk givende karriere.
Har du spørsmål til oss? Vennligst nevn dem i kommentarfeltet, så kommer vi tilbake til deg.
Relaterte innlegg: