Hvis du allerede er fra IT-bransjen , må du være klar over det Stor Data er dagens snakk. Det være seg, nye startups som kommer med innovative forretningsmodeller, eller kollegene dine fortsetter å bli med i startups, av en eller annen grunn, dagens grønnere beiter ser ut til å være Stor Data industri.
Hvis du lurer på hvorfor, så anbefaler jeg at du leser dette helt til slutten, fordi dette kan være en selvutforskende blogg som fører deg til det du er bestemt for.
Så hvorfor alt detteHYPErundt STOR DATA?
Er det bare et annet domene som midlertidig skal lande flyktninger fra alle andre domener? Eller vil det være her på lang sikt?
Hvis jeg skulle gjette et gjetning, vil jeg si det, ikke bare kommer det til å være her på lang sikt, men Big Data-industrien kommer til å være i sentrum for teknologisk fremgang.
Fordi alt handler omDATA!
Akkurat som solenreiser segfraØstogsetteneiVest, kontinuerlig bruk av databehandlings- / ikke-databehandlingsenheter vil resultere i et utbrudd av uhåndterbare data.
Når disse dataene krysser terskelen for å bli håndtert av Excel eller et hvilket som helst databasestyringssystem, betegner vi det STOR DATA .
Tenk, hvilket var det siste produktet du kjøpte fra Amazon? Hvilket kan være det neste produktet du kan kjøpe basert på tidligere aktivitet? Svarene på slike spørsmål lagres i Big Data.
Er det en økende trend bak et produkt? Eller er det en fallende trend? Vil en kunde kjøpe ‘Strømper’ når han kjøper ‘Sko’? Dette er spørsmål om problemløsing for virksomheten.
Og disse spørsmålene kan være enkle svarte ved bruk av Big Data Analytics .
hva er en app i salgsstyrken
Når alt kommer til alt, hva er bruk av data når du ikke er det analyserer den?
Så er Big Datahelt omAnalytics?Ikke helt, men Analytics er den ultimate prisen.
Andre store strømmer i Big Data erOppbevaringogLedelse.
Det er her du som profesjonell kan bidra. Du kan påta deg rollen som:
- Big Data Engineer
- Big Data Solution Architect
Og sørg for at de store dataene som genereres, alltid er tilgjengelige, og at de kan brukes til analyse på et senere tidspunkt. Så dette bringer oss til spørsmålet og hellip
Hvor lagres Big Data?
Kan den lagres i enExcel-fil? Kan den oppbevares i enrelasjonelt databasesystem?
Absolutt ikke!
Hvis det kunne ha vært, så hadde det vært!
Og bli kalt noe annerledes alt sammen. Kanskje noe såntExcel-dataellerRDBMS-Data: D
Og det vil ta oss tilbake til TRINN 1 : - Hvorfor kan ikke Big Data administreres ved hjelp av Excel? FordiBig Data er bare for varmt for Excel å håndtere. Og til og med andre databasesystemer for en faktum.
Så, hva er alternativet?
For håndtering av Big Data har vi HADOOP . Du er kanskje klar over dette ordet også. Men du lurer kanskje på, hvordan fungerer det akkurat?
For det første er HADOOP et produkt avAPACHE Foundation. Apache er en amerikansk ideell organisasjon som støtter utviklingen av programvare med åpen kildekode.
Hadoop er definert som et åpen kildekode Java-basert programmeringsrammeverk som støtter behandling og lagring av ekstremt store datasett i et distribuert databehandlingsmiljø.
Hva kan Hadoop gjøre, men Excel ikke?
Behandle og forstå ustrukturerte data!Strukturerte data som er i tabellformat eller på annen måte kan enkelt håndteres. Excel kan gjøre det, og det kan også andre RDBMS.
Men når lesbarheten reduseres, og data er ustrukturert, er det der Big Dataverktøy som Hadoopscore. Et eksempel på ustrukturerte data er syslog . Et eksempel på et bilde er nedenfor.
Slike logger kan absolutt ikke spørres med Excel.
Hadoop, som Big Data-verktøy, kan forstå data som det er, ved å avdekke mønstre og danne relasjoner mellom forskjellige felt. Og når dataene har et relasjonelt preg, er det detAnalytics-klar.
Analytics er det som får virksomheten innvirkning på en organisasjon! Karrieren din vil i stor grad ha nytte av dens involvering i dette Big Data-domenet.
' Kan jeg lage det som en Hadoop-er? '
... kan være det neste spørsmålet du tenker på. Og med rette tenkt, Big Data er et marked som er like varmt som alltid, og like viktig som alltid.
Uten Hadoop vil selskaper ha vanskelig for å håndtere Big Data. Og uten dyktige fagpersoner som deg, vil selskaper ha vanskelig for å takle Hadoop.
Det er en rapport som sier at det er et talentunderskudd i dette domenet. Utviklingsunderskudd betyr mindre fagfolk, men høy etterspørsel. Og dette er på global skala og ikke begrenset til en bestemt geografi.
Vil du ha tall?
TIL McKinsey Global Institute studie sier at USA vil møte en mangel på rundt 190.000 datavitenskapere og 1,5 millioner ledere og analytikere som kan forstå og ta beslutninger ved bruk av Big Data innen 2018.
hva er en instans java
Karriereråd til deg? Surf når tidevannet er lavt!
Men er du begrenset til bare Hadoop ?
Ikke egentlig. Det finnes en rekke verktøy for behandling av Big Data, og Hadoop regnes som en av de beste. Men ikke hver gang!
Det er tider når Hadoop ikke passer best. For eksempel hvis du er en ikke-teknisk person som ikke er veldig flink til å skrive MapReduce-programmer.
I slike tilfeller kan du brukeTALEND, som gir deg et grafisk brukergrensesnitt for å gjøre hva du ellers ville gjort med MapReduce.
For å skrive enklere Java-koder kan du brukeGRIS.
Hvis du vil kjøre SQL-lignende spørsmål på Big Data, daHIVEkan bli brukt.
Hvis du vil bruke data som er lagret i en NoSQL-database, daHBasekan bli brukt.
For å utføre analyser i sanntid kan du brukeGNIST.
Dette er Big Data-verktøy som går hånd i hånd med Hadoop, men de erstatter ikke Hadoop overhodet. De er Hadoop-tillegg for store data.
Dessuten er det et par flere verktøy som SQOOP, FLUME, OOZIE, etc som kan integreres med Hadoop-rammeverket for å løse ulike forretningsproblemer.
Hva forventer bransjen fra deg som Big Data-ekspert?
Bransjen har et sterkt behov for STORE DATA ARKITEKTER som kan bygge en end-to-end big data-løsning for sine organisasjoner. Big Data Architects er de som har ekspertise i alle de nevnte verktøyene.
Her er et vitnesbyrd fra en Edureka-lærer kurs:
Bli en med utgangspunkt i Edurekas sertifiseringstrening for Big Data And Hadoop som hjelper elever å bli eksperter på HDFS, Garn, MapReduce, Pig, Hive, HBase, Oozie, Flume og Sqoop ved å bruke sanntidsbruk på Retail, Social Media, Aviation, Tourism, Finance domain .