I denne digitale tidsalderen har behovet for å samle inn data og analysere dem i sanntid blitt nesten obligatorisk, ettersom beslutningstakere har begynt å forstå verdien av sanntidsdata som gjenspeiler den nåværende situasjonen i virksomheten. Dette har blitt sett i nesten alle bransjedomener. Sanntidsdata er nå en av måtene å kvantifisere ytelse og ta nødvendige tiltak raskt. På grunn av disse årsakene har sanntidsanalyser blitt stadig mer populære, og i månedene som kommer kan vi forvente å være vitne til et stort skifte i Big Data og Analytics, fra batch til nær sanntidsbehandling. Apache-prosjekter som Kafka, Storm og Spark fortsetter å være populære når det gjelder strømbehandling. Gjennom årene har ingeniører også begynt å integrere Kafka med Storm og Spark. Videre, Confluent, en ny oppstart grunnlagt av grunnleggerne av Kafka, trapper opp Kafka-spillet. Dette har gitt opphav til en rekke karrieremuligheter i Apache Kafka over hele verden.
Før vi går videre til 'kjøttet' av emnet, skal vi ta en rask titt på hva Apache Kafka handler om og hva den gjør.
Hva er Apache Kafka?
Kafka er et open source-meldingsmeglerprosjekt utviklet av Apache Software Foundation og er skrevet på Scala-språket. Kafka har som mål å tilby en enhetlig plattform for høy gjennomstrømning og lav latens for håndtering av datafeeder i sanntid. Kafkas design er overveiende basert på transaksjonslogger.
I strengkonstant basseng vil det ikke være to strengobjekter som har samme innhold.
Når det brukes til riktig brukstilfelle, har Kafka unike attributter som gjør det til et svært attraktivt alternativ for dataintegrering. Funksjoner som skalerbarhet, datapartisjonering, lav ventetid og muligheten til å håndtere et stort antall forskjellige forbrukere, gjør det godt egnet for bruk av dataintegrering.
De andre bruksområdene for Kafka er nettstedsaktivitetssporing, operasjonelle beregninger, loggaggregering og strømbehandling.
Populariteten til Apache Kafka
Kafka er så populær at den nylig hadde sluttet seg til de fire komma-klubbene etter å ha truffet 1,1 billioner meldinger per dag (1.100.000.000.000 - fire komma ... skjønner du det?). LinkedIns distribusjon av Apache Kafka har overgått 1.1 billioner og er den klart største distribusjonen av Kafka i produksjon i enhver organisasjon.
Kafka hadde en alvorlig innvirkning på Linkedins evne til å takle data som tidligere var utilgjengelige, men som nå er tilgjengelig for behandling. Data som brukeraktivitetsdata og loggdata som ikke kunne samles tidligere i LinkedIns eldre systemer blir nå enkelt samlet inn ved hjelp av Kafka. Kafka spiller en avgjørende rolle i utformingen av LinkedIns infrastruktur så vel som den for hundrevis av andre organisasjoner som har adoptert Kafka.
Dice analyserte nylig sine online stillingsannonser og identifiserte tekniske ferdigheter som har skyet i været når det gjelder etterspørsel. Resultatet var at Kafka kom til topp 10. Det er tydelig at Kafka-ferdighet blir viktig.
Apache Kafka-karrierer:
La oss se på jobbtrenden for Kafka fra et globalt eller slags globalt synspunkt. Selv om folketellingen bare tilhører Storbritannia og USA, gir den oss en veldig god ide om hvordan Kafka har det (Kilde: Indeed Job Trends)
forskjell mellom git og github
Fra bildet ovenfor er det tydelig at Kafka har gjort det ganske bra. Kafka har rykket opp rangen og har mer enn dobbelt så mange jobber enn i 2014.
Lignende trend har blitt observert på Indeed, en populær USA-basert jobbportal også.
Apache Kafka lønnstrender:
Kafka har vært moteordet i det siste når det gjelder behandling i sanntid. Siden etterspørselen er høy og teknologien som sådan gjør det bra, er lønnspakken for fagpersoner med Kafka-dyktighet i tråd med bransjestandarder.
Ifølge Indeed er gjennomsnittslønnen for Kafka professional 122 000 USD per år . Dette er 112% høyere enn gjennomsnittlig lønn for andre jobber. Lønnsutviklingen indikerer også en jevn og zoomende vekst fra begynnelsen av 2015 som fremdeles er på vei oppover.
hva alt kan nagios overvåke
Nå som vi har slått fast at Apache Kafka er ‘hot’, la oss se på hvem som trenger denne ferdigheten.
Hvem skal lære Apache Kafka?
Kafka er en må-ha ferdighet for de som ønsker å lære Kafka-teknikker og anbefales på det sterkeste for følgende fagpersoner:
- Utviklere som ønsker å få fart på karrieren som ‘Kafka Big Data Developer’.
- Testing fagfolk som for tiden jobber med kø- og meldingssystemer.
- Big Data Architects som ønsker å inkludere Kafka i deres økosystem.
Prosjektledere involvert i prosjekter relatert til meldingssystemer.
Konklusjon:
Apache Kafka har blitt de facto-standarden for sanntids dataanalyse, og LinkedIn er ikke det eneste selskapet som utnytter store datastrømmer. Med Kafka kan man være trygg på å utmerke seg i Big Data Analytics-karrieren.
Har du spørsmål til oss? Vennligst nevn dem i kommentarfeltet, så kommer vi tilbake til deg.
Relatert innlegg: