Med økt bruk av Hadoop i tradisjonelle IT-løsninger for bedrifter og økt antall Hadoop-implementeringer i produksjonsmiljø, blir behovet for eksperter på Hadoop Operations og Administration for å ta seg av de store Hadoop-klyngene viktig.
Hadoop Admin Ansvar:
- Ansvarlig for implementering og løpende administrasjon av Hadoop infrastruktur.
- Tilpass med systemteknikkteamet for å foreslå og distribuere nye maskinvare- og programvaremiljøer som kreves for Hadoop og utvide eksisterende miljøer.
- Arbeider med dataleveringsteam for å sette opp nye Hadoop-brukere. Denne jobben inkluderer å sette opp Linux-brukere, sette opp Kerberos-rektorer og teste HDFS, Hive, Pig og MapReduce tilgang for de nye brukerne.
- Klyngevedlikehold samt oppretting og fjerning av noder ved hjelp av verktøy som Ganglia, Nagios, Cloudera Manager Enterprise, Dell Open Manage og andre verktøy.
- Performance tuning av Hadoop-klynger og Hadoop MapReduce-rutiner.
- Skjerm Hadoop-klyngejobbprestasjoner og kapasitetsplanlegging
- Overvåke Hadoop-klyngetilkobling og sikkerhet
- Administrer og gjennomgå Hadoop-loggfiler.
- Filsystemstyring og overvåking.
- HDFS støtte og vedlikehold.
- Gjør flittig samarbeid med infrastruktur-, nettverks-, database-, applikasjons- og business intelligence-team for å garantere høy datakvalitet og tilgjengelighet.
- Samarbeider med applikasjonsteam for å installere operativsystem og Hadoop-oppdateringer, oppdateringer, versjonsoppgraderinger når det er nødvendig.
- Kontaktpunkt for eskalering av leverandør
Hadoop Administration er en givende og innbringende karriere med mange vekstmuligheter. Hvis jobbansvaret som er oppført ovenfor, interesserer deg, er det på tide å bli bedre med Hadoop Administration og komme på Hadoop Admin-karriereveien.
kan du kaste en dobbel til en int
DBA-ansvar utført av en Hadoop-administrator:
- Datamodellering, design og implementering basert på anerkjente standarder.
- Programvareinstallasjon og konfigurasjon.
- Sikkerhetskopiering og gjenoppretting av databasen.
- Databasekobling og sikkerhet.
- Ytelsesovervåking og tuning.
- Diskplassadministrasjon.
- Programvareoppdateringer og oppgraderinger.
- Automatiser manuelle oppgaver.
DWH-utviklingsansvar utført av Hadoop-administrator:
DWH innrømmer jobbansvar inkluderer utvikling, testing og overvåking av batchjobber for følgende oppgaver:
- Sikre referanseintegritet.
- Utfør primærnøkkelutførelse.
- Utfør datatilpasninger.
- Last inn store datavolumer i tide.
Nå som du vet om jobbansvaret til en Hadoop-administrator, la oss ta en titt på ferdighetene som kreves for å være en.
Ferdigheter som kreves for å bli Hadoop-administrator:
- Generell operativ kompetanse som gode feilsøkingsferdigheter, forståelse av systemets kapasitet, flaskehalser, grunnleggende hukommelse, CPU, operativsystem, lagring og nettverk.
- Hadoop skillslike HBase, Hive, Pig, Mahout, etc.
- De viktigste kravene er: De skal kunne distribuere Hadoop-klyngen, legge til og fjerne noder, holde oversikt over jobber, overvåke viktige deler av klyngen, konfigurere navn-noden med høy tilgjengelighet, planlegge og konfigurere den og ta sikkerhetskopier.
- God kunnskap om Linux ettersom Hadoop kjører på Linux.
- Kjennskap til konfigurasjonsadministrasjon og distribusjonsverktøy med åpen kildekode, for eksempel skripting av Puppet eller Chef og Linux.
- Kunnskap om feilsøking av Java-applikasjoner er et pluss.
Edureka har spesialkurrert et kurs om Hadoop Administration. Klikk på knappen nedenfor for å komme i gang med Hadoop Administration og lære hvordan kurset hjelper deg å bli Hadoop-administrator.
Relaterte innlegg:
php lage matrise fra streng