En av de mest attraktive egenskapene til Hadoop framework er dens utnyttelse av råvaremaskinvare . Dette fører imidlertid til hyppige DataNode-krasjer i en Hadoop-klynge. Et annet slående trekk ved Hadoop Framework er enkel skalering i samsvar med den raske veksten i datavolum . På grunn av disse to grunnene er en av de vanligste oppgavene til en Hadoop-administrator å kommisjon (Legg til) og avvikling (Fjern) datanoder i en Hadoop-klynge.
db nettleser for sqlite gjennomgang
Igangkjøring og avvikling av noder i en Hadoop-klynge:
Ovenstående diagram viser en trinnvis prosess for å avvikle en DataNode i klyngen.
Den første oppgaven er å oppdatere utelukke ‘Filer for begge HDFS (hdfs-site.xml) og Kart reduksjon (mapred-site.xml).
«Ekskluder» -filen:
- for jobtracker inneholder listen over verter som bør utelukkes av jobtracker. Hvis verdien er tom, er ingen verter ekskludert.
- for Namenode inneholder en liste over verter som ikke har lov til å koble seg til Namenode.
Her er eksempelkonfigurasjonen for ekskluderingsfilen i hdfs-site.xml og mapred-site.xml:
hdfs-site.xml
dfs.hosts.exclude
/ hjem / hadoop / ekskluderer
ekte
mapred-site.xml
mapred.hosts.exclude
/ hjem / hadoop / ekskluderer
ekte
Merk: Hele stienavnet på filene må spesifiseres.
På samme måte har vi 'inkluderer' filer:
- for jobtracker inneholder listen over noder som kan kobles til JobTracker. Hvis verdien er tom, er alle verter tillatt.
- for Namenode som inneholder en liste over verter som har lov til å koble seg til Namenode. Hvis verdien er tom, er alle verter tillatt.
Den ‘ dfsadmin 'Og' mradmin Kommandoer oppdaterer konfigurasjonen med endringene for å gjøre dem oppmerksomme på den nye noden.
Den ‘ slaver ’Fil på masterserveren inneholder listen over alle datanodene. Dette må også oppdateres for å sikre eventuelle problemer i fremtiden hadoop daemon start / stopp.
Det viktige trinnet i prosessen med kommisjon for datanoder er å kjøre Cluster Balancer.
> hadoop-balanser -terskel 40
Balanser forsøker å tilveiebringe en balanse til en viss terskel blant datanoder ved å kopiere blokkeringsdata fra eldre noder til nylig bestilte noder.
Så dette er hvordan du kan gjøre - Idriftsettelse og Avvikling Noder i en Hadoop-klynge.
Har du et spørsmål til oss? Vennligst nevn det i kommentarfeltet, så kommer vi tilbake til deg.
Relaterte linker: