forskjell mellom overbelastning og overstyring i c ++
Hadoop Job Tacker
Jobbsporing er hoveddemonen for både jobbressursadministrasjon og planlegging / overvåking av jobber. Det fungerer som en kontakt mellom Hadoop og søknaden din.
Prosessen
Brukeren kopierer først filer til DFS (Distribuert Filsystem) før han sender en jobb til klienten. Klienten mottar deretter disse inndatafilene. Brukeren vil motta delingene eller blokkene basert på inndatafilene.Klienten kunnelag splittene eller blokkene i en mannner det preffordi det er visse hensyn som ligger bak. Hvis en analyse blir gjort på de fullstendige dataene, vil du dele dataene i splitter. Filer kopieres ikke via klient, men kopieres med flume eller Sqoop eller en hvilken som helst ekstern klient.
Når filene er kopiert til DFS og klienten samhandler med DFS,splittene vil kjøre en MapReduce job. Jobben sendes gjennom en jobbsporer. Jobbsporeren er mesterdemonen som kjører på samme node somkjørerdisse flere jobbene på datanodene. Disse dataene vil ligge på forskjellige datanoder, men det er jobbsporers ansvar å ta seg av det.
Etter at en klient har sendt innjobbsporeren, initialiseres jobben i jobbkøen, og jobbsporeren lager kart og reduseres. Basert på programmet som er inneholdt i kartfunksjonen og reduserer funksjonen, vil den opprette kartoppgaven og redusere oppgaven. Disse to vil kjøre på inngangssplittene. Merk: Når den er opprettet av klientene, inneholder denne inngangssplitten hele dataene.
hva er substring i java
Hver inngangssplitt har en kartjobb som kjører, og utdataene fra kartoppgaven går inn i reduser oppgaven. Jobbsporing kjører sporet på bestemte data. Det kan være flere replikasjoner av det, slik at det plukker lokale data og kjører oppgaven på den aktuelle oppgavesporeren. Oppgavesporeren er den som faktisk kjører oppgaven på datanoden. Jobbsporing vil passereinformasjontil oppgavesporeren, og oppgavesporeren kjører jobben på datanoden.
Når jobben har blitt tildelt oppgavesporeren, er det en hjerterytme knyttet til hver oppgavesporing og jobbsporing. Den sender signaler for å finne ut om datanodene fremdeles er i live. De to er ofte synkronisert siden det er en mulighet for nodene å falme ut.
Har du et spørsmål til oss? Nevn dem i kommentarfeltet, så kommer vi tilbake til deg.
Relaterte innlegg:
java c ++ python