Hadoop Job Tacker
Jobtracker er masterdemon for både jobressourcestyring og planlægning / overvågning af job. Det fungerer som et forbindelsesled mellem Hadoop og din ansøgning.
Processen
Brugeren kopierer først filer ind i det distribuerede filsystem (DFS), inden han sender et job til klienten. Klienten modtager derefter disse inputfiler. Brugeren modtager split eller blokke baseret på inputfilerne.Kunden kunneoprette splittelser eller blokke i en mandner det prefder er visse overvejelser bag det. Hvis der foretages en analyse af de komplette data, opdeler du dataene i opdelinger. Filer kopieres ikke via klienten, men kopieres ved hjælp af flume eller Sqoop eller en hvilken som helst ekstern klient.
Når filerne er kopieret til DFS, og klienten interagerer med DFS,splittelserne kører en MapReduce job. Jobbet sendes via en jobsporing. Jobsporing er master-dæmonen, der kører på samme node somkørerdisse flere job på datanoder. Disse data vil ligge på forskellige datanoder, men det er jobsporingens ansvar at tage sig af det.
Efter at en klient har sendt viderejobsporing, initialiseres jobbet i jobkøen, og jobsporeren opretter kort og reduceres. Baseret på det program, der er indeholdt i kortfunktionen og reduceringsfunktionen, opretter den kortopgaven og reducerer opgaven. Disse to kører på input-split. Bemærk: Når denne klient oprettes, indeholder denne inddelingsdel hele dataene.
tableau, der blander to datakilder
Hver inputopdeling har et kortjob, der kører, og output fra kortopgaven går ind i reduceringsopgaven. Jobsporing kører sporet på bestemte data. Der kan være flere replikationer af det, så det vælger de lokale data og kører opgaven på den pågældende opgavetracker. Opgavesporeren er den, der faktisk kører opgaven på datanoden. Jobsporing vil passereInformationtil task tracker, og task tracker kører jobbet på datanoden.
Når jobbet er tildelt til opgavesporeren, er der en hjerterytme forbundet med hver opgavetracker og jobsporing. Det sender signaler for at finde ud af, om datanoderne stadig er i live. De to er ofte synkroniserede, da der er mulighed for, at noderne falmer ud.
konvertere dobbelt til heltal i java
Har du et spørgsmål til os? Nævn dem i kommentarfeltet, så vender vi tilbage til dig.
Relaterede indlæg: