Et af de mest attraktive træk ved Hadoop framework er dets udnyttelse af råvarehardware . Dette fører dog til hyppige DataNode-nedbrud i en Hadoop-klynge. Et andet slående træk ved Hadoop Framework er let skalering i overensstemmelse med den hurtige vækst i datamængde . På grund af disse to grunde er en af de mest almindelige opgaver for en Hadoop-administrator at provision (Tilføj) og nedlukning (Fjern) datanoder i en Hadoop-klynge.
hvad svæver i css
Idriftsættelse og nedlukning af noder i en Hadoop-klynge:
Ovenstående diagram viser en trinvis proces til nedlukning af en DataNode i klyngen.
Den første opgave er at opdatere ' udelukke ‘Filer til begge HDFS (hdfs-site.xml) og MapReduce (mapred-site.xml).
Filen 'ekskluder':
- til jobtracker indeholder listen over værter, der skal udelukkes af jobtracker. Hvis værdien er tom, ekskluderes ingen værter.
- til Namenode indeholder en liste over værter, der ikke har adgang til at oprette forbindelse til Namenode.
Her er eksempelkonfigurationen for ekskluderingsfilen i hdfs-site.xml og mapred-site.xml:
hdfs-site.xml
dfs.hosts.exclude
/ hjem / hadoop / udelukker
sand
mapred-site.xml
mapred.hosts.exclude
/ hjem / hadoop / udelukker
sand
Bemærk: Filernes fulde stienavn skal angives.
På samme måde har vi 'inkluder'-filerne:
- til jobtracker der indeholder listen over noder, der kan oprette forbindelse til JobTracker. Hvis værdien er tom, er alle værter tilladt.
- til Namenode indeholdende en liste over værter, der har adgang til at oprette forbindelse til Namenode. Hvis værdien er tom, er alle værter tilladt.
Det ' dfsadmin 'Og' mradmin Kommandoer opdaterer konfigurationen med ændringerne for at gøre dem opmærksomme på den nye knude.
Det ' slaver 'Fil på masterserveren indeholder listen over alle datanoder. Dette skal også opdateres for at sikre eventuelle problemer i fremtidig hadoop-dæmon start / stop.
Det vigtige trin i dataknudeprovisionsprocessen er at køre Cluster Balancer.
> hadoop balancer-tærskel 40
Balancer forsøger at tilvejebringe en balance til en bestemt tærskel blandt datanoder ved at kopiere blokdata fra ældre noder til nyligt bestilte noder.
Så det er sådan, du kan gøre - Idriftsættelse og Nedlukning Knuder i en Hadoop-klynge.
Har du et spørgsmål til os? Nævn det i kommentarfeltet, så vender vi tilbage til dig.
Relaterede links: