Med øget anvendelse af Hadoop i traditionelle virksomheds-IT-løsninger og øget antal Hadoop-implementeringer i produktionsmiljø bliver behovet for Hadoop Operations- og Administration-eksperter til at tage sig af de store Hadoop-klynger.
Hadoop-administratoransvar:
- Ansvarlig for implementering og løbende administration af Hadoop infrastruktur.
- Tilpasser sig systemteknikholdet til at foreslå og implementere nye hardware- og softwaremiljøer, der kræves for Hadoop, og udvide eksisterende miljøer.
- Arbejder med dataleveringsteams til opsætning af nye Hadoop-brugere. Dette job inkluderer opsætning af Linux-brugere, opsætning af Kerberos-principper og test af HDFS, Hive, Pig og MapReduce adgang for de nye brugere.
- Clustervedligeholdelse samt oprettelse og fjernelse af noder ved hjælp af værktøjer som Ganglia, Nagios, Cloudera Manager Enterprise, Dell Open Manage og andre værktøjer.
- Performance tuning af Hadoop klynger og Hadoop MapReduce rutiner.
- Skærm Hadoop klynge jobpræstationer og kapacitetsplanlægning
- Overvåg Hadoop-klyngeforbindelse og sikkerhed
- Administrer og gennemgå Hadoop-logfiler.
- Filsystemstyring og -overvågning.
- HDFS support og vedligeholdelse.
- Flittigt samarbejde med infrastruktur-, netværks-, database-, applikations- og business intelligence-teams for at garantere høj datakvalitet og tilgængelighed.
- Samarbejde med applikationsteams om installation af operativsystem- og Hadoop-opdateringer, programrettelser, versionopgraderinger efter behov.
- Kontaktpunkt for eskalering af leverandør
Hadoop Administration er en givende og lukrativ karriere med masser af vækstmuligheder. Hvis jobansvaret, der er anført ovenfor, interesserer dig, er det tid til at uddybe Hadoop Administration og komme på Hadoop Admin-karrierevejen.
indstil java classpath windows 7
DBA-ansvar udført af en Hadoop-administrator:
- Datamodellering, design og implementering baseret på anerkendte standarder.
- Installation og konfiguration af software.
- Database backup og gendannelse.
- Databaseforbindelse og sikkerhed.
- Ydelsesovervågning og tuning.
- Diskpladsstyring.
- Softwarepatches og opgraderinger.
- Automatiser manuelle opgaver.
DWH-udviklingsansvar udført af Hadoop-administrator:
DWH indrømmer jobansvar inkluderer udvikling, test og overvågning af batchjobs for følgende opgaver:
- Sikre referenceintegritet.
- Udfør primær nøgleudførelse.
- Udfør datatilpasninger.
- Indlæs store datamængder rettidigt.
Nu hvor du kender jobansvaret for en Hadoop-administrator, skal vi se på de færdigheder, der kræves for at være en.
Færdigheder, der kræves for at blive Hadoop-administrator:
- Generel operationel ekspertise såsom gode fejlfindingsfærdigheder, forståelse af systemets kapacitet, flaskehalse, grundlæggende hukommelse, CPU, OS, opbevaring og netværk.
- Hadoop dygtighed HBase, Hive, Pig, Mahout osv.
- De mest væsentlige krav er: De skal være i stand til at distribuere Hadoop-klynge, tilføje og fjerne noder, holde styr på job, overvåge kritiske dele af klyngen, konfigurere navn-node høj tilgængelighed, planlægge og konfigurere det og tage sikkerhedskopier.
- Godt kendskab til Linux, da Hadoop kører på Linux.
- Kendskab til open source konfigurationsstyrings- og implementeringsværktøjer såsom Puppet eller Chef og Linux scripting.
- Kendskab til fejlfinding af Core Java-applikationer er et plus.
Edureka har specielt kurateret et kursus om Hadoop Administration. Klik på knappen nedenfor for at komme i gang med Hadoop Administration og lære, hvordan kurset hjælper dig med at blive Hadoop-administrator.
Relaterede indlæg:
binær til decimal java-kode