I dette indlæg vil jeg tale om Apache Pig-installation på Linux . Lad os starte med den grundlæggende definition af Apache Pig og Pig Latin.
Apache Pig er et værktøj / platform til oprettelse og udførelse af Map Reduce-program, der bruges med Hadoop. Det er et værktøj / platform til analyse af store datasæt. Du kan sige, Apache Pig er en abstraktion over MapReduce. Programmører, der ikke er så gode til Java, kæmpede ofte med at arbejde på Hadoop, hovedsageligt mens de skrev MapReduce-job.Så det er et vigtigt emne at lære og mestre for .Apache Pig har sit eget sprog Gris Latin hvilket er velsignet for dårlige programmører.
En grundlæggende introduktion til Pig Latin hjælper dig med at forstå bedre:
Det proceduremæssige sprog på højt niveau, der bruges i Apache Pig-platformen, kaldes Gris Latin . Apache Pig har 'Pig Latin', som er et relativt enklere sprog, der kan køre over distribuerede datasæt på Hadoop File System (HDFS). I Apache Pig skal du skrive Pig-scripts ved hjælp af Pig Latin-sprog, som bliver konverteret til MapReduce-job, når du kører dit Pig-script. Apache Pig har forskellige operatører, der bruges til at udføre opgaverne som at læse, skrive, behandle dataene. For at lære om Apache Pig-operatører, gå til vores blog “ Operatører i Apache Pig: Del 1 - Relationelle operatører ”.
Nu hvor du har grundlæggende forståelse af Apache Pig, lad os starte med Apache Pig Installation på Linux.
Apache Pig Installation på Linux:
Nedenfor er trinene til installation af Apache Pig på Linux (ubuntu / centos / windows ved hjælp af Linux VM). Jeg bruger Ubuntu 16.04 i nedenstående opsætning.
Trin 1: Hent Svin tjære fil.
Kommando: wget http://www-us.apache.org/dist/pig/pig-0.16.0/pig-0.16.0.tar.gz
Trin 2: Uddrag tjære fil ved hjælp af tjærkommandoen. I neden under tjærekommando, x betyder udtræk af en arkivfil, med betyder at filtrere et arkiv gennem gzip, f betyder filnavn på en arkivfil.
Kommando: tjære -xzf svin-0.16.0.tar.gz
Kommando: ls
er-et forhold i java
Trin 3: Rediger “ .bashrc ”-Fil for at opdatere miljøvariablerne i Apache Pig. Vi indstiller det, så vi kan få adgang til gris fra enhver mappe, vi behøver ikke gå til grisekatalog for at udføre svinekommandoer. Også, hvis nogen anden applikation leder efter Pig, lærer den stien til Apache Pig fra denne fil.
Kommando: sudo gedit .bashrc
Tilføj følgende i slutningen af filen:
# Indstil PIG_HOME
eksporter PIG_HOME = / home / edureka / pig-0.16.0
eksporter PATH = $ PATH: /home/edureka/pig-0.16.0/bin
eksporter PIG_CLASSPATH = $ HADOOP_CONF_DIR
Sørg også for, at hadoop-stien også er indstillet.
Kør under kommandoen for at få ændringerne opdateret i samme terminal.
Kommando: kilde .bashrc
Trin 4: Tjek version af svin. Dette er for at teste, at Apache Pig blev installeret korrekt. Hvis du ikke får Apache Pig-versionen, skal du kontrollere, om du har fulgt ovenstående trin korrekt.
Kommando: svin -version
Trin 5 :Tjek svinehjælp for at se alle grisekommandomulighederne.
Kommando: svin -hjælp
Trin 6 :Kør gris for at starte grynten shell. Grunt shell bruges til at køre gris latinske scripts.
Kommando: svin
vifte af klasseobjekter java
Hvis du ser på billedet ovenfor korrekt, har Apache Pig to tilstande, hvor det kan køre, som standard vælger det MapReduce-tilstand. Den anden tilstand, hvor du kan køre gris, er lokal tilstand. Lad mig fortælle dig mere om dette.
Udførelsesmetoder i Apache Pig:
- MapReduce Mode - Dette er standardtilstanden, som kræver adgang til en Hadoop-klynge og HDFS-installation. Da dette er en standardtilstand, er det ikke nødvendigt at angive -x-flag (du kan udføre svin ELLER gris -x kortreduktion ). Input og output i denne tilstand er til stede på HDFS.
- Lokal tilstand - Med adgang til en enkelt maskine installeres og køres alle filer ved hjælp af et lokalt værts- og filsystem. Her angives den lokale tilstand ved hjælp af '-x flag' ( gris -x lokal ). Input og output i denne tilstand er til stede på det lokale filsystem.
Kommando: gris -x lokal
Du kan gennemgå nedenstående video for at se Apache Pig Installation på Linux:
Installation af Apache Pig | Grisinstallation på Linux | Edureka
Nu hvor du er færdig med Apache Pig Installation på Linux, er det næste skridt fremad at prøve nogle relationelle griseoperatører på Pig Grunt shell. Derfor er den næste blog “ Operatører i Apache Pig: Del 1 - Relationelle operatører ”Hjælper dig med at mestre griseoperatører.
Nu hvor du har installeret Apache Pig på Linux, skal du tjekke af Edureka, et pålideligt online læringsfirma med et netværk på mere end 250.000 tilfredse elever spredt over hele kloden. Edureka Big Data Hadoop-certificeringskursus hjælper elever med at blive eksperter i HDFS, Garn, MapReduce, Pig, Hive, HBase, Oozie, Flume og Sqoop ved hjælp af realtidsanvendelsessager på Retail, Social Media, Aviation, Tourism, Finance domæne.
Har du et spørgsmål til os? Nævn det i kommentarfeltet, og vi vender tilbage til dig.