Lad os se på denne blog, hvordan man bygger Spark til en bestemt Hadoop-version.
Vi lærer også, hvordan man bygger gnist med HIVE og garn.
hvordan man erklærer dynamisk array i java
I betragtning af at du har Hadoop, jdk, mvn og gå forudinstalleret og forudkonfigureret på dit system.
Åben Mozilla-browser og download Gnist ved hjælp af nedenstående link.
https://edureka.wistia.com/medias/k14eamzaza/
Åben terminal.
Kommando: tar -xvf Downloads / spark-1.1.1.tgz
Kommando: ls
Åbn kataloget gnist-1.1.1.
Du kan åbne pom.xml fil. Denne fil giver dig oplysninger om alle afhængigheder du mangler.
Rediger det ikke for at undgå problemer.
Kommando: cd spark-1.1.1 /
Kommando: sudo gedit sbt / sbt-launch-lib.bash
Rediger filen som nedenstående snapshot, gem den og luk den.
Vi reducerer hukommelsen for at undgå problem med objektbunkeplads som nævnt i nedenstående øjebliksbillede.
Kør nu kommandoen nedenfor i terminalen for at oprette gnist til Hadoop 2.2.0 med HIVE og YARN.
Kommando: ./sbt/sbt -P garn -P bikube -Phadoop-2.2 -D hadoop.version = 2.2.0 -D skipTests montage
Bemærk: Min Hadoop-version er 2.2.0, du kan ændre den i henhold til din Hadoop-version.
Til andre Hadoop-versioner
# Apache Hadoop 2.0.5-alpha
-Dhadoop.version = 2.0.5-alfa
#Cloudera CDH 4.2.0
-Dhadoop.version = 2.0.0-cdh4.2.0
# Apache Hadoop 0.23.x
-Phadoop-0,23 -Dhadoop.version = 0,23,7
# Apache Hadoop 2.3.X
-Phadoop-2.3 -Dhadoop.version = 2.3.0
# Apache Hadoop 2.4.X
-Phadoop-2.4 -Dhadoop.version = 2.4.0
Det tager lidt tid at kompilere og emballere. Vent til den er færdig.
To krukker gnist-samling-1.1.1-hadoop2.2.0.jar og gnist-eksempler-1.1.1-hadoop2.2.0.jar bliver skabt.
Sti til gnist-samling-1.1.1-hadoop2.2.0.jar : /home/edureka/spark-1.1.1/assemble/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar
Sti til gnist-eksempler-1.1.1-hadoop2.2.0.jar: /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar
Tillykke, du har med succes bygget Spark til Hive & Garn.
Har du et spørgsmål til os? Nævn dem i kommentarfeltet, så vender vi tilbage til dig.
Relaterede indlæg:
Apache Spark med Hadoop - Hvorfor betyder det noget?