Vi har lært at gøre det Byg Hive og Garn på Spark . Lad os nu prøve eksempler på bikube og garn på gnist.
Hive-eksempel på gnist
Vi kører et eksempel på Hive on Spark. Vi opretter en tabel, indlæser data i denne tabel og udfører en simpel forespørgsel. Når man arbejder med Hive, skal man konstruere en HiveContext som arver fra SQLContext .
Kommando: cd gnist-1.1.1
Kommando: ./bin/spark-shell
Opret en inputfil 'prøve' i dit hjemmekatalog som nedenstående snapshot (fane adskilt).
Kommando: val sqlContext = ny org.apache.spark.sql.hive.HiveContext (sc)
Kommando: sqlContext.sql (“OPRET TABEL HVIS IKKE EKSISTER test (navn STRING, rang INT) RÅFORMAT AFGRÆNSET FELTER AFSLUTTET AF‘ ‘LINJER AFSLUTTET AF‘
‘”)
Kommando: sqlContext.sql ('LOAD DATA LOCAL INPATH '/ home / edureka / sample' INTO TABLE test')
java system.exit (0)
Kommando: sqlContext.sql (“VÆLG * FRA test HVOR rang<5”).collect().foreach(println)
Garneksempel på gnist
Vi kører SparkPi-eksemplet på Garn. Vi kan distribuere Garn på gnist i to tilstande: klyngetilstand og klienttilstand. I garn-klyngetilstand kører Spark-driveren inde i en applikationsmasteproces, der styres af Garn i klyngen, og klienten kan gå væk, efter at applikationen er startet. I garn-klient-tilstand kører driveren i klientprocessen, og applikationsmasteren bruges kun til at anmode om ressourcer fra Garn.
Kommando: cd gnist-1.1.1
Kommando: SPARK_JAR =. / Forsamling / mål / scala-2.10 / gnist-samling-1.1.1-hadoop2.2.0.jar ./bin/spark-submit –mastergarn –deploy-mode-klynge –klasse org.apache.spark.examples. SparkPi –num-executors 1 –driverhukommelse 2g –executor-memory 1g –executor-cores 1 eksempler / target / scala-2.10 / gnist-eksempler-1.1.1-hadoop2.2.0.jar
Når du har udført ovenstående kommando, skal du vente et stykke tid, indtil du får det GODT besked.
Gennemse localhost: 8088 / klynge og klik på Spark-applikationen.
Java-programmer til Fibonacci-serier
Klik på logfiler .
Klik på stdout for at kontrollere output.
For at implementere Garn på Spark i klienttilstand skal du bare lave –Deploy-mode som 'klient'. Nu ved du hvordan man bygger Hive and Garn on Spark. Vi lavede også praktiske oplysninger om dem.
Har du et spørgsmål til os? Nævn dem i kommentarfeltet, så vender vi tilbage til dig.
Relaterede indlæg
Apache Spark med Hadoop - Hvorfor betyder det noget?
Hive & Garn Bliv elektrificeret af gnist