Apache Flink er en open source-platform til distribueret stream og batch databehandling. Det kan køre på Windows, Mac OS og Linux OS. Lad os i dette blogindlæg diskutere, hvordan du konfigurerer Flink-klyngen lokalt. Det svarer til Spark på mange måder - det har API'er til behandling af graf og maskinindlæring som Apache Spark - men Apache Flink og Apache Spark er ikke nøjagtigt de samme.
For at oprette Flink-klynge skal du have java 7.x eller højere installeret på dit system. Da jeg har Hadoop-2.2.0 installeret i min ende på CentOS (Linux), har jeg downloadet Flink-pakke, som er kompatibel med Hadoop 2.x. Kør under kommandoen for at downloade Flink-pakken.
Kommando: wget http://archive.apache.org/dist/flink/flink-1.0.0/flink-1.0.0-bin-hadoop2-scala_2.10.tgz
Untar filen for at hente flink-biblioteket.
abstrakt klasse og interface forskel
Kommando: tar -xvf Downloads / flink-1.0.0-bin-hadoop2-scala_2.10.tgz
Kommando: ls
Tilføj Flink-miljøvariabler i .bashrc-filen.
Kommando: sudo gedit .bashrc
Du skal køre nedenstående kommando, så ændringerne i .bashrc-filen aktiveres
Kommando: kilde .bashrc
Gå nu til flink-biblioteket og start klyngen lokalt.
Kommando: cd hefty-1.0.0
Kommando: bin / start-local.sh
Når du har startet klyngen, vil du kunne se en ny dæmon JobManager køre.
Kommando: jps
Åbn browseren, og gå til http: // localhost: 8081 for at se Apache Flink web UI.
Lad os køre et simpelt ordtællingseksempel ved hjælp af Apache Flink.
Inden du kører eksemplet, skal du installere netcat på dit system (sudo yum install nc).
Kør nu kommandoen nedenfor i en ny terminal.
Kommando: nc -lk 9000
Kør nedenstående kommando i flinkterminalen. Denne kommando kører et program, der tager de streamede data som input og udfører ordtælling på de streamede data.
Kommando: bin / flink run eksempler / streaming / SocketTextStreamWordCount.jar –hostname localhost –port 9000
På web-brugergrænsefladen vil du kunne se et job i kørende tilstand.
Kør under kommandoen i en ny terminal, dette udskriver de data, der streames og behandles.
Kommando: tail -f log / flink - * - jobmanager - *. ud
er en vs har en java
Gå nu til terminalen, hvor du startede netcat, og skriv noget.
I det øjeblik du trykker på enter-knappen på dit nøgleord, efter at du har skrevet nogle data på netcat-terminalen, vil ordtælling blive anvendt på disse data, og output vil blive udskrevet her (flinks jobmanager-log) inden for millisekunder!
Inden for en meget kort tidsperiode streames, behandles og udskrives data.
Der er meget mere at lære om Apache Flink. Vi vil berøre andre Flink-emner i vores kommende blog.
Har du et spørgsmål til os? Nævn dem i kommentarsektionen, så vender vi tilbage til dig.
Relaterede indlæg:
Apache Falcon: Ny datastyringsplatform til Hadoop-økosystemet