I denne digitale tidsalder er behovet for at indsamle data og analysere dem i realtid næsten obligatorisk, da beslutningstagerne er begyndt at forstå værdien af realtidsdata, der afspejler den nuværende forretningssituation. Dette er set i stort set alle brancher. Realtidsdata er nu en af måderne til at kvantificere ydeevne og hurtigt tage de nødvendige handlinger. På grund af disse grunde har realtidsanalyser fået popularitet, og i de kommende måneder kan vi forvente at være vidne til et kæmpe skift i Big Data og Analytics, fra batch til næsten realtidsbehandling. Apache-projekter som Kafka, Storm og Spark er fortsat populære når det kommer til stream-behandling. I årenes løb er ingeniører også begyndt at integrere Kafka med Storm og Spark. Desuden styrker Confluent, en ny opstart grundlagt af grundlæggerne af Kafka, Kafka-spillet. Dette har givet anledning til en lang række karrieremuligheder i Apache Kafka over hele kloden.
Før vi går videre til 'kødet' af emnet, skal vi kigge hurtigt på, hvad Apache Kafka handler om, og hvad det gør.
Hvad er Apache Kafka?
Kafka er et open source-meddelelsesmæglerprojekt udviklet af Apache Software Foundation og er skrevet på Scala-sproget. Kafkas mål er at tilvejebringe en samlet platform med høj gennemstrømning og lav latens til håndtering af datafeeds i realtid. Kafkas design er overvejende baseret på transaktionslogfiler.
Når det bruges til den rigtige brugssag, har Kafka unikke attributter, der gør det til en meget attraktiv mulighed for dataintegration. Funktioner som skalerbarhed, datadeling, lav ventetid og evnen til at håndtere et stort antal forskellige forbrugere gør det til en god pasform til dataintegrationsrelaterede brugssager.
De andre anvendelser til Kafka er sporing af webstedsaktivitet, operationelle metrics, logaggregation og streambehandling.
Populariteten af Apache Kafka
Kafka er så populær, at den for nylig var blevet medlem af de fire komma klubber efter at have ramt 1.1 billioner beskeder om dagen (1.100.000.000.000 - fire kommaer ... får du det?). LinkedIn's implementering af Apache Kafka har overgået 1.1 billioner og er langt den største implementering af Kafka i produktion i enhver organisation.
Kafka havde en alvorlig indvirkning på LinkedIn's evne til at tackle data, der tidligere var utilgængelige, men som nu er spontant tilgængelige til behandling. Data som brugeraktivitetsdata og logdata, der ikke tidligere kunne indsamles i LinkedIn's ældre systemer, indsamles nu let ved hjælp af Kafka. Kafka spiller en kritisk rolle i udformningen af LinkedIn's infrastruktur såvel som den for de hundreder af andre organisationer, der har vedtaget Kafka.
hvordan man bruger stikkontakter i java
Dice analyserede for nylig sine online jobannoncer og identificerede tekniske færdigheder, der er steget i luften med hensyn til efterspørgsel. Resultatet var, at Kafka nåede toppen 10. Det er tydeligt, at Kafka-færdigheder bliver vigtige.
Apache Kafka Karrierer:
Lad os se på jobtrenden for Kafka ud fra et globalt eller slags globalt synspunkt. Selvom folketællingen kun tilhører Storbritannien og USA, giver det os en meget god idé om, hvordan Kafka har det (Kilde: Faktisk jobtrends)
Fra ovenstående billede er det tydeligt, at Kafka har gjort det ret godt. Kafka er steget op på rang og har mere end det dobbelte af antallet af job end i 2014.
En lignende tendens er blevet observeret på Indeed, en populær amerikansk-baseret jobportal.
Apache Kafka Løn Trends:
Kafka har været det sidste nye slagord, når det kommer til realtidsbehandling. Da efterspørgslen er stor, og teknologien som sådan klarer sig godt, er lønpakken for fagfolk med Kafka-dygtighed i overensstemmelse med industristandarder.
Ifølge Indeed er den gennemsnitlige løn for Kafka professional 122.000 USD om året . Dette er 112% højere end gennemsnitslønnen for andre job. Lønudviklingen indikerer også en stabil og zoomende vækst fra begyndelsen af 2015, der stadig er stigende.
Nu hvor vi har konstateret, at Apache Kafka er 'hot', skal vi se på, hvem der har brug for denne færdighed.
brug python i visual studio
Hvem skal lære Apache Kafka?
Kafka er en must-have færdighed for dem, der ønsker at lære Kafka teknikker og anbefales stærkt til følgende fagfolk:
- Udviklere, der ønsker at fremskynde deres karriere som 'Kafka Big Data Developer'.
- Test af fagfolk, der i øjeblikket arbejder på kø- og meddelelsessystemer.
- Big Data Architects, der gerne vil inkludere Kafka i deres økosystem.
Projektledere involveret i projekter relateret til messaging-systemer.
Konklusion:
Apache Kafka er blevet en de facto-standard for dataanalyse i realtid, og LinkedIn er ikke det eneste firma, der udnytter store datastrømme. Med Kafka kan man være sikker på at udmærke sig i deres Big Data Analytics-karriere.
Har du et spørgsmål til os? Nævn dem i kommentarfeltet, så vender vi tilbage til dig.
Relateret indlæg: