Struttura del corso
Introduzione
Panoramica di Spark Streaming Funzionalità e architettura
- Origini dati supportate
- API di base
Preparazione dell'ambiente
- Dipendenze
- Spark e contesto di streaming
- Collegamento a Kafka
Elaborazione dei messaggi
- Analisi dei messaggi in ingresso come JSON
- Processi ETL
- Avvio del contesto di streaming
Esecuzione di una finestra Stream Processing
- Intervallo di scorrimento
- Configurazione del recapito del checkpointCheckpoint delivery configuration
- Lanciare l'ambiente
Prototipazione del codice di elaborazione
- Collegamento a un argomento di Kafka
- Recupero di JSON dall'origine dati tramite Paw
- Variazioni e lavorazioni aggiuntive
Streaming del codice
- Variabili di controllo del lavoro
- Definizione dei valori da abbinare
- Funzioni e condizioni
Acquisizione dell'output del flusso
- Contatori
- Output Kafka (abbinato e non abbinato)
Risoluzione dei problemi
Riassunto e conclusione
Requisiti
- Esperienza con Python e Apache Kafka
- Familiarità con le piattaforme di elaborazione dei flussi
Pubblico
- Ingegneri dei dati
- Scienziati dei dati
- Programmatori
Recensioni (5)
L'istruttore è stato molto disponibile a rispondere a tutti i tipi di domande che ho fatto
Caterina - Stamtech
Corso - Developing APIs with Python and FastAPI
Traduzione automatica
Esempi/esercizi perfettamente adattati al nostro settore
Luc - CS Group
Corso - Scaling Data Analysis with Python and Dask
Traduzione automatica
It was a though course as we had to cover a lot in a short time frame. Our trainer knew a lot about the subject and delivered the content to address our requirements. It was lots of content to learn but our trainer was helpful and encouraging. He answered all our questions with good detail and we feel that we learned a lot. Exercises were well prepared and tasks were tailored accordingly to our needs. I enjoyed this course
Bozena Stansfield - New College Durham
Corso - Build REST APIs with Python and Flask
Trasferimento delle conoscenze pratiche e dell'esperienza del formatore.
Rumel Mateusz - Pojazdy Szynowe PESA Bydgoszcz SA
Corso - GUI Programming with Python and PyQt
Traduzione automatica
As I was the only participant the training could be adapted to my needs.