Struttura del corso

Introduzione

Panoramica di Spark Streaming Funzionalità e architettura

  • Origini dati supportate
  • API di base

Preparazione dell'ambiente

  • Dipendenze
  • Spark e contesto di streaming
  • Collegamento a Kafka

Elaborazione dei messaggi

  • Analisi dei messaggi in ingresso come JSON
  • Processi ETL
  • Avvio del contesto di streaming

Esecuzione di una finestra Stream Processing

  • Intervallo di scorrimento
  • Configurazione del recapito del checkpointCheckpoint delivery configuration
  • Lanciare l'ambiente

Prototipazione del codice di elaborazione

  • Collegamento a un argomento di Kafka
  • Recupero di JSON dall'origine dati tramite Paw
  • Variazioni e lavorazioni aggiuntive

Streaming del codice

  • Variabili di controllo del lavoro
  • Definizione dei valori da abbinare
  • Funzioni e condizioni

Acquisizione dell'output del flusso

  • Contatori
  • Output Kafka (abbinato e non abbinato)

Risoluzione dei problemi

Riassunto e conclusione

Requisiti

  • Esperienza con Python e Apache Kafka
  • Familiarità con le piattaforme di elaborazione dei flussi

Pubblico

  • Ingegneri dei dati
  • Scienziati dei dati
  • Programmatori
 7 ore

Numero di Partecipanti



Prezzo per Partecipante

Recensioni (5)

Corsi relativi

Categorie relative