Corso di formazione Una Introduzione Pratica allo Stream Processing
L'elaborazione di stream si riferisce all'elaborazione in tempo reale dei "dati in movimento", ovvero, l'esecuzione di calcoli sui dati mentre vengono ricevuti. Tali dati sono letti come flussi continui da fonti di dati come eventi di sensori, attività degli utenti sul web, transazioni finanziarie, passaggi di carte di credito, stream di click, ecc. Le piattaforme di elaborazione di stream sono in grado di leggere grandi volumi di dati in entrata e fornire preziosi insights quasi istantaneamente.
In questo training guidato dal docente (in sede o remoto), i partecipanti impareranno come configurare e integrare diverse piattaforme di elaborazione di stream con i sistemi di archiviazione dei dati big data esistenti e le applicazioni software e microservizi correlati.
Al termine di questo training, i partecipanti saranno in grado di:
- Installare e configurare diverse piattaforme di elaborazione di stream, come Spark Streaming e Kafka Streaming.
- Capire e selezionare la piattaforma più adatta per il compito.
- Elaborare i dati in modo continuo, concorrente e record per record.
- Integrare le soluzioni di elaborazione di stream con database esistenti, data warehouse, data lake, ecc.
- Integrare la libreria di elaborazione di stream più adatta con applicazioni aziendali e microservizi.
Pubblico
- Sviluppatori
- Architetti software
Formato del Corso
- Parte lezione, parte discussione, esercizi e pratica intensiva hands-on.
Note
- Per richiedere un training personalizzato per questo corso, contattateci per organizzare.
Struttura del corso
Introduzione
- Elaborazione a flusso vs elaborazione batch
- Elaborazione a flusso focalizzata sull'analitica
Panoramica dei Framework e dei Linguaggi di Programmazione
- Spark Streaming (Scala)
- Kafka Streaming (Java)
- Flink
- Storm
- Confronto delle Funzionalità e dei Punti di Forza di Ogni Framework
Panoramica delle Fonti Dati
- Dati live come serie di eventi nel tempo
- Fonti dati storiche
Opzioni di Distribuzione
- Nel cloud (AWS, ecc.)
- On premise (nuvola privata, ecc.)
Iniziare
- Configurazione dell'Ambiente di Sviluppo
- Installazione e Configurazione
- Valutazione delle Necessità di Analisi dei Dati
Gestione di un Framework a Flusso
- Integrazione del Framework a Flusso con Strumenti Big Data
- Elaborazione degli Eventi a Flusso (ESP) vs Elaborazione di Eventi Complessi (CEP)
- Trasformazione dei Dati in Entrata
- Ispezione dei Dati in Uscita
- Integrazione del Framework di Elaborazione a Flusso con Applicazioni e Microservizi Esistenti
Risoluzione dei Problemi
Sommario e Conclusioni
Requisiti
- Esperienza di programmazione in qualsiasi linguaggio
- Comprensione dei concetti di Big Data (Hadoop, ecc.)
I corsi di formazione interaziendali richiedono più di 5 partecipanti.
Corso di formazione Una Introduzione Pratica allo Stream Processing - Prenotazione
Corso di formazione Una Introduzione Pratica allo Stream Processing - Richiesta
Una Introduzione Pratica allo Stream Processing - Richiesta di consulenza
Richiesta di consulenza
Recensioni (1)
Sufficient hands on, trainer is knowledgable
Chris Tan
Corso - A Practical Introduction to Stream Processing
Corsi in Arrivo
Corsi relativi
Apache Kafka Connect
7 OreQuesto training guidato dal formatore (online o in loco) è rivolto a sviluppatori che desiderano integrare Apache Kafka con database e applicazioni esistenti per l'elaborazione, l'analisi, ecc.
Al termine di questo training, i partecipanti saranno in grado di:
- Utilizzare Kafka Connect per ingerire grandi quantità di dati da un database in topic Kafka.
- Ingerire dati di log generati dai server delle applicazioni in topic Kafka.
- Rendere disponibili tutti i dati raccolti per il processing a flusso continuo (stream processing).
- Esportare dati dai topic Kafka in sistemi secondari per la memorizzazione e l'analisi.
Creazione di Soluzioni Kafka con Confluent
14 OreQuesto corso di formazione guidato dal docente (online o in locale) è rivolto agli ingegneri che desiderano utilizzare Confluent (una distribuzione di Kafka) per costruire e gestire una piattaforma di elaborazione dei dati in tempo reale per le loro applicazioni.
Al termine di questo corso, i partecipanti saranno in grado di:
- Installare e configurare la Piattaforma Confluent.
- Utilizzare gli strumenti e i servizi di gestione di Confluent per facilitare l'esecuzione di Kafka.
- Archiviare e processare i dati di stream in entrata.
- Ottimizzare e gestire i cluster di Kafka.
- Sicureggiare i flussi di dati.
Formato del Corso
- Lezione interattiva e discussione.
- Molte esercitazioni e pratica.
- Implementazione pratica in un ambiente live-lab.
Opzioni di Personalizzazione del Corso
- Questo corso si basa sulla versione open source di Confluent: Confluent Open Source.
- Per richiedere una formazione personalizzata per questo corso, contattateci per organizzare l'evento.
Creazione di pipeline dati con Apache Kafka
7 OreApache Kafka è una piattaforma di streaming distribuita. È de facto uno standard per la costruzione di pipeline di dati e risolve molte situazioni diverse legate al processamento dei dati: può essere utilizzato come coda di messaggi, log distribuito, processore di flussi, ecc.
Inizieremo con alcune teorie sulle pipeline di dati in generale, poi continueremo con i concetti fondamentali dietro Kafka. Scopriremo anche componenti importanti come Kafka Streams e Kafka Connect.
Distributed Messaging with Apache Kafka
14 OreQuesto corso è rivolto ad architetti aziendali, sviluppatori, amministratori di sistema e a chiunque voglia comprendere e utilizzare un sistema di messaggistica distribuita ad alta capacità. Se hai requisiti più specifici (ad esempio solo l'aspetto dell'amministrazione del sistema), questo corso può essere personalizzato per soddisfare meglio le tue esigenze.
Kafka per Amministratori
21 OreQuesta formazione guidata dal docente (online o in loco) è rivolta agli amministratori di sistema che desiderano configurare, distribuire, gestire e ottimizzare un cluster Kafka aziendale di livello enterprise.
Al termine di questa formazione, i partecipanti saranno in grado di:
- Configurare e amministrare un Cluster Kafka.
- Valutare i vantaggi e gli svantaggi della distribuzione di Kafka on-premise o nel cloud.
- Distribuire e monitorare Kafka utilizzando varie strumenti on-premise e cloud.
Apache Kafka per Sviluppatori
21 OreQuesta formazione guidata dal docente in Italia (online o in loco) è rivolta a sviluppatori intermedi che desiderano sviluppare applicazioni Big Data con Apache Kafka.
Al termine di questa formazione, i partecipanti saranno in grado di:
- Sviluppare produttori e consumer Kafka per inviare e leggere dati da Kafka.
- Integrare Kafka con sistemi esterni utilizzando Kafka Connect.
- Sviluppare applicazioni di streaming con Kafka Streams & ksqlDB.
- Integrare un'applicazione client Kafka con Confluent Cloud per deployment basati sul cloud.
- Acquisire esperienza pratica attraverso esercizi pratici e casi di utilizzo reali.
Apache Kafka per Programmatori Python
7 OreQuesto corso di formazione dal vivo con istruttore in Italia (online o in loco) è rivolto a ingegneri dei dati, data scientist e programmatori che desiderano utilizzare le funzionalità Apache Kafka nello streaming di dati con Python.
Al termine di questa formazione, i partecipanti saranno in grado di utilizzare Apache Kafka per monitorare e gestire le condizioni in flussi di dati continui utilizzando la programmazione Python.
Sicurezza per Apache Kafka
7 OreQuesto corso di formazione guidato dal docente (online o in loco) è rivolto a tester software che desiderano implementare misure di sicurezza della rete in un'applicazione Apache Kafka.
Al termine di questo corso, i partecipanti saranno in grado di:
- Distribuire Apache Kafka su un server basato sul cloud.
- Implementare la crittografia SSL per prevenire attacchi.
- Aggiungere l'autenticazione ACL per monitorare e controllare l'accesso degli utenti.
- Garantire che i client affidabili abbiano accesso ai cluster Kafka con l'autenticazione SSL e SASL.
Apache Kafka e Spring Boot
7 OreQuesto corso, guidato da un insegnante (online o in loco), è rivolto a sviluppatori di livello intermedio che desiderano apprendere i fondamenti di Kafka e integrarlo con Spring Boot.
Al termine di questo corso, i partecipanti saranno in grado di:
- Comprendere Kafka e la sua architettura.
- Imparare come installare, configurare e impostare un ambiente Kafka di base.
- Integrare Kafka con Spring Boot.
Stream Processing con Kafka Streams
7 OreKafka Streams è una libreria lato client per creare applicazioni e microservizi i cui dati vengono trasmessi a e da un sistema di messaggistica Kafka. Tradizionalmente, Apache Kafka ha fatto affidamento su Apache Spark o Apache Storm per elaborare i dati tra produttori e consumer di messaggi. Chiamando l'API di Kafka Streams all'interno di un'applicazione, i dati possono essere elaborati direttamente all'interno di Kafka, senza la necessità di inviare i dati a un cluster separato per l'elaborazione.
In questo training guidato dal formatore e live, i partecipanti impareranno come integrare Kafka Streams in un insieme di applicazioni Java di esempio che trasmettono dati a e da Apache Kafka per il processing di stream.
Al termine di questo training, i partecipanti saranno in grado di:
- Comprendere le caratteristiche e i vantaggi di Kafka Streams rispetto ad altri framework di processing di stream
- Elaborare dati di stream direttamente all'interno di un cluster Kafka
- Scrivere un'applicazione o microservizio in Java o Scala che si integra con Kafka e Kafka Streams
- Scrivere codice conciso che trasforma topic di input Kafka in topic di output Kafka
- Costruire, imballare e distribuire l'applicazione
Pubblico target
- Sviluppatori
Formato del corso
- Parte lezione, parte discussione, esercizi e pratica intensiva con mano al codice
Note
- Per richiedere un training personalizzato per questo corso, si prega di contattarci per organizzare l'evento
Administration of Kafka Topic
14 OreQuesto corso di formazione dal vivo con istruttore in Italia (online o in loco) è rivolto agli amministratori di sistema di livello principiante e intermedio che desiderano imparare a gestire in modo efficace gli argomenti Kafka per uno streaming e un'elaborazione efficienti dei dati.
Al termine di questa formazione, i partecipanti saranno in grado di:
- Comprendere i fondamenti e l'architettura dell'argomento Kafka.
- Creare, configurare e gestire argomenti Kafka.
- Monitorare gli argomenti di Kafka per l'integrità, le prestazioni e la disponibilità.
- Implementare misure di sicurezza per gli argomenti di Kafka.
SMACK Stack per la Scienza dei Dati
14 OreQuesto corso di formazione guidato dal docente (online o in loco) è rivolto ai data scientist che desiderano utilizzare il stack SMACK per costruire piattaforme di elaborazione dei dati per soluzioni a grandi dimensioni.
Al termine di questo corso, i partecipanti saranno in grado di:
- Implementare un'architettura della pipeline dei dati per l'elaborazione dei grandi volumi di dati.
- Sviluppare un'infrastruttura cluster con Apache Mesos e Docker.
- Analizzare i dati con Spark e Scala.
- Gestire dati non strutturati con Apache Cassandra.
Python e Spark per Big Data (PySpark)
21 OreIn questo corso di formazione dal vivo con istruttore in Italia, i partecipanti impareranno come utilizzare Python e Spark insieme per analizzare i big data mentre lavorano su esercizi pratici.
Al termine di questo corso di formazione, i partecipanti saranno in grado di:
- Scopri come utilizzare Spark con Python per analizzare Big Data.
- Lavora su esercizi che imitano casi del mondo reale.
- Utilizzare diversi strumenti e tecniche per l'analisi dei big data utilizzando PySpark.
Microservices con Spring Cloud e Kafka
21 OreQuesto training guidato dall'instruttore in Italia (online o in sede) è rivolto a sviluppatori che desiderano trasformare l'architettura tradizionale in un'architettura basata su microservizi altamente concorrenti utilizzando Spring Cloud, Kafka, Docker, Kubernetes e Redis.
Al termine di questo training, i partecipanti saranno in grado di:
- Configurare l'ambiente di sviluppo necessario per la costruzione di microservizi.
- Progettare e implementare un ecosystema di microservizi altamente concorrenti utilizzando Spring Cloud, Kafka, Redis, Docker e Kubernetes.
- Trasformare servizi monolitici e SOA in architetture basate su microservizi.
- Adottare un approccio DevOps per lo sviluppo, il test e la rilascio del software.
- Garantire alta concorrenza tra i microservizi in produzione.
- Sorvegliare i microservizi e implementare strategie di recupero.
- Eseguire il tuning delle prestazioni.
- Conoscere le tendenze future nell'architettura dei microservizi.
Stratio: Moduli Rocket e Intelligence con PySpark
14 OreStratio è una piattaforma centrata sui dati che integra big data, IA e governance in una singola soluzione. I moduli Rocket e Intelligence permettono l'esplorazione rapida dei dati, le trasformazioni e analisi avanzate negli ambienti aziendali.
Questo corso interattivo guidato da un istruttore (online o presenza) è rivolto a professionisti di livello intermedio che desiderano utilizzare efficacemente i moduli Rocket e Intelligence in Stratio con PySpark, focalizzandosi su strutture di loop, funzioni definite dall'utente e logica dei dati avanzata.
Alla fine del corso, i partecipanti saranno in grado di:
- Navigare e lavorare all'interno della piattaforma Stratio utilizzando i moduli Rocket e Intelligence.
- Applicare PySpark nel contesto di ingegneria dei dati, trasformazione e analisi.
- Utilizzare loop e logica condizionale per controllare i flussi di lavoro dei dati e le attività di ingegneria delle caratteristiche.
- Creare e gestire funzioni definite dall'utente (UDFs) per operazioni sui dati ripetibili in PySpark.
Formato del Corso
- Lezione interattiva e discussione.
- Numerose esercitazioni e pratica.
- Implementazione pratica in un ambiente di laboratorio live.
Opzioni per la Personalizzazione del Corso
- Per richiedere una formazione personalizzata su questo corso, si prega di contattarci per organizzare.