Stream processing Formazione in Genova

Confluent Apache Kafka è una piattaforma di streaming di eventi distribuita e aziendale basata su Apache Kafka. Supporta pipeline di dati ad alta throughput, tolleranti ai guasti e applicazioni di streaming in tempo reale.

Questo training interattivo (online o sul posto) è rivolto a ingegneri ed amministratori di livello intermedio che desiderano distribuire, configurare ed ottimizzare cluster Confluent Kafka in ambienti di produzione.

Alla fine del training, i partecipanti saranno in grado di:

• Installare, configurare e gestire cluster Confluent Kafka con più broker.
• Progettare configurazioni ad alta disponibilità utilizzando Zookeeper e tecniche di replica.
• Ottimizzare le prestazioni, monitorare metriche ed applicare strategie di recupero.
• Sicurezza, scalabilità ed integrazione di Kafka con ambienti aziendali.

Formato del Corso

• Lecture interattiva e discussione.
• Molte esercitazioni e pratica.
• Esecuzione diretta in un ambiente di laboratorio live.

Opzioni di Personalizzazione del Corso

• Per richiedere un training personalizzato per questo corso, contattateci per organizzare.

Confluent Apache Kafka è una piattaforma distribuita di streaming eventi progettata per pipeline di dati ad alta velocità di trasmissione, tolleranza ai guasti e analisi in tempo reale.

Questo corso guidato da un insegnante (online o presenza) si rivolge a amministratori sistemi intermedi ed professionisti DevOps che desiderano installare, configurare, monitorare e risolvere i problemi dei cluster Confluent Apache Kafka.

Al termine di questo corso, i partecipanti saranno in grado di:

• Capire i componenti e l'architettura di Confluent Kafka.
• Distribuire e gestire broker Kafka, quorum Zookeeper ed i servizi chiave.
• Configurare funzionalità avanzate come sicurezza, replica e ottimizzazione delle prestazioni.
• Utilizzare strumenti di gestione per monitorare e mantenere cluster Kafka.

Formato del Corso

• Lectura interattiva e discussione.
• Molte esercitazioni ed esperienze pratiche.
• Possedera un'implementazione pratica in un ambiente di laboratorio live.

Opzioni di Personalizzazione del Corso

• Per richiedere una formazione personalizzata per questo corso, si prega di contattarci per organizzare.

Apache Beam è un modello di programmazione unificato open source per la definizione e l'esecuzione di pipeline di elaborazione dati parallele. La sua potenza risiede nella sua capacità di eseguire pipeline batch e di streaming, con l'esecuzione eseguita da uno dei back-end di elaborazione distribuita supportati da Beam: Apache Apex, Apache Flink, Apache Spark e Google Cloud Dataflow. Apache Beam è utile per le attività ETL (Extract, Transform, and Load) come lo spostamento di dati tra diversi supporti di archiviazione e origini dati, la trasformazione dei dati in un formato più desiderabile e il caricamento dei dati su un nuovo sistema.

In questo corso di formazione dal vivo con istruttore (in loco o remoto), i partecipanti impareranno come implementare gli SDK Apache Beam in un'applicazione Java o Python che definisce una pipeline di elaborazione dati per la scomposizione di un set di dati di grandi dimensioni in blocchi più piccoli per l'elaborazione parallela indipendente.

Al termine di questo corso di formazione, i partecipanti saranno in grado di:

• Installare e configurare Apache Beam.
• Utilizzare un unico modello di programmazione per eseguire sia l'elaborazione batch che quella in flusso dall'interno dell'applicazione Java o Python.
• Esegui pipeline in più ambienti.

Formato del corso

• In parte lezione, in parte discussione, esercizi e pratica pratica pesante

Nota

• Questo corso sarà disponibile Scala in futuro. Vi preghiamo di contattarci per organizzare.

questo istruttore, Live Training (on-site o remote) è rivolto a ingegneri che desiderano utilizzare Confluent (una distribuzione di Kafka) per costruire e gestire una piattaforma di elaborazione dati in tempo reale per le loro applicazioni.

entro la fine di questa formazione, i partecipanti saranno in grado di:

• Installare e configurare il Confluent Platform.
• Utilizzare gli strumenti e servizi di gestione di Confluent per eseguire Kafka in modo più semplice.
• Archiviare e processare i dati del flusso in arrivo.
• Ottimizzare e gestire i cluster Kafka.
• Sicurare i flussi di dati.

formato del corso

• Lettura interattiva e discussione.
• Molte esercitazioni e pratica.
• Possedere l'implementazione in un ambiente live-lab.

corso opzioni di personalizzazione

• Questo corso si basa sulla versione open source di Confluent: Confluent Open Source.
• Per richiedere una formazione personalizzata per questo corso, contattateci per organizzare.

Questo corso di formazione dal vivo con istruttore in Genova (online o in loco) introduce i principi e gli approcci alla base dell'elaborazione distribuita di flussi e batch di dati e guida i partecipanti attraverso la creazione di un'applicazione di streaming di dati in tempo reale in Apache Flink.

Al termine di questo corso di formazione, i partecipanti saranno in grado di:

• Configurare un ambiente per lo sviluppo di applicazioni di analisi dei dati.
• Scopri come funziona la libreria di elaborazione grafica (Gelly) di Apache Flink.
• Crea pacchetti, esegui e monitora applicazioni di streaming di dati basate su Flink e tolleranti ai guasti.
• Gestisci carichi di lavoro diversi.
• Esegui analisi avanzate.
• Configura un cluster Flink multi-nodo.
• Misura e ottimizza le prestazioni.
• Integra Flink con diversi sistemi Big Data.
• Confronta le funzionalità di Flink con quelle di altri framework di elaborazione dei big data.

In questo corso di formazione dal vivo con istruttore in Genova (in loco o in remoto), i partecipanti impareranno come impostare e integrare diversi Stream Processing framework con i sistemi di archiviazione dei big data esistenti e le relative applicazioni software e microservizi.

Al termine di questa formazione, i partecipanti saranno in grado di:

• Installare e configurare diversi framework Stream Processing, ad esempio Spark Streaming e Kafka Streaming.
• Comprendere e selezionare il framework più appropriato per il lavoro.
• Elaborazione dei dati in modo continuo, simultaneo e record per record.
• Integrare Stream Processing le soluzioni con database, data warehouse, data lake, ecc. esistenti.
• Integra la libreria di elaborazione dei flussi più appropriata con le applicazioni e i microservizi aziendali.

Questo corso di formazione dal vivo con istruttore in Genova (online o in loco) è rivolto a ingegneri dei dati, data scientist e programmatori che desiderano utilizzare le funzionalità Apache Kafka nello streaming di dati con Python.

Al termine di questa formazione, i partecipanti saranno in grado di utilizzare Apache Kafka per monitorare e gestire le condizioni in flussi di dati continui utilizzando la programmazione Python.

Kafka Streams è una libreria lato client per la creazione di applicazioni e microservizi i cui dati vengono trasmessi da e verso un sistema di messaggistica Kafka. Tradizionalmente, Apache Kafka ha fatto affidamento su Apache Spark o Apache Storm per elaborare i dati tra produttori di messaggi e consumatori. Chiamando l'API Kafka Streams dall'interno di un'applicazione, i dati possono essere elaborati direttamente all'interno di Kafka, evitando la necessità di inviare i dati a un cluster separato per l'elaborazione.

In questo corso di formazione dal vivo con istruttore, i partecipanti impareranno come integrare Kafka Streams in una serie di applicazioni Java di esempio che trasmettono dati da e verso Apache Kafka per l'elaborazione in streaming.

Al termine di questa formazione, i partecipanti saranno in grado di:

• Capire le caratteristiche e gli vantaggi di Kafka Streams rispetto ad altri framework di elaborazione di flussi
• Elaborare dati di flusso direttamente all'interno di un cluster Kafka
• Sviluppare un'applicazione o microservizio Java o Scala che si integra con Kafka e Kafka Streams
• Scrivere codice conciso che trasforma i topic di input Kafka in topic di output Kafka
• Compilare, pacchettizzare e distribuire l'applicazione

Pubblico

• Sviluppatori

Formato del corso

• Parte lezione, parte discussione, esercizi e pratica intensiva

Gli appunti

• Per richiedere una formazione personalizzata per questo corso, si prega di contattarci per organizzare

Questo corso di formazione dal vivo con istruttore in Genova (online o in loco) è rivolto agli sviluppatori che desiderano implementare l'elaborazione di flussi Apache Kafka senza scrivere codice.

Al termine di questo corso di formazione, i partecipanti saranno in grado di:

• Installare e configurare Confluent KSQL.
• Impostare una pipeline di elaborazione del flusso utilizzando solo i comandi SQL (nessuna codifica Java o Python).
• Esegui il filtraggio dei dati, le trasformazioni, le aggregazioni, i join, il windowing e la sessionizzazione interamente in SQL.
• Progetta e distribuisci query interattive e continue per lo streaming ETL e l'analisi in tempo reale.

In questo corso di formazione dal vivo con istruttore in Genova (in loco o in remoto), i partecipanti impareranno come implementare e gestire Apache NiFi in un ambiente di laboratorio dal vivo.

Al termine di questo corso di formazione, i partecipanti saranno in grado di:

• Installa e configura Apachi NiFi.
• Acquisisci, trasforma e gestisci i dati da fonti di dati distribuite e disparate, tra cui database e big data lake.
• Automatizza i flussi di dati.
• Abilita l'analisi in streaming.
• Applicare vari approcci per l'inserimento dei dati.
• Trasforma Big Data e trasforma in insight aziendali.

In questo corso di formazione dal vivo con istruttore in Genova, i partecipanti impareranno i fondamenti della programmazione basata sul flusso mentre sviluppano una serie di estensioni, componenti e processori demo utilizzando Apache NiFi.

Al termine di questo corso di formazione, i partecipanti saranno in grado di:

• Comprendi l'architettura e i concetti del flusso di dati di NiFi.
• Sviluppa estensioni utilizzando NiFi e API di terze parti.
• Sviluppare su misura il proprio processore Apache Nifi.
• Acquisisci ed elabora dati in tempo reale da formati di file e origini dati diversi e non comuni.

Questo corso di formazione dal vivo con istruttore in Genova (online o in loco) è rivolto a ingegneri dei dati, data scientist e programmatori che desiderano utilizzare Spark Streaming le funzionalità per l'elaborazione e l'analisi dei dati in tempo reale.

Al termine di questa formazione, i partecipanti saranno in grado di utilizzare Spark Streaming per elaborare flussi di dati in tempo reale da utilizzare in database, filesystem e dashboard in tempo reale.