Corso di formazione A Practical Introduction to Stream Processing

Questo corso di formazione dal vivo con istruttore in Italia (online o in loco) è rivolto a ingegneri dei dati, data scientist e programmatori che desiderano utilizzare Spark Streaming funzionalità nell'elaborazione e nell'analisi dei dati in tempo reale.

Al termine di questa formazione, i partecipanti saranno in grado di utilizzare Spark Streaming per elaborare flussi di dati in tempo reale da utilizzare in database, file system e dashboard in tempo reale.

Questo corso di formazione dal vivo con istruttore in Italia (online o in loco) è rivolto agli sviluppatori che desiderano implementare l'elaborazione di flussi Apache Kafka senza scrivere codice.

Al termine di questa formazione, i partecipanti saranno in grado di:

• Installare e configurare Confluent KSQL.
• Configurare una pipeline di elaborazione dei flussi usando solo comandi SQL (nessuna codifica Java o Python).
• Esegui il filtraggio dei dati, le trasformazioni, le aggregazioni, i join, il windowing e la sessionizzazione interamente in SQL.
• Progetta e distribuisci query interattive e continue per lo streaming ETL e l'analisi in tempo reale.

Apache Ignite is an in-memory computing platform that sits between the application and data layer to improve speed, scale, and availability.

This instructor-led, live training (online or onsite) is aimed at developers who wish to learn the principles behind persistent and pure in-memory storage as they step through the creation of a sample in-memory computing project.

By the end of this training, participants will be able to:

• Use Ignite for in-memory, on-disk persistence as well as a purely distributed in-memory database.
• Achieve persistence without syncing data back to a relational database.
• Use Ignite to carry out SQL and distributed joins.
• Improve performance by moving data closer to the CPU, using RAM as a storage.
• Spread data sets across a cluster to achieve horizontal scalability.
• Integrate Ignite with RDBMS, NoSQL, Hadoop and machine learning processors.

Format of the Course

• Interactive lecture and discussion.
• Lots of exercises and practice.
• Hands-on implementation in a live-lab environment.

Course Customization Options

• To request a customized training for this course, please contact us to arrange.

Apache Beam è un modello di programmazione unificata open source per la definizione e l'esecuzione di pipeline di elaborazione dati parallele Il suo potere risiede nella sua capacità di eseguire pipeline sia in batch che in streaming, con l'esecuzione eseguita da uno dei backend di elaborazione distribuiti supportati da Beam: Apache Apex, Apache Flink, Apache Spark e Google Cloud Dataflow Apache Beam è utile per le attività ETL (Estrai, Trasforma e Carica) come lo spostamento di dati tra diversi supporti di memorizzazione e origini dati, la trasformazione dei dati in un formato più desiderabile e il caricamento dei dati su un nuovo sistema In questo corso di formazione dal vivo con istruttore (in loco o remoto), i partecipanti impareranno come implementare gli SDK Apache Beam in un'applicazione Java o Python che definisce una pipeline di elaborazione dati per la decomposizione di un big data set in blocchi più piccoli per l'elaborazione parallela indipendente Alla fine di questa formazione, i partecipanti saranno in grado di: Installa e configura Apache Beam Utilizzare un singolo modello di programmazione per eseguire sia l'elaborazione batch che quella stream dall'applicazione Java o Python Esegui pipeline su più ambienti Pubblico Sviluppatori Formato del corso Lezione di parte, discussione parziale, esercitazioni e pratica intensiva Nota Questo corso sarà disponibile in futuro Vi preghiamo di contattarci per organizzare .

Apache Apex è una piattaforma nativa YARN che unisce l'elaborazione di stream e batch. Elabora grandi quantità di dati in movimento in modo scalabile, performante, tollerante ai guasti, con stato, sicuro, distribuito e facilmente utilizzabile.

Questa formazione dal vivo con istruttore introduce l'architettura di elaborazione unificata di Apache Apex e guida i partecipanti alla creazione di un'applicazione distribuita utilizzando Apex su Hadoop .

Al termine di questa formazione, i partecipanti saranno in grado di:

• Comprendere i concetti della pipeline di elaborazione dei dati come connettori per sorgenti e pozzi, trasformazioni di dati comuni, ecc.
• Costruisci, ridimensiona e ottimizza un'applicazione Apex
• Elaborazione di flussi di dati in tempo reale in modo affidabile e con una latenza minima
• Utilizzare Apex Core e la libreria Apex Malhar per consentire un rapido sviluppo delle applicazioni
• Utilizzare l'API Apex per scrivere e riutilizzare il codice Java esistente
• Integra Apex in altre applicazioni come motore di elaborazione
• Ottimizza, testa e ridimensiona le applicazioni Apex

Formato del corso

• Conferenza e discussione interattiva.
• Molti esercizi e pratiche.
• Implementazione pratica in un ambiente live-lab.

Opzioni di personalizzazione del corso

• Per richiedere una formazione personalizzata per questo corso, ti preghiamo di contattarci per organizzare.

Apache Storm è un motore di calcolo distribuito in tempo reale utilizzato per consentire l'intelligenza aziendale in tempo reale. Lo fa consentendo alle applicazioni di elaborare in modo affidabile i flussi di dati illimitati (ad es. Il processo di trasformazione).

"Storm è per il trattamento in tempo reale che Hadoop è per il trattamento di batch!"

In questo allenamento diretto da istruttori, i partecipanti impareranno come installare e configurare Apache Storm, poi sviluppare e implementare un'applicazione Apache Storm per il trattamento dei big data in tempo reale.

Alcuni dei temi inclusi in questa formazione includono:

• Apache Storm nel contesto di Hadoop
• Lavorare con dati illimitati
• Il calcolo continuo
• Analisi in tempo reale
• RPC e elaborazione ETL

Richiedi questo corso ora!

Il pubblico

• Software e sviluppatori ETL
• Professionisti di Mainframe
• scienziati dati
• Big Data analisti
• Hadoop I professionisti

Il formato del corso

• lezioni a parte, discussioni a parte, esercizi e pratiche pesanti

In questo corso di formazione dal vivo con istruttore in Italia (in loco o in remoto), i partecipanti impareranno come distribuire e gestire Apache NiFi in un ambiente di laboratorio dal vivo.

Al termine di questa formazione, i partecipanti saranno in grado di:

• Installa e configura Apachi NiFi.
• Acquisisci, trasforma e gestisci i dati da fonti di dati diverse e distribuite, inclusi database e big data lake.
• Automatizza i flussi di dati.
• Abilitare l'analisi di flusso.
• Applicare vari approcci per l'inserimento dei dati.
• Trasforma Big Data e trasforma in approfondimenti aziendali.

In questo corso di formazione dal vivo con istruttore in Italia, i partecipanti impareranno i fondamenti della programmazione basata sul flusso mentre sviluppano una serie di estensioni, componenti e processori dimostrativi utilizzando Apache NiFi.

Al termine di questa formazione, i partecipanti saranno in grado di:

• Comprendere l'architettura e i concetti di flusso di dati di NiFi.
• Sviluppa estensioni utilizzando NiFi e API di terze parti.
• Custom sviluppa il proprio processore Apache Nifi.
• Acquisisci ed elabora dati in tempo reale da formati di file e origini dati diversi e non comuni.

Questo corso di formazione dal vivo con istruttore in Italia (online o in loco) introduce i principi e gli approcci alla base dell'elaborazione di flussi distribuiti e dati batch e guida i partecipanti attraverso la creazione di un'applicazione di streaming di dati in tempo reale in Apache Flink.

Al termine di questa formazione, i partecipanti saranno in grado di:

Configurare un ambiente per lo sviluppo di applicazioni di analisi dei dati. Comprendere il funzionamento della libreria di elaborazione grafica di Apache Flink (Gelly). Creazione di pacchetti, esecuzione e monitoraggio di applicazioni di streaming dati basate su Flink e a tolleranza di errore. Gestisci carichi di lavoro diversificati. Esegui analisi avanzate. Configura un cluster Flink multi-nodo. Misura e ottimizza le prestazioni. Integra Flink con diversi sistemi Big Data. Confronta le funzionalità di Flink con quelle di altri framework di elaborazione dei big data.

In questo corso di formazione dal vivo con istruttore in Italia, i partecipanti impareranno a utilizzare Python e Spark insieme per analizzare i big data mentre lavorano su esercizi pratici.

Al termine di questa formazione, i partecipanti saranno in grado di:

• Informazioni su come usare Spark con Python per analizzare i Big Data.
• Lavora su esercizi che imitano casi del mondo reale.
• Usa diversi strumenti e tecniche per l'analisi dei big data usando PySpark.

In questo corso di formazione dal vivo con istruttore in Italia, i partecipanti impareranno a conoscere le offerte tecnologiche e gli approcci di implementazione per l'elaborazione dei dati grafici. L'obiettivo è quello di identificare gli oggetti del mondo reale, le loro caratteristiche e relazioni, quindi modellare queste relazioni ed elaborarle come dati utilizzando un approccio Graph Computing (noto anche come Graph Analytics). Iniziamo con un'ampia panoramica e ci concentriamo su strumenti specifici mentre esaminiamo una serie di casi di studio, esercizi pratici e distribuzioni dal vivo.

Al termine di questa formazione, i partecipanti saranno in grado di:

• Comprendere il modo in cui i dati del grafico vengono salvati in modo permanente e attraversato.
• Selezionare il framework migliore per una determinata attività (dai database a grafo ai framework di elaborazione batch).
• Implementare Hadoop, Spark, GraphX e Pregel per eseguire il calcolo dei grafi su molte macchine in parallelo.
• Visualizza i problemi dei big data del mondo reale in termini di grafici, processi e attraversamenti.

MLlib è la libreria di machine learning (ML) di Spark. Il suo obiettivo è rendere l'apprendimento automatico pratico scalabile e facile. Comprende algoritmi e utilità di apprendimento comuni, tra cui classificazione, regressione, clustering, filtro collaborativo, riduzione della dimensionalità, nonché primitive di ottimizzazione di livello inferiore e API di pipeline di livello superiore.

Si divide in due pacchetti:

• spark.mllib contiene l'API originale basata su RDD.

• spark.ml fornisce API di livello superiore basate su DataFrames per la costruzione di pipeline ML.

Pubblico

Questo corso è rivolto a ingegneri e sviluppatori che desiderano utilizzare una libreria di macchine integrata per Apache Spark

Formato del corso

• Lezione interattiva e discussione.
• Un sacco di esercizi e pratica.
• Implementazione pratica in un ambiente di laboratorio dal vivo.

Opzioni di personalizzazione del corso

• Per richiedere una formazione personalizzata per questo corso, contattaci per organizzare.

Apache Samza è un framework computazionale asincrono quasi in tempo reale open source per l'elaborazione dei flussi. Utilizza Apache Kafka per la messaggistica e Apache Hadoop YARN per la tolleranza agli errori, l'isolamento del processore, la sicurezza e la gestione delle risorse.

Questa formazione dal vivo con istruttore introduce i principi alla base dei sistemi di messaggistica e dell'elaborazione del flusso distribuito, mentre accompagna i partecipanti attraverso la creazione di un progetto di esempio basato su Samza e l'esecuzione del lavoro.

Al termine di questa formazione, i partecipanti saranno in grado di:

• Usa Samza per semplificare il codice necessario per produrre e consumare messaggi.
• Disaccoppiare la gestione dei messaggi da un'applicazione.
• Usa Samza per implementare il calcolo asincrono quasi in tempo reale.
• Utilizzare l'elaborazione del flusso per fornire un livello superiore di astrazione sui sistemi di messaggistica.

Pubblico

• Sviluppatori

Formato del corso

• Parte lezione, parte discussione, esercitazioni e esercitazioni pratiche

Kafka Streams è una libreria lato client per la creazione di applicazioni e microservizi i cui dati vengono trasmessi da e verso un sistema di messaggistica Kafka. Tradizionalmente, Apache Kafka ha fatto affidamento su Apache Spark o Apache Storm per elaborare i dati tra produttori di messaggi e consumatori. Chiamando l'API Kafka Streams dall'interno di un'applicazione, i dati possono essere elaborati direttamente all'interno di Kafka, evitando la necessità di inviare i dati a un cluster separato per l'elaborazione.

In questo corso di formazione dal vivo con istruttore, i partecipanti impareranno come integrare Kafka Streams in una serie di applicazioni Java di esempio che trasmettono dati da e verso Apache Kafka per l'elaborazione in streaming.

Al termine di questa formazione, i partecipanti saranno in grado di:

• Comprendi le funzionalità e i vantaggi di Kafka Streams rispetto ad altri framework di elaborazione dei flussi
• Elaborare i dati del flusso direttamente all'interno di un cluster Kafka
• Scrivi un'applicazione o un microservizio Java o Scala che si integri con Kafka e Kafka Streams
• Scrivi un codice conciso che trasforma gli argomenti di Kafka di input in argomenti di Kafka di output
• Compilare, impacchettare e distribuire l'applicazione

Pubblico

• Sviluppatori

Formato del corso

• Parte lezione, parte discussione, esercitazioni e esercitazioni pratiche

Gli appunti

• Per richiedere una formazione personalizzata per questo corso, ti preghiamo di contattarci per organizzare