Stream processing Training Courses

Apache Ignite is an in-memory computing platform that sits between the application and data layer to improve speed, scale, and availability。

In this instructor-led, live training, participants will learn the principles behind persistent and pure in-memory storage as they step through the creation of a sample in-memory computing project.

By the end of this training, participants will be able to:

- Use Ignite for in-memory, on-disk persistence as well as a purely distributed in-memory database.
- Achieve persistence without syncing data back to a relational database.
- Use Ignite to carry out SQL and distributed joins.
- Improve performance by moving data closer to the CPU, using RAM as a storage.
- Spread data sets across a cluster to achieve horizontal scalability.
- Integrate Ignite with RDBMS, NoSQL, Hadoop and machine learning processors.

Format of the course

- Part lecture, part discussion, exercises and heavy hands-on practice

Apache Apex è una piattaforma YARNnative che unifica l'elaborazione di stream e batch Elabora big datainmotion in modo scalabile, performante, faulttolerant, stateful, secure, distributed e facilmente utilizzabile Questo corso di formazione dal vivo con istruttore introduce l'architettura di elaborazione del flusso unificata di Apache Apex e accompagna i partecipanti attraverso la creazione di un'applicazione distribuita utilizzando Apex su Hadoop Alla fine di questa formazione, i partecipanti saranno in grado di: Comprendere i concetti di pipeline di elaborazione dati come connettori per sorgenti e sink, trasformazioni di dati comuni, ecc Costruisci, ridimensiona e ottimizza un'applicazione Apex Elabora flussi di dati in tempo reale in modo affidabile e con una latenza minima Utilizzare Apex Core e la libreria Apex Malhar per abilitare lo sviluppo rapido delle applicazioni Utilizzare l'API Apex per scrivere e riutilizzare il codice Java esistente Integrare Apex in altre applicazioni come motore di elaborazione Accordare, testare e ridimensionare le applicazioni Apex Pubblico Sviluppatori Architetti aziendali Formato del corso Lezione di parte, discussione parziale, esercitazioni e pratica intensiva .

Apache Beam è un modello di programmazione unificata open source per la definizione e l'esecuzione di pipeline di elaborazione dati parallele Il suo potere risiede nella sua capacità di eseguire pipeline sia in batch che in streaming, con l'esecuzione eseguita da uno dei backend di elaborazione distribuiti supportati da Beam: Apache Apex, Apache Flink, Apache Spark e Google Cloud Dataflow Apache Beam è utile per le attività ETL (Estrai, Trasforma e Carica) come lo spostamento di dati tra diversi supporti di memorizzazione e origini dati, la trasformazione dei dati in un formato più desiderabile e il caricamento dei dati su un nuovo sistema In questo corso di formazione dal vivo con istruttore (in loco o remoto), i partecipanti impareranno come implementare gli SDK Apache Beam in un'applicazione Java o Python che definisce una pipeline di elaborazione dati per la decomposizione di un big data set in blocchi più piccoli per l'elaborazione parallela indipendente Alla fine di questa formazione, i partecipanti saranno in grado di: Installa e configura Apache Beam Utilizzare un singolo modello di programmazione per eseguire sia l'elaborazione batch che quella stream dall'applicazione Java o Python Esegui pipeline su più ambienti Pubblico Sviluppatori Formato del corso Lezione di parte, discussione parziale, esercitazioni e pratica intensiva Nota Questo corso sarà disponibile in futuro Vi preghiamo di contattarci per organizzare .

questo istruttore, Live Training (on-site o remote) è rivolto a ingegneri che desiderano utilizzare Confluent (una distribuzione di Kafka) per costruire e gestire una piattaforma di elaborazione dati in tempo reale per le loro applicazioni.

entro la fine di questa formazione, i partecipanti saranno in grado di:

- installare e configurare la piattaforma Confluent.
- utilizzare gli strumenti di gestione confluenti & #39; s e servizi per eseguire Kafka più facilmente.
- Archivia ed elabora i dati del flusso in ingresso.
- ottimizza e Gestisci i cluster Kafka.
- flussi di dati protetti.

formato del corso

- conferenza interattiva e discussione.
- un sacco di esercizi e di pratica.
implementazione hands-on - in un ambiente Live-Lab.

corso opzioni di personalizzazione

- questo corso si basa sulla versione open source di Confluent: Confluent open source.
- per richiedere un addestramento su misura per questo corso, seli metta in contatto con prego per organizzare.

Apache Flink è un framework opensource per lo streaming scalabile e l'elaborazione dei dati batch Questo corso di formazione dal vivo con istruttore introduce i principi e gli approcci alla base del flusso distribuito e dell'elaborazione dei dati in batch e accompagna i partecipanti alla creazione di un'applicazione di streaming di dati in tempo reale Alla fine di questa formazione, i partecipanti saranno in grado di: Impostare un ambiente per lo sviluppo di applicazioni di analisi dei dati Pacchetti, esegui e monitora le applicazioni di streaming dati basate su Flink, faulttolerant Gestire diversi carichi di lavoro Eseguire analisi avanzate utilizzando Flink ML Imposta un cluster Flink multinodo Misura e ottimizza le prestazioni Integrare Flink con diversi sistemi di Big Data Confronta le funzionalità di Flink con quelle di altri framework di elaborazione di big data Pubblico Sviluppatori architetti Ingegneri dei dati Professionisti di analisi Responsabili tecnici Formato del corso Lezione di parte, discussione parziale, esercitazioni e pratica intensiva .

Stream Processing si riferisce all'elaborazione in tempo reale di "dati in movimento", ovvero, esegue calcoli sui dati mentre vengono ricevuti Tali dati vengono letti come flussi continui da fonti di dati come eventi sensore, attività dell'utente del sito Web, scambi finanziari, swip della carta di credito, flussi di clic, ecc I framework di elaborazione stream sono in grado di leggere grandi volumi di dati in ingresso e fornire informazioni preziose quasi istantaneamente In questo corso di formazione dal vivo con istruttore (in loco o remoto), i partecipanti apprenderanno come configurare e integrare diversi framework di Stream Processing con i sistemi di archiviazione di big data esistenti e le relative applicazioni software e microservizi Alla fine di questa formazione, i partecipanti saranno in grado di: Installa e configura diversi framework di Stream Processing, come Spark Streaming e Kafka Streaming Comprendere e selezionare la struttura più appropriata per il lavoro Processo di dati in modo continuo, simultaneo e in modalità recordbyrecord Integrare le soluzioni di elaborazione dei flussi con database esistenti, data warehouse, laghi dati, ecc Integrazione della libreria di elaborazione del flusso più appropriata con applicazioni aziendali e microservizi Pubblico Sviluppatori Architetti del software Formato del corso Lezione di parte, discussione parziale, esercitazioni e pratica intensiva Gli appunti Per richiedere una formazione personalizzata per questo corso, vi preghiamo di contattarci per organizzare .

Kafka Streams è una libreria clientide per la creazione di applicazioni e microservizi i cui dati vengono trasferiti da e verso un sistema di messaggistica Kafka Tradizionalmente, Apache Kafka si è basata su Apache Spark o Apache Storm per elaborare i dati tra produttori di messaggi e consumatori Chiamando l'API di Kafka Streams da un'applicazione, i dati possono essere elaborati direttamente all'interno di Kafka, evitando la necessità di inviare i dati a un cluster separato per l'elaborazione In questo corso di formazione dal vivo con istruttore, i partecipanti impareranno come integrare i flussi di Kafka in una serie di applicazioni Java di esempio che trasmettono dati da e verso Apache Kafka per l'elaborazione del flusso Alla fine di questa formazione, i partecipanti saranno in grado di: Comprendere le caratteristiche e i vantaggi di Kafka Stream rispetto ad altri framework di elaborazione dello stream Elabora i dati del flusso direttamente all'interno di un cluster Kafka Scrivi un'applicazione Java o Scala o microservizio che si integri con Kafka e Kafka Stream Scrivi un codice conciso che trasforma gli argomenti di input di Kafka in argomenti di output di Kafka Costruisci, impacchetta e distribuisci l'applicazione Pubblico Sviluppatori Formato del corso Lezione di parte, discussione parziale, esercitazioni e pratica intensiva Gli appunti Per richiedere una formazione personalizzata per questo corso, vi preghiamo di contattarci per organizzare .

In questo corso di formazione dal vivo, istruito, i partecipanti apprenderanno i concetti fondamentali alla base di MapR Stream Architecture mentre sviluppano un'applicazione di streaming in tempo reale Entro la fine di questa formazione, i partecipanti saranno in grado di creare applicazioni per produttori e consumatori per l'elaborazione dei dati in tempo reale Pubblico Sviluppatori Amministratori Formato del corso Lezione di parte, discussione parziale, esercitazioni e pratica intensiva Nota Per richiedere una formazione personalizzata per questo corso, vi preghiamo di contattarci per organizzare .

Apache NiFi (Hortonworks DataFlow) è una piattaforma per la logistica dei dati integrata in tempo reale e una semplice piattaforma di elaborazione degli eventi che consente lo spostamento, il monitoraggio e l'automazione dei dati tra i sistemi È scritto utilizzando la programmazione basata sul flusso e fornisce un'interfaccia utente basata su web per gestire i flussi di dati in tempo reale In questo corso di formazione dal vivo con istruttore, i partecipanti impareranno come implementare e gestire Apache NiFi in un ambiente di laboratorio dal vivo Alla fine di questa formazione, i partecipanti saranno in grado di: Installa e configura Apachi NiFi Sorgente, trasformazione e gestione dei dati da diverse fonti di dati distribuite, inclusi database e grandi laghi di dati Automatizza i flussi di dati Abilita analisi di streaming Applicare vari approcci per l'ingestione dei dati Trasforma i Big Data e le informazioni di business Pubblico Amministratori di sistema Ingegneri dei dati Sviluppatori DevOps Formato del corso Lezione di parte, discussione parziale, esercitazioni e pratica intensiva .

Apache NiFi (Hortonworks DataFlow) è una piattaforma per la logistica dei dati integrata in tempo reale e una semplice piattaforma di elaborazione degli eventi che consente lo spostamento, il monitoraggio e l'automazione dei dati tra i sistemi È scritto utilizzando la programmazione basata sul flusso e fornisce un'interfaccia utente basata su web per gestire i flussi di dati in tempo reale In questo corso di formazione dal vivo, istruito, i partecipanti apprenderanno i fondamenti della programmazione basata sul flusso mentre sviluppano un numero di estensioni demo, componenti e processori utilizzando Apache NiFi Alla fine di questa formazione, i partecipanti saranno in grado di: Comprendere i concetti di architettura e flusso di dati di NiFi Sviluppa estensioni utilizzando NiFi e API di terze parti Personalizzato sviluppa il proprio processore Apache Nifi Integra ed elabora i dati in tempo reale da formati di file e origini dati diversi e non comuni Pubblico Sviluppatori Ingegneri dei dati Formato del corso Lezione di parte, discussione parziale, esercitazioni e pratica intensiva .

Apache Samza è un opensource nearrealtime, un framework computazionale asincrono per l'elaborazione del flusso Utilizza Apache Kafka per la messaggistica e Apache Hadoop YARN per la tolleranza ai guasti, l'isolamento del processore, la sicurezza e la gestione delle risorse Questo corso di formazione dal vivo con istruttore introduce i principi che stanno alla base dei sistemi di messaggistica e dell'elaborazione del flusso distribuito, mentre i partecipanti a piedi attraverso la creazione di un esempio di progetto basato su Samza e l'esecuzione di un lavoro Alla fine di questa formazione, i partecipanti saranno in grado di: Usa Samza per semplificare il codice necessario per produrre e consumare messaggi Disaccoppia la gestione dei messaggi da un'applicazione Usa Samza per implementare il calcolo asincrono nearrealtime Utilizzare l'elaborazione del flusso per fornire un livello più alto di astrazione sui sistemi di messaggistica Pubblico Sviluppatori Formato del corso Lezione di parte, discussione parziale, esercitazioni e pratica intensiva .

Apache Storm è un motore di calcolo distribuito in tempo reale utilizzato per abilitare la business intelligence in tempo reale Lo fa consentendo alle applicazioni di elaborare in modo affidabile flussi di dati illimitati (ovvero l'elaborazione del flusso) "Storm è in grado di elaborare in tempo reale ciò che Hadoop è per l'elaborazione in batch!" In questo corso di formazione dal vivo con istruttore, i partecipanti impareranno come installare e configurare Apache Storm, quindi sviluppare e distribuire un'applicazione Apache Storm per l'elaborazione di big data in tempo reale Alcuni degli argomenti inclusi in questa formazione includono: Apache Storm nel contesto di Hadoop Lavorare con dati illimitati Calcolo continuo Analisi in tempo reale Elaborazione RPC distribuita e ETL Richiedi questo corso ora! Pubblico Sviluppatori di software e ETL Professionisti di mainframe Scienziati di dati Grandi analisti di dati Professionisti Hadoop Formato del corso Lezione di parte, discussione parziale, esercitazioni e pratica intensiva .

Tigon è un open source, in tempo reale, a bassa latenza, highthroughput, nativo YARN, framework di elaborazione del flusso che si basa su HDFS e HBase per la persistenza Le applicazioni Tigon indirizzano i casi d'uso come rilevamento e analisi delle intrusioni della rete, analisi dei mercati dei social media, analisi della posizione e raccomandazioni in tempo reale agli utenti Questo corso di formazione dal vivo con istruttore introduce l'approccio di Tigon alla combinazione di elaborazione in tempo reale e in batch mentre accompagna i partecipanti alla creazione di un'applicazione di esempio Alla fine di questa formazione, i partecipanti saranno in grado di: Crea potenti applicazioni di elaborazione dei flussi per gestire grandi volumi di dati Elabora sorgenti di streaming come Twitter e registri di Webserver Usa Tigon per unire, filtrare e aggregare rapidamente i flussi Pubblico Sviluppatori Formato del corso Lezione di parte, discussione parziale, esercitazioni e pratica intensiva .