Apache Beam è un modello di programmazione unificata open source per la definizione e l'esecuzione di pipeline di elaborazione dati parallele Il suo potere risiede nella sua capacità di eseguire pipeline sia in batch che in streaming, con l'esecuzione eseguita da uno dei backend di elaborazione distribuiti supportati da Beam: Apache Apex, Apache Flink, Apache Spark e Google Cloud Dataflow Apache Beam è utile per le attività ETL (Estrai, Trasforma e Carica) come lo spostamento di dati tra diversi supporti di memorizzazione e origini dati, la trasformazione dei dati in un formato più desiderabile e il caricamento dei dati su un nuovo sistema In questo corso di formazione dal vivo con istruttore (in loco o remoto), i partecipanti impareranno come implementare gli SDK Apache Beam in un'applicazione Java o Python che definisce una pipeline di elaborazione dati per la decomposizione di un big data set in blocchi più piccoli per l'elaborazione parallela indipendente Alla fine di questa formazione, i partecipanti saranno in grado di: Installa e configura Apache Beam Utilizzare un singolo modello di programmazione per eseguire sia l'elaborazione batch che quella stream dall'applicazione Java o Python Esegui pipeline su più ambienti Pubblico Sviluppatori Formato del corso Lezione di parte, discussione parziale, esercitazioni e pratica intensiva Nota Questo corso sarà disponibile in futuro Vi preghiamo di contattarci per organizzare .
Machine Translated
Introduction
- Apache Beam vs MapReduce, Spark Streaming, Kafka Streaming, Storm and Flink
Installing and Configuring Apache Beam
Overview of Apache Beam Features and Architecture
- Beam Model, SDKs, Beam Pipeline Runners
- Distributed processing back-ends
Understanding the Apache Beam Programming Model
- How a pipeline is executed
Running a sample pipeline
- Preparing a WordCount pipeline
- Executing the Pipeline locally
Designing a Pipeline
- Planning the structure, choosing the transforms, and determining the input and output methods
Creating the Pipeline
- Writing the driver program and defining the pipeline
- Using Apache Beam classes
- Data sets, transforms, I/O, data encoding, etc.
Executing the Pipeline
- Executing the pipeline locally, on remote machines, and on a public cloud
- Choosing a runner
- Runner-specific configurations
Testing and Debugging Apache Beam
- Using type hints to emulate static typing
- Managing Python Pipeline Dependencies
Processing Bounded and Unbounded Datasets
Making Your Pipelines Reusable and Maintainable
Create New Data Sources and Sinks
- Apache Beam Source and Sink API
Integrating Apache Beam with other Big Data Systems
- Apache Hadoop, Apache Spark, Apache Kafka
Troubleshooting
Summary and Conclusion
.png "new york stock exchange (nyse)")
.jpg "european molecular biology laboratory (embl)")
.png "european space agency (esa)")
