Struttura del corso
Riepilogo dei concetti base di Apache Airflow
- Concetti fondamentali: DAG, attività e operatori
- Architettura e componenti principali di Airflow
- Ricapitolazione dei casi d’uso più comuni e dei flussi di lavoro tipici
Ottimizzazione delle prestazioni dei flussi di lavoro
- Identificazione dei colli di bottiglia nei processi gestiti da Airflow
- Tecniche per l’ottimizzazione a livello di singola attività
- Sfruttamento delle funzionalità di ripetizione, parallelismo e concorrenza
Gestione di dipendenze complesse tra le attività
- Definizione dinamica delle relazioni tra le attività in un flusso di lavoro
- Gestione di scenari condizionali e flussi ramificati
- Utilizzo efficace dei gruppi di attività e dei sottodAG
Funzionalità avanzate di Apache Airflow
- Creazione di operatori e hook personalizzati
- Implementazione di sensori in grado di riconoscere eventi esterni
- Integrazione con servizi e plugin di terze parti
Scalabilità dei deployment di Apache Airflow
- Strategie di scalabilità verticale e orizzontale
- Utilizzo degli esecutori Celery per l’elaborazione distribuita
- Migliori pratiche per lo scaling in ambienti cloud
Monitoraggio e risoluzione dei problemi nei flussi di lavoro
- Configurazione della registrazione dei log e degli avvisi per il monitoraggio attivo dei processi
- Utilizzo dell’interfaccia utente di Airflow e del CLI per diagnosticare eventuali problemi
- Identificazione e correzione delle problematiche più comuni nei deployment di Airflow
Sicurezza in Apache Airflow
- Mecanismi di autenticazione e controllo degli accessi
- Protezione dei dati sensibili e delle configurazioni ambientali
- Implementazione di sistemi di tracciamento per garantire la trasparenza dei flussi di lavoro
Casi d’uso a livello enterprise e best practice
- Progettazione di flussi di lavoro robusti adatti alle produzioni reali
- Sfruttamento di Airflow per attività di ingegneria dati e pipeline ETL
- Analisi di esempi concreti di implementazioni scalabili di Apache Airflow
Riepilogo finale e indicazioni sui prossimi passi
Requisiti
- Conoscenze di base riguardo ad Apache Airflow
- Buona familiarità con la programmazione in Python e i concetti fondamentali dell’orchestrazione dei flussi di lavoro
- Esperienza nella gestione e distribuzione di applicazioni su ambienti Linux
Destinatari del corso
- Ingegneri dati
- Professionisti DevOps
- Sviluppatori software
Recensioni (1)
L'instruttore ha adattato la formazione al livello dei partecipanti e ha risposto a tutte le domande. Era molto comunicativo e interagire con lui era facile. Ho davvero apprezzato il formato della formazione, che includeva molti esercizi pratici. In generale, è stata una sessione molto coinvolgente e ben organizzata.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Corso - Apache Airflow: Building and Managing Data Pipelines
Traduzione automatica
