Struttura del corso
Riepilogo dei fondamenti di Apache Airflow
- Concetti chiave: DAG, operator e flusso di esecuzione
- Architettura e componenti principali di Airflow
- Analisi di casi d’uso avanzati e scenari operativi
Creazione di operator personalizzati
- Comprensione della struttura interna di un operatore in Airflow
- Sviluppo di operator su misura per compiti specifici
- Test e debug degli operator personalizzati creati<\/li>
Hook e sensori personalizzati
- Implementazione di hook per interfacciarsi con sistemi esterni
- Creazione di sensori per rilevare eventi o trigger esterni
- Miglioramento dell’interattività dei flussi di lavoro tramite sensori custom
Sviluppo di plugin per Airflow
- Approfondimento sull’architettura dei plugin in Airflow
- Progettazione e sviluppo di plugin utili ad ampliare le funzionalità del sistema
- Linee guida per la gestione e il deploy sicuro dei plugin<\/li>
Integrazione di Airflow con sistemi esterni
- Collegamento di Airflow a database, API e servizi cloud
- Adozione di Airflow per flussi ETL e elaborazione dati in tempo reale
- Gestione delle dipendenze tra Airflow e sistemi terzi
Debug avanzato e monitoraggio dei flussi di lavoro
- Sfruttamento dei log e delle metriche fornite da Airflow per la risoluzione problemi
- Configurazione di allarmi e notifiche in caso di anomalie nei processi
- Integrazione di strumenti esterni di monitoraggio con l’ecosistema Airflow<\/li>
Ottimizzazione delle prestazioni e scalabilità
- Scalare l’infrastruttura di Airflow tramite i componenti Celery e Kubernetes Executor
- Miglioramento dell’utilizzo delle risorse in scenari operativi complessi<\/li>
- Strategie per garantire alta disponibilità e tolleranza agli errori nei sistemi distribuiti
Casi d’uso reali ed esempi pratici
- Analisi di applicazioni concrete nell’ambito dell’ingegneria dei dati e del DevOps
- Caso studio: implementazione di un operatore personalizzato per flussi ETL su larga scala
- Linee guida pratiche per la gestione ottimale di workflow aziendali complessi
Riepilogo e prossimi passi da intraprendere
Requisiti
- Conoscenza approfondita dei fondamenti di Apache Airflow, inclusa la struttura dei DAG, gli operator e l’architettura di esecuzione
- Piena padronanza della programmazione in Python
- Esperienza nell’integrazione di sistemi dati e nell’orchestrazione di flussi di lavoro
Destinatari del corso
- Ingegneri dei dati
- Ingegneri DevOps
- Architetti software
Recensioni (1)
L'instruttore ha adattato la formazione al livello dei partecipanti e ha risposto a tutte le domande. Era molto comunicativo e interagire con lui era facile. Ho davvero apprezzato il formato della formazione, che includeva molti esercizi pratici. In generale, è stata una sessione molto coinvolgente e ben organizzata.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Corso - Apache Airflow: Building and Managing Data Pipelines
Traduzione automatica
