Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Struttura del corso
Riepilogo di Apache Airflow Fondamenti
- Concetti fondamentali: gruppi di disponibilità del database, operatori e flusso di esecuzione
- Architettura e componenti del flusso d'aria
- Comprendere i casi d'uso e i flussi di lavoro avanzati
Creazione di operatori personalizzati
- Comprendere l'anatomia di un operatore del flusso d'aria
- Sviluppo di operatori personalizzati per attività specifiche
- Test e debug degli operatori personalizzati
Ganci e sensori personalizzati
- Implementazione di hook per l'integrazione di sistemi esterni
- Creazione di sensori per il monitoraggio di trigger esterni
- Miglioramento dell'interattività del flusso di lavoro con sensori personalizzati
Sviluppo di plug-in Airflow
- Comprendere l'architettura dei plugin
- Progettazione di plug-in per estendere la funzionalità del flusso d'aria
- Best practice per la gestione e la distribuzione dei plug-in
Integrazione del flusso d'aria con sistemi esterni
- Connessione di Airflow a database, API e servizi cloud
- Utilizzo di Airflow per i flussi di lavoro ETL e l'elaborazione dei dati in tempo reale
- Gestione delle dipendenze tra Airflow e sistemi esterni
Debug e monitoraggio avanzati
- Utilizzo dei registri e delle metriche del flusso d'aria per la risoluzione dei problemi
- Configurazione di avvisi e notifiche per problemi relativi al flusso di lavoro
- Sfruttare strumenti di monitoraggio esterni con Airflow
Ottimizzazione delle prestazioni e della Scalabilità
- Ridimensionamento del flusso d'aria con sedano e Kubernetes esecutori
- Ottimizzazione dell'utilizzo delle risorse in flussi di lavoro complessi
- Strategie per la disponibilità elevata e la tolleranza di errore
Casi di studio e applicazioni nel mondo reale
- Esplorazione di casi d'uso avanzati nell'ingegneria dei dati e DevOps
- Case study: Implementazione di operatori personalizzati per ETL su larga scala
- Best practice per la gestione dei flussi di lavoro a livello aziendale
Riepilogo e passaggi successivi
Requisiti
- Solida comprensione delle nozioni di base di Apache Airflow, inclusi DAG, operatori e architettura di esecuzione
- Competenza nella programmazione Python
- Esperienza nell'integrazione di sistemi di dati e nell'orchestrazione del flusso di lavoro
Pubblico
- Ingegneri dei dati
- DevOps Ingegneri
- Architetti del software
21 ore