Struttura del corso

Riepilogo di Apache Airflow Fondamenti

  • Concetti fondamentali: gruppi di disponibilità del database, operatori e flusso di esecuzione
  • Architettura e componenti del flusso d'aria
  • Comprendere i casi d'uso e i flussi di lavoro avanzati

Creazione di operatori personalizzati

  • Comprendere l'anatomia di un operatore del flusso d'aria
  • Sviluppo di operatori personalizzati per attività specifiche
  • Test e debug degli operatori personalizzati

Ganci e sensori personalizzati

  • Implementazione di hook per l'integrazione di sistemi esterni
  • Creazione di sensori per il monitoraggio di trigger esterni
  • Miglioramento dell'interattività del flusso di lavoro con sensori personalizzati

Sviluppo di plug-in Airflow

  • Comprendere l'architettura dei plugin
  • Progettazione di plug-in per estendere la funzionalità del flusso d'aria
  • Best practice per la gestione e la distribuzione dei plug-in

Integrazione del flusso d'aria con sistemi esterni

  • Connessione di Airflow a database, API e servizi cloud
  • Utilizzo di Airflow per i flussi di lavoro ETL e l'elaborazione dei dati in tempo reale
  • Gestione delle dipendenze tra Airflow e sistemi esterni

Debug e monitoraggio avanzati

  • Utilizzo dei registri e delle metriche del flusso d'aria per la risoluzione dei problemi
  • Configurazione di avvisi e notifiche per problemi relativi al flusso di lavoro
  • Sfruttare strumenti di monitoraggio esterni con Airflow

Ottimizzazione delle prestazioni e della Scalabilità

  • Ridimensionamento del flusso d'aria con sedano e Kubernetes esecutori
  • Ottimizzazione dell'utilizzo delle risorse in flussi di lavoro complessi
  • Strategie per la disponibilità elevata e la tolleranza di errore

Casi di studio e applicazioni nel mondo reale

  • Esplorazione di casi d'uso avanzati nell'ingegneria dei dati e DevOps
  • Case study: Implementazione di operatori personalizzati per ETL su larga scala
  • Best practice per la gestione dei flussi di lavoro a livello aziendale

Riepilogo e passaggi successivi

Requisiti

  • Solida comprensione delle nozioni di base di Apache Airflow, inclusi DAG, operatori e architettura di esecuzione
  • Competenza nella programmazione Python
  • Esperienza nell'integrazione di sistemi di dati e nell'orchestrazione del flusso di lavoro

Pubblico

  • Ingegneri dei dati
  • DevOps Ingegneri
  • Architetti del software
 21 ore

Numero di Partecipanti


Prezzo per Partecipante

Corsi in Arrivo

Categorie relative