Struttura del corso
Fondamenti di NiFi e del Flusso di Dati
- Dati in movimento vs dati a riposo: concetti e sfide
- Architettura di NiFi: nuclei, controller di flusso, provenienza e bulletin
- Componenti chiave: processori, connessioni, controller e provenienza
Contesto e Integrazione dei Big Data
- Ruolo di NiFi negli ecosistemi dei Big Data (Hadoop, Kafka, cloud storage)
- Panoramica di HDFS, MapReduce e alternative moderne
- Casi d'uso: ingestione a flusso continuo, invio di log, pipeline di eventi
Installazione, Configurazione e Impostazione del Cluster
- Installazione di NiFi in modalità singolo nodo e cluster
- Configurazione del cluster: ruoli dei nodi, Zookeeper e bilanciamento del carico
- Orchestrazione delle distribuzioni di NiFi: utilizzo di Ansible, Docker o Helm
Progettazione e Gestione dei Flussi di Dati
- Routing, filtraggio, suddivisione e unione dei flussi
- Configurazione del processore (InvokeHTTP, QueryRecord, PutDatabaseRecord, ecc.)
- Gestione dello schema, arricchimento e operazioni di trasformazione
- Gestione degli errori, relazioni di retry e backpressure
Scenari di Integrazione
- Connessione a database, sistemi di messaggistica, API REST
- Streaming verso sistemi di analisi: Kafka, Elasticsearch o cloud storage
- Integrazione con Splunk, Prometheus o pipeline di logging
Monitoraggio, Recupero e Provenienza
- Utilizzo dell'UI di NiFi, metriche e visualizzatore di provenienza
- Progettazione del recupero autonomo e della gestione delle interruzioni con grazia
- Copia di sicurezza, versionamento dei flussi e gestione dei cambiamenti
Ottimizzazione delle Prestazioni
- Regolazione del JVM, dell'heap, delle thread pools e dei parametri di clustering
- Ottimizzazione della progettazione del flusso per ridurre i bottleneck
- Isole di risorse, prioritizzazione dei flussi e controllo del throughput
Best Practices e Governance
- Documentazione del flusso, standard di denominazione, progettazione modulare
- Sicurezza: TLS, autenticazione, controllo degli accessi, crittografia dei dati
- Gestione dei cambiamenti, versionamento, accesso basato sui ruoli, tracce di audit
Risoluzione dei Problemi e Risposta agli Incidenti
- Problemi comuni: deadlock, perdite di memoria, errori del processore
- Analisi dei log, diagnosi degli errori e indagine delle cause radici
- Strategie di recupero e rollback del flusso
Laboratorio Pratico: Implementazione Realistica di una Pipeline di Dati
- Creazione di un flusso end-to-end: ingestione, trasformazione, consegna
- Implementazione della gestione degli errori, del backpressure e dello scaling
- Test delle prestazioni e ottimizzazione della pipeline
Riepilogo e Prossimi Passi
Requisiti
- Esperienza con la riga di comando Linux
- Comprensione basilare delle reti e dei sistemi di dati
- Conoscenza delle concettualità di streaming dei dati o ETL
Pubblico di riferimento
- Amministratori di sistema
- Ingegneri dei dati
- Sviluppatori
- Professionisti DevOps
Recensioni (7)
Esercizi pratici. La lezione avrebbe dovuto durare 5 giorni, ma i 3 giorni mi hanno aiutato a chiarire molte domande che avevo già lavorando con NiFi
James - BHG Financial
Corso - Apache NiFi for Administrators
Traduzione automatica
Ho pensato che il ritmo dell'allenatore fosse buono. Non ha lasciato indietro nessuno studente con il suo approccio. È stato di grande supporto con noi neofiti che potrebbero non aver avuto un ruolo di amministratore di sistema o di infrastruttura durante la nostra carriera o di aver resuscitato quelle competenze di un periodo precedente della nostra carriera.
Pamdrea Ivory - BHG Financial
Corso - Apache NiFi for Administrators
Traduzione automatica
Mi piace la sezione hands-on. Mi ha aiutato a conservare meglio le informazioni completando gli esercizi forniti. Inoltre, la capacità del formatore di interagire con l'intera classe mi ha fatto sentire a mio agio nel porre domande su cose di cui non ero sicuro.
Leila - BHG Financial
Corso - Apache NiFi for Administrators
Traduzione automatica
Casi d'uso, esempi per la creazione di flussi di dati NiFi. Abbiamo lavorato alla risoluzione dei problemi più comuni.
Nelson - BHG Financial
Corso - Apache NiFi for Administrators
Traduzione automatica
Mi è piaciuta molto la struttura. Il giorno 1 ci siamo addentrati nelle basi di Nifi, nei concetti, nei casi d'uso, ecc. Il giorno 2, abbiamo avuto modo di mettere in pratica le conoscenze del giorno 1 creando flussi per soddisfare i requisiti dello scenario. Il giorno 3 abbiamo avuto modo di vedere il registro Nifi e il controllo di versione, la multi-tenancy e di esaminare le domande e le risposte.
Adam - BHG Financial
Corso - Apache NiFi for Administrators
Traduzione automatica
I like how he was able to elaborate about Nifi and how powerful it is. You can basically use it for any infrastructure and use many different computer languages. Also i was glad we were able to fix the Nifi cert renewal issue we were having with the Truststore.
Joachim Martin - BHG Financial
Corso - Apache NiFi for Administrators
general knowledge and the possibilities that the training offered in terms on the tool.