Corso di formazione Kafka per amministratori

Nozioni fondamentali sull’amministrazione di Kafka

• Il ruolo di Kafka all’interno di una piattaforma dati moderna e le responsabilità tipiche in ambiente produttivo
• Concetti chiave per gli operatori: broker, argomenti, partizioni, offset e gruppi di consumatori
• Principi della replicazione: leader e follower, repliche sincronizzate, compromessi in termini di disponibilità
• Aspetti operativi essenziali di Kafka e terminologia comune utilizzata nelle procedure operative

Modalità KRaft e progettazione del cluster

• Nozioni base su KRaft: controller, quorum per i metadati, processi elettorali e il loro impatto operativo
• Pianificazione della distribuzione: dimensionamento in base al volume di dati, numero di partizioni, periodo di conservazione e crescita futura
• Ruoli dei nodi e disposizione all’interno del cluster: uso congiunto o separato dei controller, considerazioni legate ai domini di errore
• Esercitazione pratica: analisi dei metadati KRaft, verifica dello stato del quorum e interpretazione dei log dei controller

Installazione, configurazione e attività quotidiane di gestione

• Metodi di installazione (pacchetti software, archivi tarball, container) e linee guida per la standardizzazione in ambienti aziendali
• Impostazioni chiave di configurazione dei broker influenti sull’affidabilità: listener, replicazione, posizioni dei log, periodo di conservazione
• Gestione sicura del servizio: ordine corretto di avvio, arresto ordinato e verifiche preliminari necessarie
• Esercitazione pratica: distribuzione di un cluster su più nodi, conferma della registrazione dei broker e test iniziali di invio e ricezione dati

Gestione di argomenti, partizioni e disposizione dei dati

• Ciclo di vita degli argomenti mediante l’interfaccia da riga di comando di Kafka: creazione, descrizione, modifica delle configurazioni ed eliminazione
• Scelta del numero di partizioni e dei fattori di replicazione in base a requisiti reali; indicazioni su errori comuni da evitare
• Operazioni di riassegnazione delle partizioni: quando effettuarle e come verificare correttamente il loro stato
• Esercitazione pratica: creazione di argomenti, avvio del processo di riassegnazione delle partizioni, simulazione di un guasto su un broker e verifica della corretta ripresa operativa

Sicurezza in ambiente produttivo per Kafka

• Utilizzo di TLS per il traffico tra client e broker: gestione certificati, catene di fiducia e procedure di validazione
• Autenticazione mediante SASL: selezione dei meccanismi più idonei ed evitando configurazioni errate
• Controllo degli accessi tramite ACL: impostazioni di autorizzazione a livello minimo per amministratori, produttori e consumatori
• Esercitazione pratica: abilitazione di TLS e SASL, verifica della connettività da parte dei client e applicazione delle ACL in base ai ruoli richiesti dalle applicazioni

Osservabilità, affidabilità operativa e risoluzione problemi

• Monitoraggio essenziale: stato dei controller, verifica delle repliche in ritardo, tempo di latenza delle richieste, utilizzo di disco e rete
• Gestione dei log e metriche: lettura adeguata dei log di sistema e esportazione tramite JMX verso strumenti di monitoraggio diffusi
• Procedure operative consigliate: riavvii graduali, modifiche di configurazione sicure, gestione di casi critici come spazio disco insufficiente o problemi nei quorum di replicazione
• Esercitazione pratica: creazione di un insieme minimo di allarmi, analisi di un cluster in stato compromesso e ripristino della normale replica dei dati

Aggiornamenti e preparazione per il recupero in caso di disastri

• Pianificazione degli aggiornamenti di Kafka: verifica della compatibilità, test preliminari e strategie di rollback
• Cosa è possibile salvare come backup e cosa non lo è; nozioni basilari sulla ripresa delle configurazioni in caso di disastro
• Panoramica della replicazione tra cluster: quando utilizzare MirrorMaker 2 per la continuità operativa e il trasferimento dati
• Considerazioni finali: checklist operativa, documentazione da consegnare ai team e passi successivi prima del rollout in produzione