Grazie per aver inviato la tua richiesta! Uno dei nostri team membri ti contatterà a breve.
Grazie per aver inviato il tuo prenotazione! Uno dei nostri team membri ti contatterà a breve.
Durata 35 ore
Struttura del corso
Introduzione e fondamenta della diagnosi
- Panoramica dei modali di fallimento nei sistemi LLM e delle problematiche specifiche di Ollama
- Creazione di esperimenti riproducibili e ambienti controllati
- Strumenti di debug: log locali, cattura delle richieste/risposte e sandboxing
Riproduzione e isolamento dei fallimenti
- Tecniche per creare esempi minimi di fallimento e seed
- Interazioni con stato vs senza stato: isolamento dei bug relativi al contesto
- Determinismo, casualità e controllo del comportamento non deterministico
Valutazione comportamentale e metriche
- Metriche quantitative: accuratezza, varianti ROUGE/BLEU, calibrazione e proxy di perplexity
- Valutazioni qualitative: punteggio umano-in-the-loop e progettazione di rubriche
- Controlli di fedeltà specifici per il task e criteri di accettazione
Test automatici e regressione
- Unit test per prompt e componenti, test di scenario e end-to-end
- Creazione di suite di regressione e baseline di esempi dorati (golden examples)
- Integrazione CI/CD per aggiornamenti dei modelli Ollama e gate di validazione automatica
Osservabilità e monitoraggio
- Logging strutturato, tracce distribuite e ID di correlazione
- Metriche operative chiave: latenza, utilizzo dei token, tassi di errore e segnali di qualità
- Allerting, dashboard e SLI/SLO per i servizi supportati da modelli
Analisi avanzata delle cause profonde
- Tracciamento attraverso prompt grafici, chiamate di tool e flussi multi-turno
- Diagnosi comparativa A/B e studi di ablazione
- Provenienza dei dati, debug dei dataset e risoluzione dei fallimenti indotti dai dataset
Sicurezza, robustezza e strategie di remediation
- Misure di mitigazione: filtering, grounding, retrieval augmentation e scaffold dei prompt
- Pattern di rollback, canary e rollout graduale per gli aggiornamenti dei modelli
- Post-mortem, lezioni apprese e cicli di miglioramento continuo
Sintesi e prossimi passi
Requisiti
- Solida esperienza nella creazione e nel deploy di applicazioni LLM
- Conoscenza dei workflow di Ollama e dell'hosting di modelli
- Familiarità con Python, Docker e strumenti di base per l'osservabilità
Pubblico Target
- Ingegneri AI
- Professionisti ML Ops
- Team QA responsabili dei sistemi LLM in produzione