Contattataci
 Durata 35 ore

Struttura del corso

Introduzione e fondamenta della diagnosi

  • Panoramica dei modali di fallimento nei sistemi LLM e delle problematiche specifiche di Ollama
  • Creazione di esperimenti riproducibili e ambienti controllati
  • Strumenti di debug: log locali, cattura delle richieste/risposte e sandboxing

Riproduzione e isolamento dei fallimenti

  • Tecniche per creare esempi minimi di fallimento e seed
  • Interazioni con stato vs senza stato: isolamento dei bug relativi al contesto
  • Determinismo, casualità e controllo del comportamento non deterministico

Valutazione comportamentale e metriche

  • Metriche quantitative: accuratezza, varianti ROUGE/BLEU, calibrazione e proxy di perplexity
  • Valutazioni qualitative: punteggio umano-in-the-loop e progettazione di rubriche
  • Controlli di fedeltà specifici per il task e criteri di accettazione

Test automatici e regressione

  • Unit test per prompt e componenti, test di scenario e end-to-end
  • Creazione di suite di regressione e baseline di esempi dorati (golden examples)
  • Integrazione CI/CD per aggiornamenti dei modelli Ollama e gate di validazione automatica

Osservabilità e monitoraggio

  • Logging strutturato, tracce distribuite e ID di correlazione
  • Metriche operative chiave: latenza, utilizzo dei token, tassi di errore e segnali di qualità
  • Allerting, dashboard e SLI/SLO per i servizi supportati da modelli

Analisi avanzata delle cause profonde

  • Tracciamento attraverso prompt grafici, chiamate di tool e flussi multi-turno
  • Diagnosi comparativa A/B e studi di ablazione
  • Provenienza dei dati, debug dei dataset e risoluzione dei fallimenti indotti dai dataset

Sicurezza, robustezza e strategie di remediation

  • Misure di mitigazione: filtering, grounding, retrieval augmentation e scaffold dei prompt
  • Pattern di rollback, canary e rollout graduale per gli aggiornamenti dei modelli
  • Post-mortem, lezioni apprese e cicli di miglioramento continuo

Sintesi e prossimi passi

Requisiti

  • Solida esperienza nella creazione e nel deploy di applicazioni LLM
  • Conoscenza dei workflow di Ollama e dell'hosting di modelli
  • Familiarità con Python, Docker e strumenti di base per l'osservabilità

Pubblico Target

  • Ingegneri AI
  • Professionisti ML Ops
  • Team QA responsabili dei sistemi LLM in produzione

Numero di Partecipanti


Prezzo per partecipante

Corsi in Arrivo

Categorie relative