Contattataci
 Durata 35 ore

Struttura del corso

Introduzione e Fondamenti Diagnostici

  • Panoramica dei modi di fallimento nei sistemi LLM e problemi specifici di Ollama.
  • Stabilire esperimenti riproducibili e ambienti controllati.
  • Strumenti di debugging: log locali, cattura di richieste/risposte e sandboxing.

Riproduzione e Isolamento dei Fallimenti

  • Tecniche per creare esempi minimi di fallimento e semi iniziali.
  • Interazioni stateful vs stateless: isolamento di bug legati al contesto.
  • Determinismo, casualità e controllo del comportamento non deterministico.

Valutazione Comportamentale e Metriche

  • Metriche quantitative: accuratezza, varianti ROUGE/BLEU, calibrazione e proxy di perplexity.
  • Valutazioni qualitative: scoring human-in-the-loop e design di rubriche.
  • Controlli di fedeltà specifici per il task e criteri di accettazione.

Testing Automatizzato e Regressione

  • Test unitari per prompt e componenti, test di scenario e end-to-end.
  • Creazione di suite di regressione e baseline di esempi golden.
  • Integrazione CI/CD per aggiornamenti dei modelli Ollama e gate di validazione automatizzati.

Osservabilità e Monitoraggio

  • Logging strutturato, tracce distribuite e ID di correlazione.
  • Metriche operative chiave: latenza, utilizzo dei token, tassi di errore e segnali di qualità.
  • Allerte, dashboard e SLI/SLO per servizi supportati da modelli.

Analisi Avanzata delle Cause Radici

  • Tracciamento attraverso prompt grafici, chiamate a strumenti e flussi multi-turno.
  • Diagnosi comparativa A/B e studi di ablazione.
  • Provenienza dei dati, debugging dei dataset e gestione dei fallimenti indotti dai dataset.

Sicurezza, Robustezza e Strategie di Rimedio

  • Misure di mitigazione: filtraggio, grounding, augmentation della ricerca e impalcatura dei prompt.
  • Pattern di rollback, canary e rollout graduale per gli aggiornamenti dei modelli.
  • Post-mortem, lezioni apprese e cicli di miglioramento continuo.

Sintesi e Prossimi Passi

Requisiti

  • Solida esperienza nella costruzione e nel deployment di applicazioni LLM.
  • Familiarità con i flussi di lavoro di Ollama e l'hosting di modelli.
  • Conoscenza di Python, Docker e strumenti di base per l'osservabilità.

Pubblico

  • Ingegneri AI.
  • Professionisti MLOps.
  • Team QA responsabili dei sistemi LLM in produzione.

Numero di Partecipanti


Prezzo per partecipante

Corsi in Arrivo

Categorie relative