Contattataci

Struttura del corso

Introduzione e fondamenti diagnostici

  • Panoramica sui tipi di anomalie riscontrabili nei sistemi LLM e sui problemi specifici legati a Ollama.
  • Creazione di esperimenti riproducibili in ambienti controllati.
  • Gli strumenti principali per il debugging: log locali, registrazione delle richieste e risposte, e ambienti sandbox.

Riproduzione ed isolamento degli errori

  • Tecniche per creare esempi minimi in grado di generare errori e impostarne le condizioni iniziali.
  • Interazioni stateful vs stateless: come individuare bug legati al contesto.
  • Gestione del comportamento deterministico o casuale, con controllo dei fattori non deterministi.

Valutazione del comportamento e metriche di misurazione

  • Metriche quantitative: accuratezza, varianti di ROUGE/BLEU, calibrazione e indicatori di 'perplexità'.
  • Valutazione qualitativa: collaborazione umana nella valutazione tramite rubriche specifiche.
  • Verifiche di fedeltà legate a compiti predefiniti e criteri di accettazione da soddisfare.

Test automatizzati e controllo della regressione

  • Creazione di test unitari per prompt e componenti, nonché test end-to-end e basati su scenari specifici.
  • Sviluppo di suite di regressione e definizione di esempi di riferimento attendibili.
  • Integrazione nei processi CI/CD per validare automaticamente gli aggiornamenti dei modelli Ollama.

Osservabilità e monitoraggio continuo

  • Log strutturati, tracciamento distribuito e utilizzo di identificatori di correlazione.
  • Monitoraggio delle metriche operative fondamentali: latenza, consumo di token, tassi di errore e segnali legati alla qualità del modello.
  • Sistemi di alerting, dashboard e definizione di SLI/SLO per servizi basati su modelli linguistici.

Analisi avanzata delle cause profonde dei problemi

  • Tracciamento dettagliato di flussi complessi, compresi prompt strutturati, chiamate a strumenti e interazioni multi-turno.
  • Confronti A/B tra versioni del modello e studi di tipo 'ablation' per isolare l’impatto delle modifiche.
  • Ricerca dell’origine dei dati, debugging dei set di addestramento e soluzione di problemi derivanti da insufficienze o anomalie nei dataset.

Sicurezza, robustezza e strategie correttive

  • Strategie preventive: filtraggio dei contenuti, ancoraggio ai dati reali, amplificazione tramite recupero di informazioni e progettazione attenta dei prompt.
  • Metodologie per l’aggiornamento dei modelli: rollout graduale, implementazione a canarino e gestione delle fasi di transizione.
  • Analisi post-mortem, estrazione di insegnamenti utili e costruzione di cicli di miglioramento continuo.

Riepilogo e prossimi passi

Requisiti

  • Solida esperienza nella creazione e nel deployment di applicazioni basate su modelli linguistici avanzati (LLM).
  • Conoscenza dei flussi di lavoro tipici di Ollama e della gestione dei modelli.
  • Padronanza di Python, Docker e delle principali tecnologie per l’osservabilità.

Destinatari del corso

  • Ingegneri AI
  • Professionisti ML Ops
  • Gruppi di controllo qualità responsabili dei sistemi LLM in produzione.
 35 ore

Numero di Partecipanti


Prezzo per partecipante

Corsi in Arrivo

Categorie relative