Struttura del corso

Introduzione e Fondamenti diagnostici

  • Panoramica sui modi di fallimento nei sistemi LLM e problemi specifici di Ollama comuni
  • Stabilire esperimenti riproducibili e ambienti controllati
  • Kit di debug: log locali, acquisizioni richiesta/risposta e sandboxing

Riproduzione ed Isolamento dei Malfunzionamenti

  • Tecnologie per creare esempi minimi falliti e semini
  • Interazioni stateful vs stateless: isolamento di errori correlati al contesto
  • Determinismo, casualità e controllo del comportamento nondeterministico

Valutazione del Comportamento e Metriche

  • Metriche quantitative: accuratezza, varianti ROUGE/BLEU, calibrazione e proxy di perplexity
  • Valutazioni qualitative: valutazioni con feedback umano e progettazione di schemi di valutazione
  • Controlli di fedeltà specifici per task e criteri di accettazione

Test Automatizzati e Regressione

  • Test unitari per prompty e componenti, test scenico e end-to-end
  • Crea suite di regressione e baselines di esempi d'oro
  • Integrazione CI/CD per aggiornamenti del modello Ollama e porte di validazione automatizzate

Osservabilità e Monitoraggio

  • Rilevamento strutturato, tracce distribuite ed ID correlati
  • Metriche operative chiave: latenza, utilizzo del token, tassi di errore e segnali di qualità
  • Avvisi, dashboard e SLIs/SLOs per servizi basati su modelli

Analisi delle Cause Radici Avanzata

  • Rilevamento attraverso prompty graficate, chiamate di strumenti e flussi multi-turno
  • Diagnosi comparativa A/B e studi di ablatone
  • Provenienza dei dati, debug del dataset e affrontare i malfunzionamenti indotti dal dataset

Sicurezza, Robustezza e Strategie Remediali

  • Mitigazioni: filtraggio, ancoraggio, aggiunta di recuperi e strutturazione dei prompty
  • Rollback, canary e modelli di roll-out fasi per gli aggiornamenti del modello
  • Post-mortem, lezioni apprese e cicli di miglioramento continuo

Riepilogo e Passaggi Successivi

Requisiti

  • Elevata esperienza nella costruzione e deploy di applicazioni LLM
  • Familiarità con i workflow di Ollama e l'hosting dei modelli
  • Comfort con Python, Docker ed strumenti di base di osservabilità

Pubblico

  • Ingegneri AI
  • Professionisti ML Ops
  • Squadre QA responsabili dei sistemi LLM in produzione
 35 ore

Numero di Partecipanti


Prezzo per Partecipante

Corsi in Arrivo

Categorie relative