Grazie per aver inviato la tua richiesta! Uno dei nostri team membri ti contatterà a breve.
Grazie per aver inviato il tuo prenotazione! Uno dei nostri team membri ti contatterà a breve.
Durata 35 ore
Struttura del corso
Introduzione e Fondamenti Diagnostici
- Panoramica dei modi di fallimento nei sistemi LLM e problemi specifici di Ollama.
- Stabilire esperimenti riproducibili e ambienti controllati.
- Strumenti di debugging: log locali, cattura di richieste/risposte e sandboxing.
Riproduzione e Isolamento dei Fallimenti
- Tecniche per creare esempi minimi di fallimento e semi iniziali.
- Interazioni stateful vs stateless: isolamento di bug legati al contesto.
- Determinismo, casualità e controllo del comportamento non deterministico.
Valutazione Comportamentale e Metriche
- Metriche quantitative: accuratezza, varianti ROUGE/BLEU, calibrazione e proxy di perplexity.
- Valutazioni qualitative: scoring human-in-the-loop e design di rubriche.
- Controlli di fedeltà specifici per il task e criteri di accettazione.
Testing Automatizzato e Regressione
- Test unitari per prompt e componenti, test di scenario e end-to-end.
- Creazione di suite di regressione e baseline di esempi golden.
- Integrazione CI/CD per aggiornamenti dei modelli Ollama e gate di validazione automatizzati.
Osservabilità e Monitoraggio
- Logging strutturato, tracce distribuite e ID di correlazione.
- Metriche operative chiave: latenza, utilizzo dei token, tassi di errore e segnali di qualità.
- Allerte, dashboard e SLI/SLO per servizi supportati da modelli.
Analisi Avanzata delle Cause Radici
- Tracciamento attraverso prompt grafici, chiamate a strumenti e flussi multi-turno.
- Diagnosi comparativa A/B e studi di ablazione.
- Provenienza dei dati, debugging dei dataset e gestione dei fallimenti indotti dai dataset.
Sicurezza, Robustezza e Strategie di Rimedio
- Misure di mitigazione: filtraggio, grounding, augmentation della ricerca e impalcatura dei prompt.
- Pattern di rollback, canary e rollout graduale per gli aggiornamenti dei modelli.
- Post-mortem, lezioni apprese e cicli di miglioramento continuo.
Sintesi e Prossimi Passi
Requisiti
- Solida esperienza nella costruzione e nel deployment di applicazioni LLM.
- Familiarità con i flussi di lavoro di Ollama e l'hosting di modelli.
- Conoscenza di Python, Docker e strumenti di base per l'osservabilità.
Pubblico
- Ingegneri AI.
- Professionisti MLOps.
- Team QA responsabili dei sistemi LLM in produzione.