Grazie per aver inviato la tua richiesta! Uno dei nostri team membri ti contatterà a breve.
Grazie per aver inviato il tuo prenotazione! Uno dei nostri team membri ti contatterà a breve.
Struttura del corso
Introduzione e fondamenti diagnostici
- Panoramica sui tipi di anomalie riscontrabili nei sistemi LLM e sui problemi specifici legati a Ollama.
- Creazione di esperimenti riproducibili in ambienti controllati.
- Gli strumenti principali per il debugging: log locali, registrazione delle richieste e risposte, e ambienti sandbox.
Riproduzione ed isolamento degli errori
- Tecniche per creare esempi minimi in grado di generare errori e impostarne le condizioni iniziali.
- Interazioni stateful vs stateless: come individuare bug legati al contesto.
- Gestione del comportamento deterministico o casuale, con controllo dei fattori non deterministi.
Valutazione del comportamento e metriche di misurazione
- Metriche quantitative: accuratezza, varianti di ROUGE/BLEU, calibrazione e indicatori di 'perplexità'.
- Valutazione qualitativa: collaborazione umana nella valutazione tramite rubriche specifiche.
- Verifiche di fedeltà legate a compiti predefiniti e criteri di accettazione da soddisfare.
Test automatizzati e controllo della regressione
- Creazione di test unitari per prompt e componenti, nonché test end-to-end e basati su scenari specifici.
- Sviluppo di suite di regressione e definizione di esempi di riferimento attendibili.
- Integrazione nei processi CI/CD per validare automaticamente gli aggiornamenti dei modelli Ollama.
Osservabilità e monitoraggio continuo
- Log strutturati, tracciamento distribuito e utilizzo di identificatori di correlazione.
- Monitoraggio delle metriche operative fondamentali: latenza, consumo di token, tassi di errore e segnali legati alla qualità del modello.
- Sistemi di alerting, dashboard e definizione di SLI/SLO per servizi basati su modelli linguistici.
Analisi avanzata delle cause profonde dei problemi
- Tracciamento dettagliato di flussi complessi, compresi prompt strutturati, chiamate a strumenti e interazioni multi-turno.
- Confronti A/B tra versioni del modello e studi di tipo 'ablation' per isolare l’impatto delle modifiche.
- Ricerca dell’origine dei dati, debugging dei set di addestramento e soluzione di problemi derivanti da insufficienze o anomalie nei dataset.
Sicurezza, robustezza e strategie correttive
- Strategie preventive: filtraggio dei contenuti, ancoraggio ai dati reali, amplificazione tramite recupero di informazioni e progettazione attenta dei prompt.
- Metodologie per l’aggiornamento dei modelli: rollout graduale, implementazione a canarino e gestione delle fasi di transizione.
- Analisi post-mortem, estrazione di insegnamenti utili e costruzione di cicli di miglioramento continuo.
Riepilogo e prossimi passi
Requisiti
- Solida esperienza nella creazione e nel deployment di applicazioni basate su modelli linguistici avanzati (LLM).
- Conoscenza dei flussi di lavoro tipici di Ollama e della gestione dei modelli.
- Padronanza di Python, Docker e delle principali tecnologie per l’osservabilità.
Destinatari del corso
- Ingegneri AI
- Professionisti ML Ops
- Gruppi di controllo qualità responsabili dei sistemi LLM in produzione.
35 ore