Grazie per aver inviato la tua richiesta! Uno dei nostri team membri ti contatterà a breve.
Grazie per aver inviato il tuo prenotazione! Uno dei nostri team membri ti contatterà a breve.
Struttura del corso
Introduzione e Fondamenti diagnostici
- Panoramica sui modi di fallimento nei sistemi LLM e problemi specifici di Ollama comuni
- Stabilire esperimenti riproducibili e ambienti controllati
- Kit di debug: log locali, acquisizioni richiesta/risposta e sandboxing
Riproduzione ed Isolamento dei Malfunzionamenti
- Tecnologie per creare esempi minimi falliti e semini
- Interazioni stateful vs stateless: isolamento di errori correlati al contesto
- Determinismo, casualità e controllo del comportamento nondeterministico
Valutazione del Comportamento e Metriche
- Metriche quantitative: accuratezza, varianti ROUGE/BLEU, calibrazione e proxy di perplexity
- Valutazioni qualitative: valutazioni con feedback umano e progettazione di schemi di valutazione
- Controlli di fedeltà specifici per task e criteri di accettazione
Test Automatizzati e Regressione
- Test unitari per prompty e componenti, test scenico e end-to-end
- Crea suite di regressione e baselines di esempi d'oro
- Integrazione CI/CD per aggiornamenti del modello Ollama e porte di validazione automatizzate
Osservabilità e Monitoraggio
- Rilevamento strutturato, tracce distribuite ed ID correlati
- Metriche operative chiave: latenza, utilizzo del token, tassi di errore e segnali di qualità
- Avvisi, dashboard e SLIs/SLOs per servizi basati su modelli
Analisi delle Cause Radici Avanzata
- Rilevamento attraverso prompty graficate, chiamate di strumenti e flussi multi-turno
- Diagnosi comparativa A/B e studi di ablatone
- Provenienza dei dati, debug del dataset e affrontare i malfunzionamenti indotti dal dataset
Sicurezza, Robustezza e Strategie Remediali
- Mitigazioni: filtraggio, ancoraggio, aggiunta di recuperi e strutturazione dei prompty
- Rollback, canary e modelli di roll-out fasi per gli aggiornamenti del modello
- Post-mortem, lezioni apprese e cicli di miglioramento continuo
Riepilogo e Passaggi Successivi
Requisiti
- Elevata esperienza nella costruzione e deploy di applicazioni LLM
- Familiarità con i workflow di Ollama e l'hosting dei modelli
- Comfort con Python, Docker ed strumenti di base di osservabilità
Pubblico
- Ingegneri AI
- Professionisti ML Ops
- Squadre QA responsabili dei sistemi LLM in produzione
35 ore