Grazie per aver inviato la tua richiesta! Uno dei nostri team membri ti contatterà a breve.
Grazie per aver inviato il tuo prenotazione! Uno dei nostri team membri ti contatterà a breve.
Struttura del corso
Fondamenti del Debugging e della Valutazione con Mastra
- Comprensione dei modelli di comportamento degli agenti e delle modalità di fallimento
- Principi fondamentali del debugging all'interno di Mastra
- Valutazione di azioni deterministiche e non-deterministiche degli agenti
Configurazione degli Ambienti per il Test degli Agenti
- Configurazione di sandbox di test e spazi di valutazione isolati
- Cattura di log, tracce e telemetria per analisi dettagliate
- Preparazione di dataset e prompt per il test strutturato
Debugging del Comportamento degli Agenti AI
- Tracciamento dei percorsi decisionali e dei segnali di ragionamento interni
- Identificazione di allucinazioni, errori e comportamenti non intenzionali
- Utilizzo di dashboard di osservabilità per l'indagine delle cause radici
Metriche di Valutazione e Framework di Benchmarking
- Definizione di metriche quantitative e qualitative di valutazione
- Misurazione dell'accuratezza, della coerenza e della conformità contestuale
- Applicazione di dataset di benchmark per valutazioni ripetibili
Ingegneria della Affidabilità per Agenti AI
- Progettazione di test di affidabilità per agenti in esecuzione prolungata
- Rilevamento dello slittamento (drift) e della degradazione delle prestazioni degli agenti
- Implementazione di salvaguardie per flussi di lavoro critici
Processi di Garanzia della Qualità e Automazione
- Costruzione di pipeline QA per la valutazione continua
- Automazione dei test di regressione per gli aggiornamenti degli agenti
- Integrazione della QA con CI/CD e flussi di lavoro aziendali
Tecniche Avanzate per la Riduzione delle Allucinazioni
- Strategie di prompting per ridurre i risultati indesiderati
- Cicli di validazione e meccanismi di auto-controllo
- Sperimentazione con combinazioni di modelli per migliorare la affidabilità
Reporting, Monitoraggio e Miglioramento Continuo
- Sviluppo di report QA e schede degli agenti
- Monitoraggio del comportamento a lungo termine e pattern di errore
- Iterazione su framework di valutazione per sistemi in evoluzione
Riepilogo e Passi Successivi
Requisiti
- Comprensione del comportamento degli agenti AI e delle interazioni dei modelli
- Esperienza nel debugging o nel test di sistemi software complessi
- Familiarità con strumenti di osservabilità o logging
Pubblico di Riferimento
- Ingegneri QA
- Ingegneri di affidabilità AI
- Sviluppatori responsabili della qualità e delle prestazioni degli agenti
21 Ore