Grazie per aver inviato la tua richiesta! Uno dei nostri team membri ti contatterà a breve.
Grazie per aver inviato il tuo prenotazione! Uno dei nostri team membri ti contatterà a breve.
Struttura del corso
Introduzione all’LLMOps
- LLMOps e MLOps: differenze fondamentali e sfide specifiche nell’utilizzo dei modelli linguistici grandi.
- Ciclo di vita delle applicazioni LLM: creazione, valutazione, implementazione e monitoraggio.
- Elenco di verifica per la prontezza alla produzione delle applicazioni GenAI.
Gestione e versionazione delle istruzioni (prompt)
- Sistemi di modelli predefiniti per le istruzioni e meccanismi di sostituzione dinamica dei parametri.
- Versionamento semantico dei prompt con test automatici di regressione.
- Registri centralizzati dei prompt e workflow collaborativi.
Valutazione dei LLM su larga scala
- Aspetti di valutazione: accuratezza, pertinenza semantica, sicurezza e coerenza logica.
- Metriche ottenute tramite l’utilizzo dei modelli stessi come giudici, nonché pipeline di verifica umana.
- Framework automatizzati per la valutazione: RAGAS, DeepEval e soluzioni personalizzate.
- Meccanismi di controllo qualità nei processi CI/CD applicati ai LLM.
Misure di sicurezza e governance dei contenuti
- Controlli sia sull’input che sull’output: strumenti come NeMo Guardrails e Guardrails AI.
- Rilevamento di dati sensibili, filtraggio dei contenuti tossici e definizione di limiti tematici.
- Strategie difensive contro attacchi basati su manipolazioni delle istruzioni (prompt injection) o tentativi di eludere i controlli.
- Esecuzione di test di penetrazione specifici per valutare la robustezza dei modelli in termini di sicurezza.
Monitoraggio e visibilità operativa dei LLM
- Dati telemetrici: utilizzo dei token, tempi di risposta, costi totali e valutazione della qualità.
- Rilevamento di cambiamenti significativi nelle uscite generate dai modelli o nello spazio delle rappresentazioni vettoriali.
- Tracciamento completo delle interazioni in applicazioni chatbot a più turni.
- Strumenti per la creazione di dashboard e allerti: LangSmith, Arize e OpenTelemetry.
Gateway AI e orchestrazione dei modelli
- Routing tra più provider tramite strumenti come LiteLLM e Portkey.
- Strategie di fallback, logica di ripetizione automatica delle richieste e implementazione di meccanismi protettivi (circuit breaker).
- Scelta dinamica dei modelli in base al costo effettivo e bilanciamento della domanda.
- Gestione dei limiti di richiesta, quote d’uso e controllo centralizzato delle chiavi API.
Ottimizzazione delle prestazioni
- Implementazione di sistemi di caching semantico integrati con database vettoriali o strategie basate su corrispondenza esatta.
- Impostazione del formato strutturato dei risultati attraverso tecniche specifiche di decodifica.
- Gestione ottimizzata di operazioni in batch, trasmissioni in streaming e concorrenza delle richieste.
- Metodi per ridurre al minimo la latenza indipendentemente dal provider utilizzato.
Governance, conformità normativa e tracciabilità
- Tracciamento di tutte le attività legate ai modelli: log delle istruzioni ricevute, risposte prodotte e percorsi decisionali seguiti.
- Considerazioni riguardanti la residenza dei dati e la privacy nell’utilizzo degli API LLM.
- Implementazione di policy vincolanti definite direttamente tramite codice (Policy-as-code) per regolare l’uso dei modelli all’interno dell’organizzazione.
- Creazione di una guida operativa interna dedicata alle procedure relative ai LLM.
Requisiti
- Esperienza nella creazione o nell’integrazione di applicazioni basate su modelli linguistici grandi.
- Conoscenza di base del linguaggio Python e delle API REST.
- Comprensione dei principali concetti legati alla progettazione di istruzioni per i modelli (prompt engineering).
Destinatari del corso
- Ingegneri ML e professionisti MLOps che si avvicinano alle operazioni con i LLM.
- Ingegneri di piattaforma responsabili della struttura tecnica dei modelli linguistici grandi.
- Responsabili tecnici incaricati di gestire il deployment delle applicazioni GenAI in ambiente produttivo.
14 ore
Recensioni (2)
utilizzo di prompt adeguati ed efficaci
Marses Pacaldo
Corso - Generative AI and Prompt Engineering for Corporate Professionals
Traduzione automatica
Lo stile interattivo, gli esercizi
Tamas Tutuntzisz
Corso - Introduction to Prompt Engineering
Traduzione automatica
