Questo corso guidato dal formatore in Milano (online o sul posto) è rivolto a sviluppatori AI, architetti e gestori di prodotti di livello intermedio ed avanzato che desiderano identificare e mitigare i rischi associati alle applicazioni alimentate da LLM, inclusi l'iniezione dei prompt, la fuga di dati e l'output non filtrato, incorporando controlli di sicurezza come la validazione dell'input, il controllo umano nel loop e le barriere di output.
Al termine di questo corso, i partecipanti saranno in grado di:
- Comprendere le vulnerabilità centrali dei sistemi basati su LLM.
- Applicare principi di progettazione sicura all'architettura delle app LLM.
- Utilizzare strumenti come Guardrails AI e LangChain per la validazione, il filtraggio e la sicurezza.
- Incorporare tecniche come lo sandboxing, il red teaming e la revisione umana nel loop nelle pipeline di livello produttivo.
Panoramica dell'architettura LLM e della superficie di attacco
- Come vengono costruiti, distribuiti ed acceduti tramite API gli LLM
- Componenti chiave nelle pile delle app LLM (ad esempio, prompt, agenti, memoria, API)
- Dove e come emergono le questioni di sicurezza nell'uso reale
Iniezione dei Prompt e Attacchi di Jailbreak
- Cos'è l'iniezione del prompt e perché è pericolosa
- Situazioni dirette ed indirette di iniezione del prompt
- Tecnologie di jailbreaking per aggirare i filtri di sicurezza
- Strategie di rilevazione e mitigazione
Fuga dei Dati e Rischi alla Privacy
- Esposizione accidentale dei dati attraverso le risposte
- Viti di fuga PII e abuso della memoria del modello
- Progettazione di prompt consapevoli della privacy e generazione aumentata con la ricerca (RAG)
Filtraggio e Protezione dell'Output LLM
- Utilizzo di Guardrails AI per il filtraggio del contenuto e la validazione
- Definizione di schemi e vincoli di output
- Sorveglianza e registrazione degli output non sicuri
Approcci umano nel loop e workflow
- Dove e quando introdurre il controllo umano
- Coda di approvazione, soglie di punteggio, gestione dei fallback
- Calibrazione della fiducia e ruolo dell'esplicabilità
Sicurezza delle App LLM Design Patterns
- Meno privilegi e sandboxing per le chiamate API e gli agenti
- Limitazione del tasso, ritmo e rilevamento dell'abuso
- Concatenazione robusta con LangChain ed isolamento dei prompt
Conformità, Logging e Governance
- Sicurezza della tracciabilità degli output LLM
- Mantenimento della tracciabilità e controllo del prompt/versione
- Allineamento con le politiche di sicurezza interne ed esigenze regolatorie
Riassunto e Passaggi Successivi
La sicurezza delle applicazioni LLM è la disciplina di progettazione, costruzione e manutenzione di sistemi sicuri, affidabili e conformi alle politiche utilizzando modelli linguistici a vasta scala.
Questo corso guidato dal formatore (online o sul posto) è rivolto a sviluppatori AI, architetti e gestori di prodotti di livello intermedio ed avanzato che desiderano identificare e mitigare i rischi associati alle applicazioni alimentate da LLM, inclusi l'iniezione dei prompt, la fuga dei dati e l'output non filtrato, incorporando controlli di sicurezza come la validazione dell'input, il controllo umano nel loop e le barriere di output.
Al termine di questo corso, i partecipanti saranno in grado di:
- Comprendere le vulnerabilità centrali dei sistemi basati su LLM.
- Applicare principi di progettazione sicura all'architettura delle app LLM.
- Utilizzare strumenti come Guardrails AI e LangChain per la validazione, il filtraggio e la sicurezza.
- Incorporare tecniche come lo sandboxing, il red teaming e la revisione umana nel loop nelle pipeline di livello produttivo.
Formato del Corso
- Lectura interattiva e discussione.
- Molte esercitazioni e pratica.
- Esecuzione pratica in un ambiente lab live.
Opzioni di Personalizzazione del Corso
- Per richiedere una formazione personalizzata per questo corso, si prega di contattarci per organizzare l'incontro.
Prerequisiti
- Comprensione dei modelli linguistici a vasta scala e delle interfacce basate su prompt
- Esperienza nella costruzione di applicazioni LLM utilizzando Python
- Familiarità con le integrazioni API e i rilasci cloud-based
Pubblico Obiettivo
- Sviluppatori AI
- Architetti di applicazioni e soluzioni
- Gestori tecnici del prodotto che lavorano con strumenti LLM
Questo corso guidato dal formatore in Milano (online o sul posto) è rivolto a sviluppatori AI, architetti e gestori di prodotti di livello intermedio ed avanzato che desiderano identificare e mitigare i rischi associati alle applicazioni alimentate da LLM, inclusi l'iniezione dei prompt, la fuga dei dati e l'output non filtrato, incorporando controlli di sicurezza come la validazione dell'input, il controllo umano nel loop e le barriere di output.
Al termine di questo corso, i partecipanti saranno in grado di:
- Comprendere le vulnerabilità centrali dei sistemi basati su LLM.
- Applicare principi di progettazione sicura all'architettura delle app LLM.
- Utilizzare strumenti come Guardrails AI e LangChain per la validazione, il filtraggio e la sicurezza.
- Incorporare tecniche come lo sandboxing, il red teaming e la revisione umana nel loop nelle pipeline di livello produttivo.
Ulteriori Informazioni...
