Struttura del corso
Giorno 1: Fondamenti e Minacce Principali
Modulo 1: Introduzione al Progetto OWASP GenAI Security (1 ora)
Obiettivi di Apprendimento:
- Capire l'evoluzione dai 10 punti principali OWASP alle sfide specifiche per la sicurezza GenAI
- Esplorare l'ecosistema e le risorse del progetto OWASP GenAI Security
- Identificare le principali differenze tra la sicurezza delle applicazioni tradizionali e quella dell'AI
Argomenti Trattati:
- Panoramica della missione e dello scope del progetto OWASP GenAI Security
- Introduzione alla metodologia Threat Defense COMPASS
- Comprensione del paesaggio di sicurezza AI e dei requisiti normativi
- Superfici d'attacco dell'AI vs vulnerabilità delle applicazioni web tradizionali
Esercizio Pratico: Configurazione dello strumento OWASP Threat Defense COMPASS e svolgimento della valutazione delle minacce iniziale
Modulo 2: I 10 principali rischi per i LLM - Parte 1 (2.5 ore)
Obiettivi di Apprendimento:
- Dominare le prime cinque vulnerabilità critiche dei LLM
- Capire i vettori di attacco e le tecniche di sfruttamento
- Applicare strategie pratiche di mitigazione
Argomenti Trattati:
LLM01: Iniezione di Prompt
- Tecniche di iniezione di prompt dirette e indirette
- Attacchi con istruzioni nascoste e contaminazione incrociata dei prompt
- Esempi pratici: Jailbreaking dei chatbot e bypass delle misure di sicurezza
- Strategie difensive: sanitizzazione dell'input, filtraggio dei prompt, privacy differenziale
LLM02: Divulgazione di Informazioni Sensibili
- Estrazione dei dati di training e leak del sistema prompt
- Analisi del comportamento del modello per l'esposizione di informazioni sensibili
- Implicazioni sulla privacy e considerazioni normative
- Mitigazione: filtraggio dell'output, controlli di accesso, anonimizzazione dei dati
LLM03: Vulnerabilità della Catena di Fornitura
- Dipendenze dei modelli di terze parti e sicurezza dei plugin
- Set di dati di training compromessi e avvelenamento del modello
- Valutazione del rischio fornitore per componenti AI
- Pratiche di distribuzione e verifica sicura dei modelli
Esercizio Pratico: Laboratorio pratico per dimostrare gli attacchi di iniezione di prompt su applicazioni LLM vulnerabili e implementare misure difensive
Modulo 3: I 10 principali rischi per i LLM - Parte 2 (2 ore)
Argomenti Trattati:
LLM04: Avvelenamento dei Dati e del Modello
- Tecniche di manipolazione dei dati di training
- Modifica del comportamento del modello tramite input avvelenati
- Attacchi a porte nascoste e verifica dell'integrità dei dati
- Prevenzione: pipeline di validazione dei dati, tracciamento della provenienza
LLM05: Gestione Impropria dell'Output
- Elaborazione non sicura del contenuto generato dai LLM
- Iniezione di codice tramite output generati dall'AI
- Cross-site scripting attraverso risposte AI
- Framework di validazione e sanitizzazione dell'output
Esercizio Pratico: Simulazione di attacchi di avvelenamento dei dati e implementazione di meccanismi robusti di validazione dell'output
Modulo 4: Minacce Avanzate per i LLM (1.5 ore)
Argomenti Trattati:
LLM06: Eccessiva Aggenzia
- Rischi di decisioni autonome e violazioni dei limiti
- Gestione dell'autorità e dei permessi degli agenti
- Interazioni non intenzionali del sistema e escalation dei privilegi
- Implementazione di guardrail e controlli di supervisione umana
LLM07: Leak del Prompt di Sistema
- Vulnerabilità dell'esposizione delle istruzioni di sistema
- Divulgazione di credenziali e logica attraverso i prompt
- Tecniche d'attacco per l'estrazione dei prompt di sistema
- Sicurezza delle istruzioni di sistema e configurazione esterna
Esercizio Pratico: Progettazione di architetture sicure per agenti con controlli di accesso appropriati e monitoraggio
Giorno 2: Minacce Avanzate e Implementazione
Modulo 5: Minacce AI Emergenti (2 ore)
Obiettivi di Apprendimento:
- Capire le minacce alla sicurezza AI all'avanguardia
- Implementare tecniche avanzate di rilevamento e prevenzione
- Progettare sistemi AI resilienti contro attacchi sofisticati
Argomenti Trattati:
LLM08: Debolezze dei Vettori e degli Embedding
- Vulnerabilità del sistema RAG e sicurezza delle basi di dati vettoriali
- Avvelenamento degli embedding e attacchi di manipolazione della similarità
- Esempi avversari in ricerca semantica
- Sicurezza delle basi di dati vettoriali e implementazione del rilevamento delle anomalie
LLM09: Disinformazione e Affidabilità del Modello
- Rilevamento e mitigazione delle allucinazioni
- Amplificazione del bias e considerazioni sulla fairlyness
- Meccanismi di verifica dei fatti e delle fonti
- Validazione del contenuto e integrazione della supervisione umana
LLM10: Consumo Illimitato
- Esaurimento delle risorse e attacchi di denial-of-service
- Strategie di limitazione del tasso e gestione delle risorse
- Ottimizzazione dei costi e controlli di budget
- Monitoraggio delle prestazioni e sistemi di allarme
Esercizio Pratico: Costruzione di una pipeline RAG sicura con protezione della base di dati vettoriale e rilevamento delle allucinazioni
Modulo 6: Sicurezza AI Agente (2 ore)
Obiettivi di Apprendimento:
- Capire le sfide uniche alla sicurezza degli agenti AI autonomi
- Applicare la tassonomia OWASP Agentic AI a sistemi reali
- Implementare controlli di sicurezza per ambienti multi-agente
Argomenti Trattati:
- Introduzione all'AI Agente e ai sistemi autonomi
- Tassonomia delle minacce OWASP Agentic AI: Design dell'Agente, Memoria, Pianificazione, Utilizzo degli Strumenti, Distribuzione
- Sicurezza e rischi di coordinamento nei sistemi multi-agente
- Abuso degli strumenti, avvelenamento della memoria e attacchi a obiettivi
- Sicurezza delle comunicazioni e dei processi decisionali degli agenti
Esercizio Pratico: Esercizio di modellazione delle minacce utilizzando la tassonomia OWASP Agentic AI su un sistema di servizio clienti multi-agente
Modulo 7: Implementazione della Metodologia Threat Defense COMPASS (2 ore)
Obiettivi di Apprendimento:
- Dominare l'applicazione pratica della metodologia Threat Defense COMPASS
- Integrare la valutazione delle minacce AI nei programmi di sicurezza organizzativa
- Sviluppare strategie comprehensive per la gestione dei rischi AI
Argomenti Trattati:
- Analisi approfondita della metodologia Threat Defense COMPASS
- Integrazione con il ciclo OODA: Observa, Orienta, Decide, Agisci
- Mappatura delle minacce agli framework MITRE ATT&CK e ATLAS
- Costruzione di Dashboard per la resilienza delle minacce AI
- Integrazione con strumenti e processi di sicurezza esistenti
Esercizio Pratico: Valutazione completa delle minacce utilizzando COMPASS per un scenario di distribuzione Microsoft Copilot
Modulo 8: Implementazione Pratica e Best Practices (2.5 ore)
Obiettivi di Apprendimento:
- Progettare architetture AI sicure fin dall'inizio
- Implementare monitoraggio e risposta agli incidenti per i sistemi AI
- Creare framework di governance per la sicurezza AI
Argomenti Trattati:
Ciclo di Sviluppo AI Sicuro:
- Principi di sicurezza-by-design per applicazioni AI
- Pratiche di revisione del codice per integrazioni LLM
- Metodologie di test e scansione delle vulnerabilità
- Sicurezza della distribuzione e hardening in produzione
Monitoraggio e Rilevamento:
- Requisiti specifici di logging e monitoraggio per sistemi AI
- Rilevamento delle anomalie nei sistemi AI
- Procedure di risposta agli incidenti per eventi di sicurezza AI
- Tecniche di analisi forense e indagine
Governance e Conformità:
- Framework e politiche di gestione dei rischi AI
- Considerazioni sulla conformità normativa (GDPR, AI Act, ecc.)
- Valutazione del rischio di terze parti per fornitori AI
- Formazione sulla sicurezza per le squadre di sviluppo AI
Esercizio Pratico: Progettare un'architettura completa di sicurezza per un chatbot AI aziendale, inclusi monitoraggio, governance e procedure di risposta agli incidenti
Modulo 9: Strumenti e Tecnologie (1 ora)
Obiettivi di Apprendimento:
- Valutare e implementare strumenti di sicurezza AI
- Capire il panorama attuale delle soluzioni di sicurezza AI
- Costruire capacità pratiche di rilevamento e prevenzione
Argomenti Trattati:
- Ecosistema degli strumenti di sicurezza AI e panorama dei fornitori
- Strumenti open-source: Garak, PyRIT, Giskard
- Soluzioni commerciali per la sicurezza e il monitoraggio AI
- Pattern di integrazione e strategie di distribuzione
- Criteri di selezione degli strumenti e framework di valutazione
Esercizio Pratico: Dimostrazione pratica degli strumenti di test per la sicurezza AI e pianificazione dell'implementazione
Modulo 10: Trend Futuri e Conclusione (1 ora)
Obiettivi di Apprendimento:
- Capire le minacce emergenti e le sfide future per la sicurezza
- Sviluppare strategie di apprendimento continuo e miglioramento
- Creare piani d'azione per i programmi di sicurezza AI organizzativi
Argomenti Trattati:
- Minacce emergenti: Deepfakes, iniezione di prompt avanzata, inversione del modello
- Futuri sviluppi e roadmap del progetto OWASP GenAI
- Costruire comunità di sicurezza AI e condivisione della conoscenza
- Miglioramento continuo e integrazione dell'intelligence delle minacce
Esercizio di Pianificazione Aziendale: Sviluppare un piano d'azione a 90 giorni per l'implementazione delle pratiche di sicurezza OWASP GenAI nelle organizzazioni dei partecipanti
Requisiti
- Conoscenza generale dei principi di sicurezza delle applicazioni web
- Familiarità basilare con concetti di AI/ML
- Esperienza con framework di sicurezza o metodologie di valutazione dei rischi preferibile
Pubblico
- Professionisti della sicurezza informatica
- Sviluppatori AI
- Architetti di sistema
- Responsabili della conformità
- Praticanti di sicurezza informatica