Corso di formazione OWASP GenAI Security

Giorno 1: Fondamenti e Minacce Principali

Modulo 1: Introduzione al Progetto OWASP GenAI Security (1 ora)

Obiettivi di Apprendimento:

• Comprendere l'evoluzione dai OWASP Top 10 alle sfide di sicurezza specifiche della GenAI
• Esplorare l'ecosistema e le risorse del Progetto OWASP GenAI Security
• Identificare le principali differenze tra la sicurezza delle applicazioni tradizionali e la sicurezza AI

Argomenti Trattati:

• Panoramica sulla missione e sulla portata del Progetto OWASP GenAI Security
• Introduzione al framework Threat Defense COMPASS
• Comprensione del panorama della sicurezza AI e dei requisiti regolamentari
• Superfici di attacco AI rispetto alle vulnerabilità delle applicazioni web tradizionali

Esercizio Pratico: Configurazione dello strumento OWASP Threat Defense COMPASS ed esecuzione di una valutazione iniziale delle minacce

Modulo 2: OWASP Top 10 per LLM - Parte 1 (2,5 ore)

Obiettivi di Apprendimento:

• Padroneggiare le prime cinque vulnerabilità critiche degli LLM
• Comprendere i vettori di attacco e le tecniche di sfruttamento
• Applicare strategie di mitigazione pratiche

Argomenti Trattati:

LLM01: Prompt Injection

• Tecniche di prompt injection diretta e indiretta
• Attacchi a istruzione nascosta e contaminazione tra prompt
• Esempi pratici: Jailbreaking dei chatbot e aggiramento delle misure di sicurezza
• Strategie di difesa: Sanitizzazione degli input, filtraggio dei prompt, privacy differenziale

LLM02: Divulgazione di Informazioni Sensibili

• Estrazione dei dati di addestramento e perdita del system prompt
• Analisi del comportamento del modello per l'esposizione di informazioni sensibili
• Implicazioni sulla privacy e considerazioni sulla conformità regolamentare
• Mitigazione: Filtraggio degli output, controlli di accesso, anonimizzazione dei dati

LLM03: Vulnerabilità della Supply Chain

• Dipendenze di modelli di terze parti e sicurezza dei plugin
• Set di dati di addestramento compromessi e avvelenamento del modello
• Valutazione del rischio dei fornitori per i componenti AI
• Pratiche sicure per il deployment e la verifica dei modelli

Esercizio Pratico: Laboratorio hands-on che dimostra attacchi di prompt injection contro applicazioni LLM vulnerabili e implementa misure difensive

Modulo 3: OWASP Top 10 per LLM - Parte 2 (2 ore)

Argomenti Trattati:

LLM04: Avvelenamento di Dati e Modelli

• Tecniche di manipolazione dei dati di addestramento
• Modifica del comportamento del modello tramite input avvelenati
• Attacchi backdoor e verifica dell'integrità dei dati
• Prevenzione: Pipeline di validazione dei dati, tracciabilità dell'origine (provenance)

LLM05: Gestione Impropria degli Output

• Elaborazione insicura del contenuto generato dagli LLM
• Iniezione di codice tramite output generati dall'AI
• Cross-site scripting tramite risposte AI
• Framework di validazione e sanitizzazione degli output

Esercizio Pratico: Simulazione di attacchi di avvelenamento dei dati e implementazione di meccanismi robusti di validazione degli output

Modulo 4: Minacce Avanzate agli LLM (1,5 ore)

Argomenti Trattati:

LLM06: Eccessiva Agenzia

• Rischi legati alla decision-making autonoma e violazioni dei confini operativi
• Gestione dell'autorità e dei permessi degli agenti
• Interazioni sistemiche indesiderate e escalation dei privilegi
• Implementazione di guardrail e controlli di supervisione umana

LLM07: Perdita del System Prompt

• Vulnerabilità legate all'esposizione delle istruzioni di sistema
• Divulgazione di credenziali e logica tramite prompt
• Tecniche di attacco per l'estrazione dei system prompt
• Sicurezza delle istruzioni di sistema e della configurazione esterna

Esercizio Pratico: Progettazione di architetture di agenti sicure con controlli di accesso e monitoraggio adeguati

Giorno 2: Minacce Avanzate e Implementazione

Modulo 5: Minacce AI Emergenti (2 ore)

Obiettivi di Apprendimento:

• Comprendere le minacce alla sicurezza AI all'avanguardia
• Implementare tecniche avanzate di rilevamento e prevenzione
• Progettare sistemi AI resilienti contro attacchi sofisticati

Argomenti Trattati:

LLM08: Debolezze nei Vettori e nelle Embedding

• Vulnerabilità dei sistemi RAG e sicurezza dei database di vettori
• Avvelenamento delle embedding e attacchi di manipolazione della similarità
• Esempi avversari nella ricerca semantica
• Protezione dei vettor store e implementazione del rilevamento delle anomalie

LLM09: Disinformazione e Affidabilità dei Modelli

• Rilevamento e mitigazione delle allucinazioni
• Amplificazione del bias e considerazioni sull'equità
• Mecanismi di fact-checking e verifica delle fonti
• Validazione dei contenuti e integrazione della supervisione umana

LLM10: Consumo Illimitato

• Esaustione delle risorse e attacchi di denial-of-service
• Strategie di rate limiting e gestione delle risorse
• Ottimizzazione dei costi e controlli di budget
• Monitoraggio delle prestazioni e sistemi di allertamento

Esercizio Pratico: Costruzione di un pipeline RAG sicuro con protezione del database di vettori e rilevamento delle allucinazioni

Modulo 6: Sicurezza degli Agenti AI (2 ore)

Obiettivi di Apprendimento:

• Comprendere le sfide di sicurezza uniche degli agenti AI autonomi
• Applicare la tassonomia OWASP Agentic AI a sistemi reali
• Implementare controlli di sicurezza per ambienti multi-agente

Argomenti Trattati:

• Introduzione all'Agentic AI e ai sistemi autonomi
• Tassonomia delle Minacce OWASP Agentic AI: Progettazione dell'Agente, Memoria, Pianificazione, Uso degli Strumenti, Deployment
• Sicurezza e rischi di coordinamento nei sistemi multi-agente
• Abuso degli strumenti, avvelenamento della memoria e attacchi di sequestro degli obiettivi (goal hijacking)
• Sicurezza delle comunicazioni degli agenti e dei processi decisionali

Esercizio Pratico: Esercizio di threat modeling utilizzando la tassonomia OWASP Agentic AI su un sistema di customer service multi-agente

Modulo 7: Implementazione OWASP Threat Defense COMPASS (2 ore)

Obiettivi di Apprendimento:

• Padroneggiare l'applicazione pratica del Threat Defense COMPASS
• Integrare la valutazione delle minacce AI nei programmi di sicurezza organizzativi
• Sviluppare strategie complete di gestione del rischio AI

Argomenti Trattati:

• Approfondimento della metodologia Threat Defense COMPASS
• Integrazione del Ciclo OODA: Osservare, Orientarsi, Decidere, Agire
• Mappatura delle minacce ai framework MITRE ATT&CK e ATLAS
• Creazione di dashboard per la strategia di resilienza alle minacce AI
• Integrazione con strumenti e processi di sicurezza esistenti

Esercizio Pratico: Valutazione completa delle minacce utilizzando COMPASS per uno scenario di deployment di Microsoft Copilot

Modulo 8: Implementazione Pratica e Best Practice (2,5 ore)

Obiettivi di Apprendimento:

• Progettare architetture AI sicure dalla base
• Implementare monitoraggio e risposta agli incidenti per i sistemi AI
• Creare framework di governance per la sicurezza AI

Argomenti Trattati:

Ciclo di Vita dello Sviluppo Sicuro AI:

• Principi di security-by-design per le applicazioni AI
• Pratiche di code review per le integrazioni LLM
• Metodologie di test e scansione delle vulnerabilità
• Sicurezza del deployment e hardening di produzione

Monitoraggio e Rilevamento:

• Requisiti di logging e monitoring specifici per l'AI
• Rilevamento delle anomalie per i sistemi AI
• Procedure di risposta agli incidenti per gli eventi di sicurezza AI
• Tecniche di forensica e indagine

Governance e Conformità:

• Framework e politiche di gestione del rischio AI
• Considerazioni sulla conformità regolamentare (GDPR, AI Act, ecc.)
• Valutazione del rischio di terze parti per i fornitori AI
• Formazione sulla consapevolezza della sicurezza per i team di sviluppo AI

Esercizio Pratico: Progettazione di un'architettura di sicurezza completa per un chatbot AI enterprise, inclusa la gestione del monitoraggio, della governance e delle procedure di risposta agli incidenti

Modulo 9: Strumenti e Tecnologie (1 ora)

Obiettivi di Apprendimento:

• Valutare e implementare strumenti di sicurezza AI
• Comprendere il panorama attuale delle soluzioni di sicurezza AI
• Costruire capacità pratiche di rilevamento e prevenzione

Argomenti Trattati:

• Ecosistema degli strumenti di sicurezza AI e panorama dei fornitori
• Strumenti di sicurezza open-source: Garak, PyRIT, Giskard
• Soluzioni commerciali per la sicurezza e il monitoraggio AI
• Modelli di integrazione e strategie di deployment
• Criteri di selezione e framework di valutazione degli strumenti

Esercizio Pratico: Dimostrazione hands-on degli strumenti di test della sicurezza AI e pianificazione dell'implementazione

Modulo 10: Trend Futuri e Conclusione (1 ora)

Obiettivi di Apprendimento:

• Comprendere le minacce emergenti e le future sfide di sicurezza
• Sviluppare strategie di apprendimento e miglioramento continuo
• Creare piani d'azione per i programmi di sicurezza AI organizzativi

Argomenti Trattati:

• Minacce emergenti: Deepfake, prompt injection avanzata, inversione del modello
• Sviluppi futuri e roadmap del progetto OWASP GenAI
• Creazione di comunità di sicurezza AI e condivisione delle conoscenze
• Miglioramento continuo e integrazione dell'intelligence sulle minacce

Esercizio di Pianificazione d'Azione: Sviluppo di un piano d'azione di 90 giorni per l'implementazione delle pratiche di sicurezza OWASP GenAI nelle organizzazioni dei partecipanti