Corso di formazione Sicurezza OWASP GenAI

Giorno 1: Fondamenti e Minacce Core

Modulo 1: Introduzione al Progetto OWASP GenAI Security (1 ora)

Obiettivi di Apprendimento:

• Comprendere l'evoluzione dall'OWASP Top 10 alle sfide specifiche della sicurezza dell'IA generativa.
• Esplorare l'ecosistema e le risorse del Progetto OWASP GenAI Security.
• Identificare le differenze chiave tra la sicurezza delle applicazioni tradizionali e la sicurezza dell'IA.

Argomenti Trattati:

• Panoramica della missione e del campo di applicazione del Progetto OWASP GenAI Security.
• Introduzione al framework Threat Defense COMPASS.
• Comprensione del panorama della sicurezza dell'IA e dei requisiti normativi.
• Superfici di attacco dell'IA rispetto alle vulnerabilità delle applicazioni web tradizionali.

Esercitazione Pratica: Configurazione dello strumento OWASP Threat Defense COMPASS ed esecuzione di una valutazione iniziale delle minacce.

Modulo 2: OWASP Top 10 per LLM - Parte 1 (2,5 ore)

Obiettivi di Apprendimento:

• Padroneggiare le prime cinque vulnerabilità critiche dei LLM.
• Comprendere vettori di attacco e tecniche di sfruttamento.
• Applicare strategie pratiche di mitigazione.

Argomenti Trattati:

LLM01: Iniezione di Prompt (Prompt Injection)

• Tecniche di iniezione diretta e indiretta del prompt.
• Attacchi con istruzioni nascoste e contaminazione cross-prompt.
• Esempi pratici: Jailbreaking dei chatbot e bypass delle misure di sicurezza.
• Strategie di difesa: Sanitizzazione degli input, filtraggio dei prompt, privacy differenziale.

LLM02: divulgazione di Informazioni Sensibili

• Estrazione dei dati di addestramento e fuoriuscita (leakage) del prompt di sistema.
• Analisi del comportamento del modello per l'esposizione di informazioni sensibili.
• Implicazioni sulla privacy e considerazioni sulla conformità normativa.
• Mitigazione: Filtraggio dell'output, controlli di accesso, anonimizzazione dei dati.

LLM03: Vulnerabilità della Catena di Fornitura (Supply Chain)

• Dipendenze da modelli di terze parti e sicurezza dei plugin.
• Dataset di addestramento compromessi e avvelenamento del modello (model poisoning).
• Valutazione del rischio dei fornitori per i componenti dell'IA.
• Pratiche sicure per il deployment e la verifica dei modelli.

Esercitazione Pratica: Laboratorio pratico che dimostra attacchi di iniezione di prompt contro applicazioni LLM vulnerabili e implementazione di misure difensive.

Modulo 3: OWASP Top 10 per LLM - Parte 2 (2 ore)

Argomenti Trattati:

LLM04: Avvelenamento di Dati e Modelli

• Tecniche di manipolazione dei dati di addestramento.
• Modifica del comportamento del modello attraverso input avvelenati.
• Attacchi con backdoor e verifica dell'integrità dei dati.
• Prevenzione: Pipeline di convalida dei dati, tracciamento della provenienza.

LLM05: Gestione Impropria degli Output

• Elaborazione insicura dei contenuti generati dai LLM.
• Iniezione di codice tramite output generati dall'IA.
• Cross-site scripting (XSS) tramite risposte dell'IA.
• Framework di convalida e sanitizzazione dell'output.

Esercitazione Pratica: Simulazione di attacchi di avvelenamento dei dati e implementazione di meccanismi robusti di convalida dell'output.

Modulo 4: Minacce Avanzate ai LLM (1,5 ore)

Argomenti Trattati:

LLM06: Agente Eccessivo (Excessive Agency)

• Rischi del processo decisionale autonomo e violazioni dei confini.
• Gestione delle autorità e dei permessi dell'agente.
• Interazioni di sistema indesiderate ed escalation dei privilegi.
• Implementazione di barriere di sicurezza (guardrails) e controlli di supervisione umana.

LLM07: Fuoriuscita del Prompt di Sistema (System Prompt Leakage)

• Vulnerabilità di esposizione delle istruzioni di sistema.
• Fuoriuscita di credenziali e logica attraverso i prompt.
• Tecniche di attacco per l'estrazione dei prompt di sistema.
• Protezione delle istruzioni di sistema e della configurazione esterna.

Esercitazione Pratica: Progettazione di architetture sicure per agenti con controlli di accesso e monitoraggio appropriati.

Giorno 2: Minacce Avanzate e Implementazione

Modulo 5: Minacce Emergenti all'IA (2 ore)

Obiettivi di Apprendimento:

• Comprendere le minacce di sicurezza dell'IA all'avanguardia.
• Implementare tecniche avanzate di rilevamento e prevenzione.
• Progettare sistemi di IA resilienti contro attacchi sofisticati.

Argomenti Trattati:

LLM08: Debolezze dei Vettori e degli Embedding

• Vulnerabilità dei sistemi RAG e sicurezza dei database vettoriali.
• Avvelenamento degli embedding e attacchi di manipolazione della similarità.
• Esempi avversari nella ricerca semantica.
• Protezione dei repository vettoriali e implementazione del rilevamento di anomalie.

LLM09: Disinformazione e Affidabilità del Modello

• Rilevamento e mitigazione delle allucinazioni (hallucination).
• Amplificazione dei bias e considerazioni sull'equità.
• Meccanismi di verifica dei fatti e delle fonti.
• Convalida dei contenuti e integrazione della supervisione umana.

LLM10: Consumo Non Limitato (Unbounded Consumption)

• Esaurimento delle risorse e attacchi denial-of-service (DoS).
• Strategie di limitazione della frequenza (rate limiting) e gestione delle risorse.
• Ottimizzazione dei costi e controlli del budget.
• Sistemi di monitoraggio delle prestazioni e allerta.

Esercitazione Pratica: Creazione di una pipeline RAG sicura con protezione del database vettoriale e rilevamento delle allucinazioni.

Modulo 6: Sicurezza dell'IA Agentic (Agentic AI Security) (2 ore)

Obiettivi di Apprendimento:

• Comprendere le sfide di sicurezza uniche degli agenti di IA autonomi.
• Applicare la tassonomia OWASP Agentic AI a sistemi reali.
• Implementare controlli di sicurezza per ambienti multi-agente.

Argomenti Trattati:

• Introduzione all'IA Agentic e ai sistemi autonomi.
• Tassonomia delle Minacce OWASP Agentic AI: Progettazione dell'Agente, Memoria, Pianificazione, Utilizzo degli Strumenti, Deployment.
• Rischi di sicurezza e coordinamento nei sistemi multi-agente.
• Attacchi di maluso degli strumenti, avvelenamento della memoria e dirottamento degli obiettivi.
• Protezione delle comunicazioni tra agenti e dei processi decisionali.

Esercitazione Pratica: Esercizio di threat modeling utilizzando la tassonomia OWASP Agentic AI su un sistema multi-agente per il servizio clienti.

Modulo 7: Implementazione di OWASP Threat Defense COMPASS (2 ore)

Obiettivi di Apprendimento:

• Padroneggiare l'applicazione pratica di Threat Defense COMPASS.
• Integrare la valutazione delle minacce all'IA nei programmi di sicurezza organizzativa.
• Sviluppare strategie comprehensive di gestione del rischio dell'IA.

Argomenti Trattati:

• Approfondimento della metodologia Threat Defense COMPASS.
• Integrazione del ciclo OODA: Osserva, Orienta, Decidi, Agisci.
• Mappatura delle minacce ai framework MITRE ATT&CK e ATLAS.
• Creazione di dashboard per la strategia di resilienza alle minacce dell'IA.
• Integrazione con gli strumenti e i processi di sicurezza esistenti.

Esercitazione Pratica: Esecuzione completa di una valutazione delle minacce utilizzando COMPASS per uno scenario di deployment di Microsoft Copilot.

Modulo 8: Implementazione Pratica e Best Practices (2,5 ore)

Obiettivi di Apprendimento:

• Progettare architetture sicure per l'IA fin dalla fase iniziale.
• Implementare monitoraggio e risposta agli incidenti per i sistemi di IA.
• Creare framework di governance per la sicurezza dell'IA.

Argomenti Trattati:

Ciclo di Vita dello Sviluppo Sicuro dell'IA:

• Principi di security-by-design per le applicazioni IA.
• Pratiche di code review per le integrazioni LLM.
• Metodologie di test e scanning delle vulnerabilità.
• Sicurezza del deployment e hardening della produzione.

Monitoraggio e Rilevamento:

• Requisiti specifici per il logging e il monitoraggio dell'IA.
• Rilevamento di anomalie per i sistemi IA.
• Procedure di risposta agli incidenti per eventi di sicurezza dell'IA.
• Tecniche di analisi forense e indagine.

Governance e Conformità:

• Framework e politiche di gestione del rischio dell'IA.
• Considerazioni sulla conformità normativa (GDPR, AI Act, ecc.).
• Valutazione del rischio delle terze parti per i fornitori di IA.
• Formazione sulla sicurezza informatica per i team di sviluppo dell'IA.

Esercitazione Pratica: Progettare un'architettura di sicurezza completa per un chatbot aziendale dell'IA, inclusi monitoraggio, governance e procedure di risposta agli incidenti.

Modulo 9: Strumenti e Tecnologie (1 ora)

Obiettivi di Apprendimento:

• Valutare e implementare strumenti di sicurezza dell'IA.
• Comprendere il panorama attuale delle soluzioni di sicurezza per l'IA.
• Sviluppare capacità pratiche di rilevamento e prevenzione.

Argomenti Trattati:

• Ecosistema degli strumenti di sicurezza dell'IA e panorama dei fornitori.
• Strumenti open-source per la sicurezza: Garak, PyRIT, Giskard.
• Soluzioni commerciali per la sicurezza e il monitoraggio dell'IA.
• Pattern di integrazione e strategie di deployment.
• Criteri di selezione degli strumenti e framework di valutazione.

Esercitazione Pratica: Dimostrazione pratica degli strumenti di test della sicurezza dell'IA e pianificazione dell'implementazione.

Modulo 10: Tendenze Future e Conclusione (1 ora)

Obiettivi di Apprendimento:

• Comprendere le minacce emergenti e le future sfide alla sicurezza.
• Sviluppare strategie di apprendimento continuo e miglioramento.
• Creare piani d'azione per i programmi di sicurezza dell'IA organizzativa.

Argomenti Trattati:

• Minacce emergenti: Deepfake, iniezione di prompt avanzata, inversione del modello.
• Sviluppi futuri del progetto OWASP GenAI e roadmap.
• Creazione di comunità dedicate alla sicurezza dell'IA e condivisione delle conoscenze.
• Miglioramento continuo e integrazione dell'intelligence sulle minacce.

Esercitazione di Pianificazione d'Azione: Sviluppare un piano d'azione a 90 giorni per l'implementazione delle pratiche di sicurezza OWASP GenAI nelle organizzazioni dei partecipanti.