Struttura del corso

Giorno 1: Fondamenti e Minacce Principali

Modulo 1: Introduzione al Progetto OWASP GenAI Security (1 ora)

Obiettivi di Apprendimento:

  • Capire l'evoluzione dai 10 punti principali OWASP alle sfide specifiche per la sicurezza GenAI
  • Esplorare l'ecosistema e le risorse del progetto OWASP GenAI Security
  • Identificare le principali differenze tra la sicurezza delle applicazioni tradizionali e quella dell'AI

Argomenti Trattati:

  • Panoramica della missione e dello scope del progetto OWASP GenAI Security
  • Introduzione alla metodologia Threat Defense COMPASS
  • Comprensione del paesaggio di sicurezza AI e dei requisiti normativi
  • Superfici d'attacco dell'AI vs vulnerabilità delle applicazioni web tradizionali

Esercizio Pratico: Configurazione dello strumento OWASP Threat Defense COMPASS e svolgimento della valutazione delle minacce iniziale

Modulo 2: I 10 principali rischi per i LLM - Parte 1 (2.5 ore)

Obiettivi di Apprendimento:

  • Dominare le prime cinque vulnerabilità critiche dei LLM
  • Capire i vettori di attacco e le tecniche di sfruttamento
  • Applicare strategie pratiche di mitigazione

Argomenti Trattati:

LLM01: Iniezione di Prompt

  • Tecniche di iniezione di prompt dirette e indirette
  • Attacchi con istruzioni nascoste e contaminazione incrociata dei prompt
  • Esempi pratici: Jailbreaking dei chatbot e bypass delle misure di sicurezza
  • Strategie difensive: sanitizzazione dell'input, filtraggio dei prompt, privacy differenziale

LLM02: Divulgazione di Informazioni Sensibili

  • Estrazione dei dati di training e leak del sistema prompt
  • Analisi del comportamento del modello per l'esposizione di informazioni sensibili
  • Implicazioni sulla privacy e considerazioni normative
  • Mitigazione: filtraggio dell'output, controlli di accesso, anonimizzazione dei dati

LLM03: Vulnerabilità della Catena di Fornitura

  • Dipendenze dei modelli di terze parti e sicurezza dei plugin
  • Set di dati di training compromessi e avvelenamento del modello
  • Valutazione del rischio fornitore per componenti AI
  • Pratiche di distribuzione e verifica sicura dei modelli

Esercizio Pratico: Laboratorio pratico per dimostrare gli attacchi di iniezione di prompt su applicazioni LLM vulnerabili e implementare misure difensive

Modulo 3: I 10 principali rischi per i LLM - Parte 2 (2 ore)

Argomenti Trattati:

LLM04: Avvelenamento dei Dati e del Modello

  • Tecniche di manipolazione dei dati di training
  • Modifica del comportamento del modello tramite input avvelenati
  • Attacchi a porte nascoste e verifica dell'integrità dei dati
  • Prevenzione: pipeline di validazione dei dati, tracciamento della provenienza

LLM05: Gestione Impropria dell'Output

  • Elaborazione non sicura del contenuto generato dai LLM
  • Iniezione di codice tramite output generati dall'AI
  • Cross-site scripting attraverso risposte AI
  • Framework di validazione e sanitizzazione dell'output

Esercizio Pratico: Simulazione di attacchi di avvelenamento dei dati e implementazione di meccanismi robusti di validazione dell'output

Modulo 4: Minacce Avanzate per i LLM (1.5 ore)

Argomenti Trattati:

LLM06: Eccessiva Aggenzia

  • Rischi di decisioni autonome e violazioni dei limiti
  • Gestione dell'autorità e dei permessi degli agenti
  • Interazioni non intenzionali del sistema e escalation dei privilegi
  • Implementazione di guardrail e controlli di supervisione umana

LLM07: Leak del Prompt di Sistema

  • Vulnerabilità dell'esposizione delle istruzioni di sistema
  • Divulgazione di credenziali e logica attraverso i prompt
  • Tecniche d'attacco per l'estrazione dei prompt di sistema
  • Sicurezza delle istruzioni di sistema e configurazione esterna

Esercizio Pratico: Progettazione di architetture sicure per agenti con controlli di accesso appropriati e monitoraggio

Giorno 2: Minacce Avanzate e Implementazione

Modulo 5: Minacce AI Emergenti (2 ore)

Obiettivi di Apprendimento:

  • Capire le minacce alla sicurezza AI all'avanguardia
  • Implementare tecniche avanzate di rilevamento e prevenzione
  • Progettare sistemi AI resilienti contro attacchi sofisticati

Argomenti Trattati:

LLM08: Debolezze dei Vettori e degli Embedding

  • Vulnerabilità del sistema RAG e sicurezza delle basi di dati vettoriali
  • Avvelenamento degli embedding e attacchi di manipolazione della similarità
  • Esempi avversari in ricerca semantica
  • Sicurezza delle basi di dati vettoriali e implementazione del rilevamento delle anomalie

LLM09: Disinformazione e Affidabilità del Modello

  • Rilevamento e mitigazione delle allucinazioni
  • Amplificazione del bias e considerazioni sulla fairlyness
  • Meccanismi di verifica dei fatti e delle fonti
  • Validazione del contenuto e integrazione della supervisione umana

LLM10: Consumo Illimitato

  • Esaurimento delle risorse e attacchi di denial-of-service
  • Strategie di limitazione del tasso e gestione delle risorse
  • Ottimizzazione dei costi e controlli di budget
  • Monitoraggio delle prestazioni e sistemi di allarme

Esercizio Pratico: Costruzione di una pipeline RAG sicura con protezione della base di dati vettoriale e rilevamento delle allucinazioni

Modulo 6: Sicurezza AI Agente (2 ore)

Obiettivi di Apprendimento:

  • Capire le sfide uniche alla sicurezza degli agenti AI autonomi
  • Applicare la tassonomia OWASP Agentic AI a sistemi reali
  • Implementare controlli di sicurezza per ambienti multi-agente

Argomenti Trattati:

  • Introduzione all'AI Agente e ai sistemi autonomi
  • Tassonomia delle minacce OWASP Agentic AI: Design dell'Agente, Memoria, Pianificazione, Utilizzo degli Strumenti, Distribuzione
  • Sicurezza e rischi di coordinamento nei sistemi multi-agente
  • Abuso degli strumenti, avvelenamento della memoria e attacchi a obiettivi
  • Sicurezza delle comunicazioni e dei processi decisionali degli agenti

Esercizio Pratico: Esercizio di modellazione delle minacce utilizzando la tassonomia OWASP Agentic AI su un sistema di servizio clienti multi-agente

Modulo 7: Implementazione della Metodologia Threat Defense COMPASS (2 ore)

Obiettivi di Apprendimento:

  • Dominare l'applicazione pratica della metodologia Threat Defense COMPASS
  • Integrare la valutazione delle minacce AI nei programmi di sicurezza organizzativa
  • Sviluppare strategie comprehensive per la gestione dei rischi AI

Argomenti Trattati:

  • Analisi approfondita della metodologia Threat Defense COMPASS
  • Integrazione con il ciclo OODA: Observa, Orienta, Decide, Agisci
  • Mappatura delle minacce agli framework MITRE ATT&CK e ATLAS
  • Costruzione di Dashboard per la resilienza delle minacce AI
  • Integrazione con strumenti e processi di sicurezza esistenti

Esercizio Pratico: Valutazione completa delle minacce utilizzando COMPASS per un scenario di distribuzione Microsoft Copilot

Modulo 8: Implementazione Pratica e Best Practices (2.5 ore)

Obiettivi di Apprendimento:

  • Progettare architetture AI sicure fin dall'inizio
  • Implementare monitoraggio e risposta agli incidenti per i sistemi AI
  • Creare framework di governance per la sicurezza AI

Argomenti Trattati:

Ciclo di Sviluppo AI Sicuro:

  • Principi di sicurezza-by-design per applicazioni AI
  • Pratiche di revisione del codice per integrazioni LLM
  • Metodologie di test e scansione delle vulnerabilità
  • Sicurezza della distribuzione e hardening in produzione

Monitoraggio e Rilevamento:

  • Requisiti specifici di logging e monitoraggio per sistemi AI
  • Rilevamento delle anomalie nei sistemi AI
  • Procedure di risposta agli incidenti per eventi di sicurezza AI
  • Tecniche di analisi forense e indagine

Governance e Conformità:

  • Framework e politiche di gestione dei rischi AI
  • Considerazioni sulla conformità normativa (GDPR, AI Act, ecc.)
  • Valutazione del rischio di terze parti per fornitori AI
  • Formazione sulla sicurezza per le squadre di sviluppo AI

Esercizio Pratico: Progettare un'architettura completa di sicurezza per un chatbot AI aziendale, inclusi monitoraggio, governance e procedure di risposta agli incidenti

Modulo 9: Strumenti e Tecnologie (1 ora)

Obiettivi di Apprendimento:

  • Valutare e implementare strumenti di sicurezza AI
  • Capire il panorama attuale delle soluzioni di sicurezza AI
  • Costruire capacità pratiche di rilevamento e prevenzione

Argomenti Trattati:

  • Ecosistema degli strumenti di sicurezza AI e panorama dei fornitori
  • Strumenti open-source: Garak, PyRIT, Giskard
  • Soluzioni commerciali per la sicurezza e il monitoraggio AI
  • Pattern di integrazione e strategie di distribuzione
  • Criteri di selezione degli strumenti e framework di valutazione

Esercizio Pratico: Dimostrazione pratica degli strumenti di test per la sicurezza AI e pianificazione dell'implementazione

Modulo 10: Trend Futuri e Conclusione (1 ora)

Obiettivi di Apprendimento:

  • Capire le minacce emergenti e le sfide future per la sicurezza
  • Sviluppare strategie di apprendimento continuo e miglioramento
  • Creare piani d'azione per i programmi di sicurezza AI organizzativi

Argomenti Trattati:

  • Minacce emergenti: Deepfakes, iniezione di prompt avanzata, inversione del modello
  • Futuri sviluppi e roadmap del progetto OWASP GenAI
  • Costruire comunità di sicurezza AI e condivisione della conoscenza
  • Miglioramento continuo e integrazione dell'intelligence delle minacce

Esercizio di Pianificazione Aziendale: Sviluppare un piano d'azione a 90 giorni per l'implementazione delle pratiche di sicurezza OWASP GenAI nelle organizzazioni dei partecipanti

Requisiti

  • Conoscenza generale dei principi di sicurezza delle applicazioni web
  • Familiarità basilare con concetti di AI/ML
  • Esperienza con framework di sicurezza o metodologie di valutazione dei rischi preferibile

Pubblico

  • Professionisti della sicurezza informatica
  • Sviluppatori AI
  • Architetti di sistema
  • Responsabili della conformità
  • Praticanti di sicurezza informatica
 14 Ore

Numero di Partecipanti


Prezzo per Partecipante

Corsi in Arrivo

Categorie relative