Corso di formazione Sicurezza dell'IA per i team di sicurezza

Modulo 1 – Sistemi AI per gli ingegneri della sicurezza

Esercitazione: Laboratorio 01 – Introduzione

Comprensione dell’architettura.

Argomenti:

• Differenze tra LLM e applicazioni tradizionali
• Pipeline di inferenza AI
• Fluido dei prompt in ingresso
• Architetture RAG
• Vettori numerici e database vettoriali
• Fluidi di lavoro basati su agenti AI
• Utilizzo degli strumenti da parte dei modelli AI
• Gateway per l’IA
• Copilot e sistemi simili
• Protocolli MCP e standard utilizzati dagli agenti AI
• Dove si può osservare il traffico tramite un WAF
• Quando questa visibilità viene meno

Rilevamento chiave: I tradizionali WAF spesso non riescono a monitorare in modo completo il traffico dopo che i prompt vengono trasmessi al modello.

Modulo 2 – OWASP GenAI Top 10

Esercitazione: Nessuna; riepilogo e discussione interattiva

Principali categorie di attacchi all’IA.

Argomenti: 

• Iniezione di prompt
• Gestione errata dei risultati restituiti dall’IA
• Avvelenamento dei dati d’addestramento dei modelli AI
• Attacchi finalizzati a causare crash o malfunzionamenti del modello
• Fragilità nella catena di approvvigionamento dell’IA
• Rivelazione non autorizzata di informazioni riservate
• Eccessiva autonomia attribuita agli agenti AI
• Debolezze insite nei vettori numerici e nelle operazioni su di essi
• Diffusione non autorizzata di informazioni errate o fuorvianti
• Sfruttamento anomalo delle risorse richieste per l’elaborazione AI

Contenuti aggiuntivi:

• Differenze rilevanti con la lista OWASP standard
• Mappatura dei controlli difensivi (WAF, gateway, livello applicativo)
• Casi in cui ciascun tipo di controllo si dimostra utile
• Limitazioni intrinseche di ogni meccanismo difensivo

Modulo 3 – Rilevamento dell’iniezione di prompt

Esercitazione: Laboratorio 02 – Iniezione di Prompt

L’equivalente AI della problematica legata all’iniezione SQL.

Argomenti:

• Iniezione diretta di prompt
• Iniezione indiretta dei prompt utilizzati dal modello AI
• Inclusione di istruzioni occulte nel testo in ingresso
• Attacchi basati su documenti e file PDF maligni
• Iniezione di tag HTML o formattazioni Markdown indesiderate
• Pattern tipici per l’elusione dei meccanismi di sicurezza dei modelli AI
• Attacchi basati sulla sovrascrizione impropria del contesto temporaneo assegnato al sistema AI
• Situazioni in cui più agenti tentano di manipolare lo stesso sistema AI simultaneamente

Strategie di rilevamento:

• Utilizzo di filtri basati su parole chiave preimpostate
• Classificazione semantica dei contenuti in ingresso
• Rilevamento e normalizzazione degli input prima della loro elaborazione da parte del modello AI
• Esecuzione di regole per il rispetto esclusivo delle istruzioni formalmente previste dal sistema
• Impostazioni predefinite e personalizzate di accettazione/esclusione dei prompt in ingresso
• Uso consapevole di espressioni regolari specificamente calibrate per l’ambiente AI

Esercitazioni pratiche:

• Sfruttamento di chatbot per attivare comportamenti non previsti
• Elusione dei filtri base installati nei sistemi AI
• Realizzazione di controlli di sicurezza multipli combinabili in modo flessibile

Modulo 4 – Regole WAF adatte alle esigenze dell’IA

Esercitazione: Laboratorio 03 – Nozioni di base sui WAF per l’IA

L’evoluzione richiesta per i filtri WAF a fronte della crescita crescente dei sistemi basati sull’IA.

• Argomenti principali:
• Misure protettive da applicare ai terminali di comunicazione usati dai modelli LLM
• Sicurezza dei flussi di dati associati alle operazioni di inferenza dei modelli AI
• Limitazione del traffico in base al numero assoluto di token elaborati dal sistema
• Ispettione della lunghezza complessiva e delle dimensioni tipiche dei prompt sottoposti ai sistemi AI
• Sviluppo di firme specifiche per il rilevamento dei pattern d’uso anomali legati all’IA
• Rilevazione di comportamenti insoliti osservabili nel contesto delle conversazioni in corso tra utenti e sistemi AI
• Analisi e monitoraggio del traffico che vede coinvolti diversi turni di comunicazione
• Rilevamento degli sforzi per scoprire identificatori o parametri specifici dei modelli AI
• Identificazione di tentativi illegittimi volti a estrarre informazioni riservate direttamente dai processi di inferenza
• Limitazioni finanziarie implementate per contrastare spese anomale generate da richieste improprie

Esempi pratici:

• Rigidi filtri protettivi per terminali accessibili tramite indirizzi tipo /v1/chat/completions
• Contromisure volte a garantire la stabilità dei servizi basati su flussi di dati in continuo
• Rilevare e intercettare chiamate iterative generate da agenti autonomi per evitare cicli infiniti

Modulo 5 – Sicurezza delle pipeline RAG

Esercitazione: Laboratorio 04 – Sicurezza delle architetture RAG

Uno dei fronti di attacco emergenti e più critici per i sistemi AI.

Argomenti:

• Rischi legati alla sicurezza dei database vettoriali
• Sfide nella protezione contro tentativi di avvelenamento delle informazioni immagazzinate nei vettori numerici utilizzati per il ricondizionamento
• Pericoli derivanti dall’utilizzo improprio di file PDF e documenti contenenti elementi non previsti
• Rilevazione di anomalie riguardanti i processi di recupero delle informazioni da parte del modello AI
• Meccanismi che evitano che il modello si basi su concetti errati o distorti derivanti dal testo originale manipolato
• Individuazione di istruzioni nascoste contenute nei file o nei documenti immessi nel sistema AI
• Prevenzione della contaminazione reciproca tra diverse parti di un database vettoriale
• Monitoraggio e controllo per evitare che dati sensibili possano essere estratti in modo non autorizzato durante il processo di recupero

Misure difensive consigliate:

• Pulizia e filtraggio rigorosi dei contenuti prima che vengano inseriti in un sistema RAG
• Calcolo del livello di affidabilità delle fonti usate per il recupero
• Separazione organizzativa e archivistica delle metadati dai contenuti testuali
• Rilevamento chiaro dell’origine precisa dei documenti immessi nel sistema AI
• Definizione di regole precise inerenti il modo in cui si recuperano e utilizzano le informazioni
• Suddivisione del database vettoriale per ridurre la portata complessiva dei tentativi d’attacco possibili

Studio di caso: “Caricamento di un documento avvelenato e consapevole sfruttamento delle debolezze del sistema per ottenere il pieno controllo dell’assistente AI.”

Modulo 6 – Sicurezza degli agenti autonomi basati sull’IA

Esercitazione: Laboratorio 05 – Protezione dei sistemi di agenti AI

I punti critici che richiedono attenzioni immediate per prevenire problemi gravi.

Argomenti:

• Situazioni legate a un grado eccessivo di autonomia attribuito ad agenti AI
• Rischi generati da utilizzo improprio o malintenzionato degli strumenti forniti ai modelli AI
• Attività svolte tramite concatenamento sequenziale di più richieste effettuate agli agenti AI
• Situazioni in cui si genera un flusso infinito di chiamate automatiche provenienti dagli stessi agenti AI
• Attivazione e incremento non controllato dei privilegi concessi a certi agenti AI rispetto ad altri componenti del sistema
• Situazioni in cui le informazioni contenute nella memoria temporanea associata a un determinato agente vengono manipolate in modo imprevisto
• Attività illegittime che sfruttano i comandi esterni di sistema senza autorizzazione specifica da parte dell’utente o amministratore
• Casi in cui più agenti autonomi si spacciano a vicenda come componenti legittimi del sistema AI
• Attività illegittime volte all’individuazione e alla sottrazione non autorizzata di credenziali d’accesso da parte degli agenti stessi
• Rischi correlati a situazioni in cui si verifica un numero anomalo o elevato di attacchi multipli provenienti contemporaneamente da più agenti autonomi

Misure protettive adottabili:

• Limitazione delle autorizzazioni disponibili per ciascun agente AI in base al principio della “minor privilegio necessario”
• Obligo di approvazione preliminare prima che un agente possa eseguire determinate operazioni
• Utilizzo di engine dedicati alla verifica dinamica delle policy impostate per i flussi di lavoro degli agenti AI
• Adozione di ambienti isolati (sandbox) dove gli agenti sono costretti a operare
• Limitazione rigorosa e suddivisione geografica o gerarchica delle credenziali rilasciate agli agenti AI per l’accesso ai dati sensibili
• Elenco autorizzato di strumenti disponibili a ciascun singolo agente AI
• Intervento manuale diretto da parte di operatori umani per la maggior parte delle operazioni critiche o ad alto rischio

Questa è la sezione più importante per i responsabili aziendali, in quanto si occupa direttamente di minimizzare il possibile impatto economico e operativo generato da attacchi all’IA.

Modulo 7 – Sicurezza delle API per l’ambiente AI

Esercitazione: Laboratorio 06 – Contrasti economici indesiderati causati da abusi AI

I sistemi di intelligenza artificiale richiedono spesso un forte uso delle API per svolgere correttamente i propri compiti.

Argomenti:

• Meccanismi e requisiti dei gateway dedicati alle comunicazioni tra gli elementi di una piattaforma AI
• Rischi specifici legati all’utilizzo della tecnologia GraphQL per lo scambio di dati con i modelli AI
• Sfide collegate alla gestione adeguata dei protocolli MCP e al controllo corretto delle richieste inoltrate agli agenti AI
• Requisiti basilari per la tutela efficace dei token generati in base agli standard JWT
• Strutturazione adatta e valutazione della sicurezza di tutti i plugin integrati nei modelli AI
• Mecanismi utilizzati per l’identificazione automatica degli agenti AI autorizzati ad accedere a un sistema
• Gestione e attivazione basata su regole di autorizzazione delegata richieste dagli utenti finali o dai team di supporto
• Strategie e strumenti per la gestione adeguata delle chiavi segrete e delle credenziali d’accesso indispensabili ai sistemi AI
• Realizzazione pratica dei meccanismi che garantiscono l’integrità e il controllo del contenuto di ogni prompt trasmesso ai modelli AI
• Mappatura complessiva e documentazione chiara delle varie API indispensabili per l’interoperabilità di ciascun componente in un ambiente AI

Collegamenti diretti con la lista OWASP API Security Top 10.

Modulo 8 – Ingegneria per il rilevamento delle minacce e integrazione nei sistemi SOC

Esercitazione: Laboratorio 07 – Rilevamento attivo

Difesa effettiva a livello operativo.

Argomenti:

• Raccolta dati specifica per l’intelligenza artificiale
• Gestione e conservazione corretta dei prompt in ingresso sottoposti ai modelli AI
• Analisi numerica del numero assoluto di token richiesti da ogni utente
• Rilevamento proattivo delle anomalie rispetto alla media osservata nei flussi di traffico
• Adozione strategie per rendere i sistemi SIEM in grado di interpretare correttamente anche i pattern sintattici tipici dei linguaggi utilizzati dai modelli AI
• Creazione di indicatori specifici relativi alle caratteristiche di un tentativo d’attacco ai sistemi basati sull’IA
• Rilevamento attivo di comportamenti anomali nei flussi comunicativi generati da modelli LLM
• Monitoraggio e tracciamento accurato degli indicatori legati alla stabilità operativa dei sistemi AI in produzione

Esempi pratici:

• Rilevamento sistematico di campagne volte a eludere i controlli di sicurezza attraverso istruzioni insolite o fuorvianti
• Osservazione e riconoscimento dei tentativi di abuso delle capacità cognitive proprie degli agenti AI per ottenere un vantaggio indebito
• Utilizzo pratico dei meccanismi avanzati volti a rilevare tentativi impropri e spesso illegittimi di estrazione delle informazioni da parte degli utenti che simulano il comportamento tipico dei modelli AI

Modulo 9 – WAF Cloud e sicurezza dell’ambiente AI

Esercitazione: Nessuna; riepilogo e discussione interattiva

Differenze sostanziali tra le implementazioni dei vari fornitori cloud.

Argomenti:

• L’utilizzo di AWS WAF per la protezione diretta delle API che accolgono input provenienti dai modelli AI
• Schemi protettivi offerti da Azure WAF
• Caratteristiche specifiche offerte dal Cloudflare AI Gateway
• Nozioni basilari relative ai gateway per le comunicazioni API in ambienti di intelligenza artificiale
• Mecanismi messi a disposizione da Envoy per la filtrazione del traffico generato dai sistemi basati sull’IA
• Risorse utilizzate e vantaggi derivanti dall’adozione di Kong AI Gateway
• Approcci più recenti ed efficaci adottati da NGINX per la sicurezza dei flussi d’informazioni prodotti dai sistemi AI

Confronti pratici e valutazioni:

• Svantaggi o debolezze riscontrati quando si confrontano i tradizionali WAF con i gateway specifici per l’IA e gli strumenti software che operano al livello applicativo
• Valutazione comparativa delle modalità operative basate sull’osservazione pura della sintassi del traffico in ingresso o su controlli semantici profondi

Modulo 10 – Costruzione di una difesa multistrato per l’IA

Esercitazione: Laboratorio 08 – Modello difensivo a più livelli

Riflessione filosofica importante:

Nessun meccanismo difensivo isolato è in grado di proteggere un sistema AI – e i WAF non fanno eccezione, specialmente se usati da soli.

Si svilupperà insieme un modello protettivo articolato su più livelli:

1. WAF
2. Gateway API
3. Gateway specifico per l’IA
4. Strumenti e meccanismi di controllo aggiuntivi
5. Sistema complessivo di monitoraggio in tempo reale
6. Mecanismi robusti di identificazione e verifica dell’identità degli utenti autorizzati
7. Utilizzo consapevole di sandbox per l’isolamento temporaneo dei processi critici
8. Obligo per gli operatori umani di approvare preventivamente le operazioni principali dei modelli AI
9. Strumenti affidabili di raccolta dati e tracciamento delle attività degli agenti AI
10. Metodiche pratiche per la gestione corretta delle emergenze e della risposta tempestiva agli incidenti rilevati

Questo approccio combaci perfettamente con il modello consolidato di “difesa a più livelli”.

Relazione tra i Moduli e i Laboratori previsti

I laboratori si susseguono in ordine logico rispetto ai moduli didattici descritti sopra.

Sebbene il corso includa dieci moduli distinti, saranno effettivamente presenti solo otto esercitazioni; i moduli 2 e 9 si limitano a una fase riassuntiva e interattiva senza alcuna parte pratica.

Ogni singolo laboratorio è etichettato nel programma didattico in base al relativo modulo di competenza.

• Laboratorio 01 (Modulo 1)
  • Cartella contenitore: 01-Introduction
  • Titolo esercitativo: Esplorazione di un sistema AI – cosa osserviamo a livello informativo
• Laboratorio 02 (Modulo 3)
  • Cartella contenitore: 02-Prompt-Injection
  • Titolo esercitativo: Sfruttare le potenzialità di un chatbot e neutralizzare i filtri di base installati
• Laboratorio 03 (Modulo 4)
  • Cartella contenitore: 03-WAF-Basics
  • Titolo esercitativo: Creazione e verifica di filtri WAF specifici per ambienti AI
• Laboratorio 04 (Modulo 5)
  • Cartella contenitore: 04-RAG-Security
  • Titolo esercitativo: Sperimentare praticamente l’avvelenamento di una pipeline RAG
• Laboratorio 05 (Modulo 6)
  • Cartella contenitore: 05-Agent-Security
  • Titolo esercitativo: Mettere in sicurezza un agente autonomo
• Laboratorio 06 (Modulo 7)
  • Cartella contenitore: 06-Denial-of-Wallet
  • Titolo esercitativo: Rilevamento dei tentativi impropri volti a generare spese elevate e indesiderate
• Laboratorio 07 (Modulo 8)
  • Cartella contenitore: 07-Detection
  • Titolo esercitativo: Monitoraggio attento dei pattern sospetti osservabili nei log generati dai sistemi AI
• Laboratorio 08 (Modulo 10)
  • Cartella contenitore: 08-Layered-Defense
  • Titolo esercitativo: Sviluppo e verifica di un sistema complessivo a più strati per la protezione dell’ambiente AI

Progetto Finale

Gli studenti dovranno proteggere un assistente AI aziendale creato appositamente per l’esercitazione.

Le varie parti iniziano con dei tentativi di attacco:

1. Iniezione illegittima e manipolativa dei prompt utilizzati
2. Sfruttamento improprio degli strumenti concessi ai modelli AI
3. Individuazione ed estrazione non autorizzata di credenziali d’accesso
4. Contaminazione imprevista e deliberata del database dei dati usati dal sistema AI
5. Sovraccarico anomalo e imprevisto delle risorse assegnate al modello AI
6. Elevazioni non autorizzate dei privilegi posseduti dagli agenti coinvolti

Le squadre dovranno implementare:

• Misure protettive strutturate sotto forma di filtri WAF
• Configurazioni specifiche per i gateway utilizzati dagli agenti AI
• Sistemi robusti per il rilevamento delle anomalie durante l’esecuzione operativa
• Misure di controllo affidabili ed estese a più livelli temporali e strutturali
• Meccanismi efficaci e tempestivi per la gestione delle situazioni critiche rilevate