Corso di formazione Sicurezza delle Generative AI secondo OWASP

Giorno 1: Concetti fondamentali e principali rischi legati all’AI

Modulo 1: Introduzione al progetto OWASP GenAI Security (1 ora)

Obiettivi didattici:

• Comprendere l’evoluzione delle norme di sicurezza partendo dalla lista OWASP Top 10 per giungere alle specificità dell’AI.
• Esplorare il complesso ecosistema normativo creato dal progetto OWASP GenAI Security, con tutti i relativi strumenti disponibili.
• Comprendere quali differenze sostanziali esistono tra la protezione tradizionale delle applicazioni e quella specifica per l’intelligenza artificiale.

Argomenti trattati:

• Panoramica completa sulla missione e sugli obiettivi concreti del progetto OWASP GenAI Security.
• Introduzione alla metodologia Threat Defense COMPASS ideata per analizzare sistematicamente i rischi AI.
• Descrizione del panorama odierno della sicurezza IA e dei principali obblighi normativi ad essa connessi.
• Confronto tra i punti di vulnerabilità tipici delle applicazioni web convenzionali e quelli peculiari dei sistemi AI.

Esercitazione pratica: Installazione dell’apposito strumento COMPASS messo a disposizione da OWASP ed esecuzione preliminare di una valutazione delle minacce.

Modulo 2: I primi cinque rischi rilevanti per i Large Language Model (2,5 ore)

Obiettivi didattici:

• Dominare approfonditamente le prime cinque criticità principali individuate da OWASP per i LLM.
• Comprendere nei minimi dettagli come avvengono gli attacchi e quali tecniche di sfruttamento si adottano.
• Saper applicare efficacemente misure correttive concrete per contrastarle.

Argomenti trattati:

LLM01: Iniezione di comandi indesiderati

• Descrizione dettagliata delle due forme principali di iniezione, quella diretta e quella indiretta.
• Analisi di attacchi basati su istruzioni nascoste o sulla contaminazione incrociata dei comandi.
• Esempi pratici: elusione delle protezioni nei chatbot o violazione dei meccanismi di sicurezza principali.
• Strategie difensive: filtraggio intelligente degli input, sanificazione rigorosa e applicazione della privacy differenziale.

LLM02: Divulgazione involontaria di dati sensibili

• Come vengono estratti manualmente i dati di addestramento e perché talvolta si rivelano le istruzioni interne del modello.
• Metodiche per l’analisi sistematica dei comportamenti dei modelli al fine di individuare flussi indesiderati di informazioni riservate.
• Implicazioni per la privacy e norme giuridiche con cui occorre necessariamente allinearsi.
• Soluzioni concrete: filtraggio accurato degli output, impostazione di severi controlli d’accesso, procedimenti standard di anonimizzazione dati.

LLM03: Vulnerabilità della catena logistica dell’AI

• Discussione sui rischi derivanti dall’uso di componenti modello forniti da terze parti o dalla sicurezza dei relativi plug-in.
• Il pericolo enorme della manipolazione intenzionale del set dati di addestramento e la conseguente alterazione del comportamento base del modello.
• Come effettuare correttamente una valutazione dei rischi provenienti dai fornitori che progettano o distribuiscono servizi IA.
• Buone prassi per implementare soluzioni più sicure di distribuzione e verifica finale del modello.

Esercitazione pratica: Laboratorio nel quale si simulano attacchi basati sull’iniezione di comandi indesiderati contro sistemi LLM debolmente protetti, per poi applicare strategie difensive adeguate.

Modulo 3: I restanti cinque rischi critici previsti da OWASP (2 ore)

Argomenti trattati:

LLM04: Manipolazione dei dati e alterazioni del modello

• Le principali tecniche utilizzate per sottoporre a manipolazioni ingannevoli i set di addestramento iniziali.
• Come tali pratiche possano portare effettivamente a modificazioni impreviste nel modo d’operare del sistema AI.
• Descrizione dei classici attacchi “backdoor” e dei metodi più efficaci per accertarsi che l’integrità originale sia mantenuta.
• Meccanismi utili a impedire simili alterazioni: creazione di robusti filtri d’ispezione, tracciabilità rigorosa della provenienza dei dati.

LLM05: Gestione non adeguata degli output generati

• Come si comportano talvolta i sistemi AI nel trasmettere dati in modo poco sicuro.
• Rischio concreto di inserimento non intenzionale di codice malevolo attraverso risposte generate dal sistema.
• Possibilità che si generino contenuti potenzialmente pericolosi, come ad esempio script per attivare XSS.
• Soluzioni di controllo: impostazione di filtri intelligenti e protocolli di sanificazione rigorosi prima della diffusione dei risultati AI.

Esercitazione pratica: Simulare casi pratici in cui il modello produce informazioni alterate e progettare filtri validi per controllarle efficacemente prima della distribuzione.

Modulo 4: Analisi di minacce avanzate nell’ambito dell’AI (1,5 ore)

Argomenti trattati:

LLM06: Eccessiva autonomia concessa ai sistemi AI

• Rischio reale di decisioni automatiche eseguite senza una supervisione adeguata, anche per operazioni critiche.
• Necessità fondamentale di limitare rigorosamente i privilegi e il raggio d’azione concesso ai modelli autonomi.
• Potenziali conseguenze: interazioni indesiderate con componenti di sistema e rischi elevati di escalation non prevista delle autorizzazioni.
• Strumenti e tecniche più utili per impostare controlli e “guardrail” efficaci, oltre alla presenza costante di personale umano che supervisioni il tutto.

LLM07: Divulgazione non voluta delle istruzioni di sistema

• Come le istruzioni principali che guidano il modello possano casualmente o intenzionalmente trasparire.
• Il pericolo di esposizione a elementi sensibili, come chiavi segrete e altre regole operative interne.
• Metodiche più comuni impiegate dai malintenzionati per svelare tali istruzioni nascoste.
• Buone abitudini: difesa rigorosa dei file di configurazione e delle specifiche di implementazione, separazione dei flussi esterni da quelli interni.

Esercitazione pratica: Progettazione attenta di strutture architetturali per agenti IA ben protetti, impostando i giusti meccanismi d’accesso e filtri adeguati.

Giorno 2: Minacce avanzate e applicazioni concrete

Modulo 5: Analisi delle minacce più moderne ed emergenti (2 ore)

Obiettivi didattici:

• Conoscere bene tutte le più recenti minacce legate all’intelligenza artificiale.
• Saper implementare efficaci strategie di prevenzione e individuazione rapida delle problematiche.
• Costruire infrastrutture IA in grado di resistere agli attacchi più sofisticati possibili.

Argomenti trattati:

LLM08: Debolizze nei vettori semantici e nei database di rappresentazioni simili

• Esposizione dei pericoli principali presentati da architetture RAG ed evidenza dei difetti specifici delle basi dati contenenti vettori numerici.
• Descrizione delle modalità d’azione tipiche di chi manipola i vettori per sottrarre informazioni riservate o creare disfunzioni nel sistema.
• Casi reali in cui si sono verificate alterazioni inspiegabili dei dati contenuti nei database semantici, causando effetti indesiderati.
• Tattiche efficaci per rendere più sicure le basi di simili dati: impiego rigoroso di sistemi di controllo d’accesso e implementazione accurata di filtri contro anomalie.

LLM09: Diffusione inconscia di informazioni non verificate e affidabilità complessiva dei modelli

• La possibilità che i sistemi AI generino contenuti erroneamente creduti veritieri.
• Come si diffondono in modo non corretto pregiudizi e valori distorti nei prodotti IA, con implicazioni importanti per la giustizia sociale.
• Strumenti utili per verificare statisticamente l’attendibilità dei dati generati e accertarsi che si basino su informazioni attendibili.
• Necessità di un sistema ben definito di supervisione umana capace di contrastare eventuali scostamenti inaspettati del modello.

LLM10: Consumo irregolare o eccessivo delle risorse informatiche

• L’uso imprevisto di enormi quantità di hardware da parte dei modelli, con conseguenti perdite economiche.
• Necessità inderogabile di limitare il numero di richieste possibili e regolare l’utilizzo delle risorse assegnate a ciascun agente.
• Strumenti utili per monitorare costantemente il carico informatico generato da ogni componente AI.
• Metodologie di controllo e ottimizzazione dei budget a disposizione, con creazione preventiva di avvisi automatici quando si sforano le soglie definite.

Esercitazione pratica: Progettare insieme una rete sicura di dati vettoriali capace di bloccare la diffusione di informazioni errate, garantendo anche un adeguato controllo dei costi.

Modulo 6: Sicurezza specifica per i sistemi AI multi-agente (2 ore)

Obiettivi didattici:

• Comprendere meglio i singolari rischi normativi e di sicurezza generati dai sistemi basati su più agenti autonomi.
• Applicare correttamente la tassonomia prevista dal progetto OWASP per l’analisi delle minacce specifiche ai modelli multi-agente.
• Implementare controlli mirati di sicurezza nel caso si debba gestire più agenti simultaneamente.

Argomenti trattati:

• Spiegazione generale riguardante i principali vantaggi e come si sviluppano le architetture multi-agente.
• L’approccio tassonomico creato da OWASP per affrontare correttamente tutte le minacce tipiche delle strutture di questo tipo: analisi del progetto, gestione della memoria condivisa, scelta ottimale dei passi operativi, uso intelligente dei relativi plugin e implementazione efficace dell’intero sistema.
• Rilevamento delle difficoltà connesse all’interazione tra agenti, che spesso genera incertezze e rischi di coordinamento non previsti.
• Principali vulnerabilità: come taluni modelli possano essere usati per attività impreviste, oppure inserire dati falsi nella memoria collettiva o ancora deviare dai propri compiti.
• Buone prassi generali di sicurezza: definizione accurata dei permessi individuali per ogni agente, controllo rigoroso della trasmissione delle comunicazioni interne e validazione costante di tutte le decisioni autonome prese dal modello.

Esercitazione pratica: Svolgimento completo di un esercizio tassonomico in base ai criteri previsti da OWASP, con una rete ben strutturata costituita da più agenti specializzati dedicati al servizio clienti.

Modulo 7: Applicazione effettiva della metodologia Threat Defense COMPASS (2 ore)

Obiettivi didattici:

• Saper utilizzare correttamente la metodologia COMPASS nel corso di analisi e valutazioni dei rischi AI.
• Integrare correttamente tale approccio nei più ampi piani di gestione della sicurezza informatica aziendale.
• Elaborare strategie d’impiego efficaci e strutturate per tutelare in modo ottimale i rischi legati all’AI.

Argomenti trattati:

• Approfondimento sistematico dell’impostazione complessiva di Threat Defense COMPASS, con tutti i suoi aspetti normativi ed operativi.
• Spiegazione dettagliata del ciclo OODA (Osservare-Orientarsi-Decidere-Agire) utilizzato per coordinare correttamente ogni fase della valutazione dei rischi.
• Metodologia di mappatura delle minacce analizzate, integrandole perfettamente con i framework standard MITRE ATT&CK e ATLAS usati a livello globale per la cybersecurity.
• Progettazione accurata di dashboard speciali per il monitoraggio costante dei rischi specifici derivanti dall’utilizzo delle tecnologie AI.
• Strategie efficaci di integrazione tra le procedure tipiche della sicurezza aziendale e gli strumenti proposti da COMPASS per ottenere maggiore omogeneità nei risultati finali.

Esercitazione pratica: Completare interamente una valutazione delle minacce specifiche per un caso d’uso ipotetico di implementazione del noto strumento Microsoft Copilot.

Modulo 8: Praticità operativa e buone norme comportamentali (2,5 ore)

Obiettivi didattici:

• Imparare a progettare soluzioni architetturali che risultino sicure sin dal primo impiego.
• Stabilire un efficace processo di monitoraggio e reazione rapida alle emergenze in caso di violazioni specifiche dell’AI.
• Definire correttamente i piani normativi utili a governare con precisione ogni forma d’uso commerciale dei modelli AI.

Argomenti trattati:

Ciclo di vita progettuale della sicurezza per i sistemi IA:

• Le indispensabili regole da rispettare sin dall’avvio dello sviluppo software affinché le nuove soluzioni IA siano protette fin dal concepimento.
• Analisi dei principali strumenti utilizzati per valutare i modelli al momento del loro utilizzo, con attenzione speciale alle integrazioni con modelli linguistici.
• Tecniche moderne di test e analisi vulnerabilità da sfruttare durante l’intero ciclo di vita delle applicazioni.
• Metodologie corrette per implementare le modifiche finali di sicurezza prima del passaggio reale in produzione, riducendo al minimo i rischi residui.

Monitoraggio e rilevamento anomali:

• Cosa serve specificamente per garantire la tracciabilità completa di tutte le azioni compiute dai sistemi AI.
• Strategie utili per creare filtri automatici che rilevino tempestivamente ogni anomalia o comportamento deviante dei modelli IA.
• Metodologie operative in caso di emergenza: come reagire velocemente all’attivazione delle minacce specifiche derivanti dall’utilizzo dell’AI.
• Cenni sulle procedure tipiche da adottare per garantire il corretto recupero e la ricostruzione dei dati nel caso di violazioni improvvise.

Gestione normativa ed etica:

• Principali linee guida normative utili a definire i quadri comportamentali, con riferimento specifico ai requisiti legali in materia di trattamento dati e protezione dell’etica.
• Necessità fondamentale di osservare le norme complesse previste dal GDPR o dall’imminente Legge sull’AI, per garantire l’adeguatezza delle imprese ad esse conformi.
• Criteri precisi da rispettare quando si valutano i servizi forniti da aziende esterne in grado di contribuire all’utilizzo professionale dell’AI.
• Strumenti utili per elevare il livello formativo dei gruppi interni, con attenzione particolare a tutto quanto concerne la cultura della sicurezza informatica e delle sue applicazioni IA.

Esercitazione pratica: Realizzare una soluzione completa di protezione destinata ad un chatbot aziendale, che includa rigorosi filtri, norme chiare per la governance e procedure ben definite per gestire gli incidenti eventualmente riscontrati.

Modulo 9: Gli strumenti software più usati nell’ambito della sicurezza IA (1 ora)

Obiettivi didattici:

• Imparare a selezionare ed utilizzare correttamente i vari software specializzati nella protezione dei sistemi AI.
• Conoscere in dettaglio l’intero panorama commerciale di prodotti innovativi per la sicurezza informatica basata sull’AI.
• Saper predisporre con precisione tutte le strutture utili a garantire una prevenzione efficace delle minacce più probabili.

Argomenti trattati:

• Riepilogo dei prodotti attuali più diffusi e degli operatori commerciali che forniscono sistemi innovativi e certificati.
• Strumenti software open source di massimo utilizzo: tra questi troviamo Garak, PyRIT ed il notissimo Giskard.
• Le alternative più qualificate a livello commerciale per proteggere correttamente le infrastrutture IA e monitorarle in tempo reale.
• Linee guida generali sull’implementazione logica di tali prodotti, con consigli utili su come integrarli meglio nell’infrastruttura esistente aziendale.
• Indicatori fondamentali che consentono una scelta accurata e mirata dei software più adeguati alla propria situazione specifica, con riferimenti agli standard più diffusi in materia di sicurezza AI.

Esercitazione pratica: Prova diretta sui diversi prodotti software per il test e l’analisi delle minacce, oltre a predisposizione di un piano d’implementazione dettagliato in base alle esigenze dell’azienda.

Modulo 10: Orientamenti futuri ed epilogo formativo (1 ora)

Obiettivi didattici:

• Conoscere le nuove prospettive legate alle minacce emergenti e prepararsi a fronteggiarle adeguatamente.
• Definire con chiarezza un piano personale per il miglioramento continuo delle competenze in ambito sicurezza AI.
• Predisporre concretamente dei progetti d’azione utili a elevare ulteriormente la protezione generale nella propria struttura lavorativa.

Argomenti trattati:

• Brevi cenni su minacce future come i deepfake, le nuove metodiche ingannevoli basate su input speciali o gli attacchi volti a riscoprire informazioni personali tramite il modello stesso.
• Eventuali aggiornamenti futuri previsti dal progetto OWASP GenAI e i cambiamenti attesi nel corso dei prossimi anni.
• Come promuovere una cultura comune della sicurezza tra i dipendenti per condividere le esperienze migliori a livello globale.
• Necessità di mantenere costante l’aggiornamento dei profili competitivi tramite approfondimenti tecnici mirati e utilizzo intelligente delle risorse informatiche disponibleri.

Esercitazione finale: Elaborare insieme un piano d’azione dettagliato da implementarsi nel giro di 90 giorni, mirando a ottimizzare la protezione informatica grazie alle nuove tecnologie e alle migliori prassi consigliate dal progetto OWASP GenAI.