Struttura del corso
Introduzione al Red Teaming per l’Intelligenza Artificiale
- Comprensione del panorama delle minacce nell’ambito dell’IA
- Ruolo dei team di red teaming nella sicurezza dell’IA
- Considerazioni etiche e legali nel contesto del Red Teaming
Machine Learning Avversario
- Tipologie di attacchi: evasione, avvelenamento, estrazione e inferenza
- Generazione di esempi avversari (ad esempio FGSM, PGD)
- Differenze tra attacchi mirati e non mirati e relativi indicatori di successo
Test della Robustezza dei Modelli
- Valutazione della resistenza dei modelli sotto influenze esterne
- Individuazione di eventuali punti ciechi e modi in cui i modelli potrebbero fallire
- Test intensivi su modelli utilizzati per classificazioni, visione artificiale e NLP
Red Teaming dei Processi di Distribuzione dell’IA
- Analisi del ‘surface attack’ nei processi legati ai dati, al modello e alla sua distribuzione
- Sfruttamento di eventuali vulnerabilità presenti nelle API e negli endpoint dei modelli
- Reverse engineering del comportamento e degli output generati dai modelli
Simulazioni e Strumentazione Utilizzata
- Utilizzo della Adversarial Robustness Toolbox (ART)
- Applicazione del red teaming con strumenti quali TextAttack e IBM ART
- Strumenti di sandboxing, monitoraggio e osservabilità utile all’analisi continua
Strategie di Red Teaming per l’IA e Collaborazione con i Team di Difesa
- Progettazione di esercizi specifici da utilizzare all’interno dei team di red teaming
- Comunicazione efficace dei risultati rilevati ai team responsabili della difesa
- Integrazione delle pratiche del Red Teaming nei processi di gestione del rischio legato all’Intelligenza Artificiale
Sintesi finale e prospettive future
Requisiti
- Conoscenza delle architetture di machine learning e deep learning
- Esperienza nell’utilizzo di Python e dei framework per il machine learning (ad esempio TensorFlow, PyTorch)
- Familiarità con i concetti fondamentali della cybersecurity o con le tecniche tipiche della sicurezza offensiva
Destinatari del Corso
- Ricercatori nel campo della sicurezza informatica
- Team specializzati in sicurezza offensiva
- Professionisti impegnati nella verifica e nella gestione dei rischi legati all’IA, nonché esperti di red teaming
Recensioni (3)
inventariare e identificare le diverse esposizioni al rischio nell'ambito dell'AI
Gary Cook - Cybersecurity and Information Technology Risk Division
Corso - Introduction to AI Trust, Risk, and Security Management (AI TRiSM)
Traduzione automatica
Ho apprezzato molto aver appreso riguardo agli attacchi di intelligenza artificiale e agli strumenti disponibili per iniziare a praticare e utilizzare attivamente nei test di sicurezza. Ho acquisito molte conoscenze che non avevo all'inizio e il corso ha corrisposto alle mie aspettative. La parte che ho preferito della formazione è stata Comet Browser: mi ha sorpreso ciò che era in grado di fare. Sicuramente valuterò di approfondire l'argomento. Nel complesso è stato un corso ottimo e ho apprezzato moltissimo l'apprendimento del Top 10 OWASP GenAI.
Patrick Collins - Optum
Corso - OWASP GenAI Security
Traduzione automatica
La conoscenza professionale e il modo in cui l'ha presentata a noi
Miroslav Nachev - PUBLIC COURSE
Corso - Cybersecurity in AI Systems
Traduzione automatica