Struttura del corso

Panoramica dell'architettura LLM e della superficie di attacco

  • Come vengono costruiti, distribuiti ed accessibili gli LLM tramite API
  • Componenti chiave nelle stack di applicazioni LLM (ad esempio, prompt, agenti, memoria, API)
  • Dove e come emergono le questioni di sicurezza nell'uso reale

Iniezione dei Prompt e Attacchi di Jailbreak

  • Cosa è l'iniezione del prompt e perché è pericolosa
  • Scenari di iniezione diretta ed indiretta del prompt
  • Tecnologie di jailbreaking per aggirare i filtri di sicurezza
  • Strategie di rilevazione e mitigazione

Verniciatura dei Dati e Rischi alla Privacy

  • Esposizione accidentale dei dati attraverso le risposte
  • Fuga di PII e abuso della memoria del modello
  • Progettazione di prompt consapevoli della privacy e generazione migliorata con il recupero (RAG)

Filtraggio e Protezione dell'Output LLM

  • Utilizzo di Guardrails AI per la filtratura e la validazione del contenuto
  • Definizione di schemi di output e vincoli
  • Monitoraggio e registrazione degli output non sicuri

Approcci con l'Uomo nel Loop e Workflow

  • Dove e quando introdurre il controllo umano
  • Coda di approvazione, soglie di punteggio, gestione del fallback
  • Calibrazione della fiducia e ruolo dell'esponibilità

App Sicura LLM Design Patterns

  • Meno privilegi e sandboxing per le chiamate API e gli agenti
  • LIMITAZIONE DELLE RICHIESTE, LIMITAZIONE DI VELOCITÀ E RILEVAMENTO DELL'ABUSAZIONE
  • Concatenamento robusto con LangChain e isolamento del prompt

Conformità, Logging e Governance

  • Garantire l'audibilità degli output LLM
  • Mantenere la tracciabilità e il controllo delle versioni dei prompt
  • Allinearsi con le politiche interne di sicurezza e i requisiti normativi

Riepilogo e Passaggi Successivi

Requisiti

  • Una comprensione dei modelli linguistici a grande scala e delle interfacce basate su prompt
  • Esperienza nella creazione di applicazioni LLM utilizzando Python
  • Familiarità con le integrazioni API e i rilasci basati sul cloud

Pubblico

  • Sviluppatori AI
  • Architetti di applicazioni e soluzioni
  • Gestori prodotti tecnici che lavorano con strumenti LLM
 14 ore

Numero di Partecipanti


Prezzo per Partecipante

Corsi in Arrivo

Categorie relative