Grazie per aver inviato la tua richiesta! Uno dei nostri team membri ti contatterà a breve.
Grazie per aver inviato il tuo prenotazione! Uno dei nostri team membri ti contatterà a breve.
Struttura del corso
Implementazione Offline di EXO
- Utilizzo di EXO_OFFLINE per impedire l'accesso a Internet durante il runtime
- Pre-caricamento dei modelli in EXO_MODELS_READ_ONLY_DIRS da mirror interni affidabili
- Verifica dell'integrità dei pesi del modello tramite checksum SHA-256 e schede del modello firmate
- Esecuzione di EXO in reti air-gapped senza dipendenze da HuggingFace
Controllo dell'Accesso alla Dashboard e alle API
- Installazione e configurazione di reverse proxy (nginx, Caddy) con terminazione TLS
- Implementazione del controllo dell'accesso basato sui ruoli per la dashboard EXO e l'API REST
- Utilizzo del portachiavi di macOS o di Linux pass per memorizzare i segreti per l'autenticazione API
- Restrizione degli endpoint amministrativi a intervalli specifici di indirizzi IP sorgente
Isolamento del Cluster e Sicurezza di Rete
- Segmentazione dei cluster EXO con EXO_LIBP2P_NAMESPACE e VLAN
- Configurazione dei firewall host (firewall delle applicazioni di macOS, iptables, nftables) per le porte EXO
- Prevenzione della scoperta di dispositivi non autorizzati e dell'iniezione di nodi illeciti
- Crittografia del traffico libp2p tra i nodi quando RDMA non è disponibile
Governance e Provenienza dei Modelli
- Creazione di un registro modelli interno con elenchi di modelli approvati e metadati
- Tagging e versioning dei pesi quantizzati (4-bit, 8-bit) insieme ai checkpoint sorgente
- Imposizione del caricamento solo di specifici repo HuggingFace o artefatti interni
- Documentazione della linea dei modelli, dei termini di licenza e delle politiche di utilizzo accettabile
Audit Logging e Conformità
- Configurazione dell'invio dei log EXO a tracce di audit immutabili (SIEM, archiviazione WORM)
- Correlazione dei log delle chiamate API con l'identità utente e il timestamp
- Cattura degli eventi di creazione, eliminazione delle istanze del modello e richieste di inferenza
- Generazione di rapporti periodici di conformità per auditor interni ed esterni
Modellazione delle Minacce e Risposta agli Incidenti
- Identificazione delle minacce: fuoriuscita di dati tramite output del modello, prompt injection, fughe tramite canali laterali
- Implementazione di pipeline di monitoraggio dei prompt e filtraggio dei contenuti
- Creazione di manuali di risposta agli incidenti per scenari di compromissione del cluster
- Isolamento dei nodi interessati, preservazione dei log forensi e ricostruzione di ambienti puliti
Sicurezza Fisica e Confini Hardware
- Sicurezza delle porte Thunderbolt contro connessioni di cavo RDMA non autorizzate
- Utilizzo di enclave sicure e attestazione hardware Apple Silicon ove applicabile
- Controllo dell'accesso fisico ai Mac in cluster e all'archiviazione condivisa
- Documentazione del ciclo di vita dell'hardware e delle procedure di dismissione
Considerazioni Regolamentari
- Mappatura delle implementazioni EXO ai requisiti GDPR, HIPAA e SOC 2
- Mantenimento della residenza dei dati mantenendo l'inferenza in loco
- Documentazione dei rischi della catena di approvvigionamento dei vendor (MLX, EXO, pesi dei modelli)
- Preparazione per framework di governance dell'IA come l'Articolo 53 del Regolamento UE sull'IA
Requisiti
- Esperienza con EXO o un altro runtime LLM locale
- Conoscenza dei permessi del filesystem Unix e degli ACL di rete
- Conoscenza della gestione dei certificati TLS/SSL e dei principi base della crittografia
Destinatari
- Ingegneri della sicurezza
- Ufficiali per la conformità
- Amministratori di infrastrutture AI che gestiscono dati sensibili
14 ore
Recensioni (1)
L'instruttore aveva una conoscenza eccellente di FortiGate e ha consegnato il contenuto molto bene. Grazie mille a Soroush.
Colin Donohue - Technological University of the Shannon: Midlands Midwest
Corso - FortiGate 7.4 Administration
Traduzione automatica
