Grazie per aver inviato la tua richiesta! Uno dei nostri team membri ti contatterà a breve.
Grazie per aver inviato il tuo prenotazione! Uno dei nostri team membri ti contatterà a breve.
Struttura del corso
Implementazione offline di EXO
- Utilizzo della variabile EXO_OFFLINE per impedire l'accesso a Internet durante il runtime.
- Caricamento preventivo dei modelli nelle directory EXO_MODELS_READ_ONLY_DIRS tramite mirror interni affidabili.
- Verifica dell'integrità dei pesi del modello con checksum SHA-256 e carte dei modelli firmate digitalmente.
- Esecuzione di EXO in reti isolata (air-gapped) senza dipendenze da HuggingFace.
Controllo degli accessi al dashboard e alle API
- Installazione e configurazione di proxy inversi (nginx, Caddy) con terminazione TLS.
- Implementazione del controllo degli accessi basato sui ruoli (RBAC) per il dashboard EXO e l'API REST.
- Utilizzo del Portachiavi macOS o di pass su Linux per memorizzare i segreti necessari all'autenticazione API.
- Restrizione degli endpoint amministrativi a specifici intervalli di IP sorgente.
Isolamento dei cluster e sicurezza di rete
- Segmentazione dei cluster EXO utilizzando EXO_LIBP2P_NAMESPACE e VLAN.
- Configurazione dei firewall host (firewall applicazioni macOS, iptables, nftables) per le porte di EXO.
- Prevenzione della scoperta di dispositivi non autorizzati e dell'iniezione di nodi malevoli.
- Crittografia del traffico libp2p tra i nodi quando RDMA non è disponibile.
Governance dei modelli e provenienza
- Creazione di un registro interni dei modelli con elenchi approvati e metadati.
- Tagging e versioning dei pesi quantizzati (4-bit, 8-bit) insieme ai checkpoint sorgente.
- Imposizione del caricamento esclusivo di repository HuggingFace specifici o artefatti interni.
- Documentazione della lignaggio dei modelli, dei termini di licenza e delle policy di utilizzo accettabile.
Audit logging e conformità
- Configurazione dell'inoltro dei log EXO verso tracce di audit immutabili (SIEM, storage WORM).
- Correlazione dei log delle chiamate API con l'identità utente e il timestamp.
- Cattura degli eventi di creazione, eliminazione del modello e richieste di inferenza.
- Generazione di report periodici di conformità per auditor interni ed esterni.
Modellazione delle minacce e risposta agli incidenti
- Identificazione delle minacce: fuoriuscita di dati attraverso gli output del modello, iniezione di prompt, fughe laterali (side-channel leaks).
- Implementazione di pipeline di monitoraggio dei prompt e filtraggio dei contenuti.
- Creazione di runbook per la risposta agli incidenti in scenari di compromissione dei cluster.
- Isolamento dei nodeti interessati, preservazione dei log forensi e ricostruzione di ambienti puliti.
Sicurezza fisica e confini hardware
- Rendere sicure le porte Thunderbolt contro connessioni cavi RDMA non autorizzate.
- Utilizzo di enclave sicure e attestazione hardware Apple Silicon ove applicabile.
- Controllo dell'accesso fisico ai Mac in cluster e allo storage condiviso.
- Documentazione del ciclo di vita dell'hardware e delle procedure di dismissione.
Considerazioni normative
- Mappatura delle implementazioni EXO rispetto a GDPR, HIPAA e SOC 2.
- Mantenimento della residenza dei dati mantenendo l'inferenza on-premise.
- Documentazione dei rischi della catena di fornitura dei fornitori (MLX, EXO, pesi dei modelli).
- Predisposizione ai framework di governance AI come l'articolo 53 dell'EU AI Act.
Requisiti
- Esperienza con EXO o un altro runtime LLM locale
- Conoscenza dei permessi del filesystem Unix e degli ACL di rete
- Consapevolezza della gestione dei certificati TLS/SSL e dei concetti base della crittografia
Destinatari
- Ingegneri della sicurezza
- Addetti alla conformità normativa
- Amministratori dell'infrastruttura AI che gestiscono dati sensibili
14 ore
Recensioni (1)
L'instruttore aveva una conoscenza eccellente di FortiGate e ha consegnato il contenuto molto bene. Grazie mille a Soroush.
Colin Donohue - Technological University of the Shannon: Midlands Midwest
Corso - FortiGate 7.4 Administration
Traduzione automatica
