Grazie per aver inviato la tua richiesta! Uno dei nostri team membri ti contatterà a breve.
Grazie per aver inviato il tuo prenotazione! Uno dei nostri team membri ti contatterà a breve.
Struttura del corso
Implementazione di EXO in modalità offline
- Utilizzo del parametro EXO_OFFLINE per impedire qualsiasi connessione a Internet durante l’esecuzione.
- Precaricamento dei modelli nella cartella EXO_MODELS_READ_ONLY_DIRS provenienti da fonti interne affidabili.
- Verifica dell’integrità dei pesi dei modelli tramite checksum SHA-256 e schede informative firmate digitalmente.
- Esecuzione di EXO in reti completamente isolate, senza alcuna dipendenza da HuggingFace.
Controllo degli accessi al pannello di controllo e agli endpoint API
- Installazione e configurazione di proxy inversi (nginx, Caddy) con gestione della terminazione TLS.
- Applicazione di controlli basati sui ruoli per il pannello EXO e le API REST.
- Utilizzo del keychain di macOS o di pass su Linux per memorizzare in modo sicuro i dati di autenticazione.
- Limitazione dell’accesso agli endpoint amministrativi a specifici intervalli di indirizzi IP.
Isolamento dei cluster e protezione della rete
- Segmentazione dei cluster EXO tramite l’utilizzo di EXO_LIBP2P_NAMESPACE e VLAN.
- Configurazione dei firewall host (firewall di macOS, iptables, nftables) per proteggere le porte utilizzate da EXO.
- Prevenzione della scoperta non autorizzata di dispositivi e dell’inserimento di nodi sospetti nella rete.
- Crittografia del traffico libp2p tra i vari nodi, qualora la tecnologia RDMA non sia disponibile.
Governance e tracciabilità dei modelli
- Creazione di un registro interno contenente elenchi approvati di modelli e le relative informazioni descrittive.
- Assegnazione di tag e gestione delle versioni per i pesi quantizzati (formato a 4 bit o 8 bit), in parallelo con i checkpoint originali.
- Impostazione di restrizioni tali da consentire il caricamento dei modelli soltanto da repository HuggingFace autorizzati o da risorse interne.
- Documentazione dettagliata riguardante l’origine, la licenza e le norme d’uso previste per ciascun modello.
Registrazione delle attività di audit e conformità alle normative
- Configurazione del reindirizzamento dei log generati da EXO verso sistemi sicuri di archiviazione per l’audit, come SIEM o storage WORM.
- Correlazione degli eventi registrati nelle API con identità utente e timestamp corrispondenti.
- Rilevamento di tutte le operazioni effettuate sui modelli, inclusa la loro creazione, cancellazione e utilizzo per l’inferenza.
- Redazione periodica di report di conformità destinati sia a auditor interni che esterni.
Modellizzazione delle minacce e risposta agli incidenti
- Identificazione dei principali rischi: fuga di dati attraverso le uscite generate dai modelli, inserimento fraudolento di prompt e perdite d’informazioni tramite canali laterali.
- Implementazione di pipeline per il monitoraggio proattivo dei prompt e il filtraggio del contenuto in output.
- Redazione di procedure operative standardizzate da seguire in caso di compromissione dei cluster.
- Isolere i nodi infetti, conservare le tracce forensiche e ricostruire ambienti puliti e sicuri.
Sicurezza fisica e limitazione delle interfacce hardware
- Blocco dei collegamenti RDMA non autorizzati tramite porte Thunderbolt, al fine di prevenire accessi indesiderati.
- Utilizzo, ove disponibile, di enclave sicure e sistemi di attestazione hardware specifici per i processori Apple Silicon.
- Controllo rigoroso degli accessi fisici a macchine Mac disposte in cluster e ai dispositivi di archiviazione condivisi.
- Documentazione completa riguardo alla vita operativa delle apparecchiature hardware nonché alle procedure per la loro dismissione.
Aspetti normativi e considerazioni legali
- Adattamento delle configurazioni EXO in base ai requisiti stabiliti dal GDPR, dall’HIPAA e dallo standard SOC 2.
- Mantenimento della localizzazione fisica dei dati grazie all’esecuzione esclusivamente locale dei processi di inferenza.
- Analisi approfondita dei rischi derivanti dalla catena di approvvigionamento dei fornitori (MLX, EXO e i relativi pesi dei modelli).
- Preparazione alle normative future in materia di governance AI, tra cui l’articolo 53 del Regolamento UE sull’intelligenza artificiale.
Requisiti
- Esperienza nell’utilizzo di EXO o di altri ambienti di esecuzione per modelli linguistici locali
- Conoscenza delle permessi dei file nel sistema Unix e delle regole di accesso di rete (ACL)
- Familiarità con la gestione dei certificati TLS/SSL e i concetti base dell’crittografia
Destinatari
- Ingegneri della sicurezza
- Responsabili della conformità normativa
- Amministratori di infrastrutture AI che gestiscono dati sensibili
14 ore
Recensioni (1)
L'instruttore aveva una conoscenza eccellente di FortiGate e ha consegnato il contenuto molto bene. Grazie mille a Soroush.
Colin Donohue - Technological University of the Shannon: Midlands Midwest
Corso - FortiGate 7.4 Administration
Traduzione automatica
