Corso di formazione EXO: Implementazione completa di cluster AI locali

Introduzione a EXO e alla creazione di cluster AI locali

• Descrizione generale del framework EXO e dell’ecosistema exo-explore
• Confronto tra l’inferenza centralizzata nel cloud e quella distribuita in ambiente locale
• Architettura: il sistema di rilevamento dei nodi libp2p, il backend MLX, la dashboard e i livelli API utilizzati
• Requisiti hardware: chip Apple Silicon (M3 Ultra, M4 Pro/Max), connettività Thunderbolt 5 e spazio di archiviazione condiviso

Installazione di EXO su macOS

• Configurazione di Xcode, del Metal ToolChain e dei prerequisiti specifici per macOS
• Installazione degli strumenti uv, Node.js e della versione notturna di Rust
• Installazione della variante macmon specifica per il monitoraggio dei nodi Apple Silicon
• Clonazione del repository e compilazione della dashboard tramite npm
• Esecuzione di EXO partendo dal codice sorgente e verifica della disponibilità della dashboard su localhost:52415

Installazione di EXO su Linux

• Installazione delle dipendenze necessarie mediante apt o Homebrew in ambiente Linux
• Configurazione degli strumenti uv, Node.js 18+ e della versione notturna di Rust
• Compilazione della dashboard ed esecuzione di EXO in modalità CPU-only
• Struttura dei percorsi di directory: impiego delle convenzioni XDG Base Directory per configurazione, dati, cache e log

Rilevamento automatico dei dispositivi e formazione del cluster

• Funzionamento del meccanismo di rilevamento automatico libp2p in rete locale
• Configurazione di namespace personalizzati tramite EXO_LIBP2P_NAMESPACE per garantire l’isolamento dei cluster
• Verifica della corretta registrazione dei nodi nella dashboard del cluster
• Gestione delle situazioni in cui il rilevamento fallisce e problemi derivanti dalla segmentazione della rete

Abilitazione di RDMA tramite Thunderbolt 5

• Struttura architettonica di RDMA e vantaggi legati alla riduzione della latenza, pari al 99%
• Attivazione di RDMA in modalità Recovery di macOS mediante lo strumento rdma_ctl
• Requisiti relativi ai cavi e limitazioni topologiche delle porte su Mac Studio
• Importanza della sincronizzazione tra le versioni di macOS utilizzate da tutti i nodi del cluster
• Risoluzione dei problemi legati al rilevamento di RDMA e alla configurazione DHCP

Distribuzione dei modelli all’avanguardia

• Utilizzo della dashboard per caricare e distribuire suddivisi i modelli DeepSeek v3.1, Qwen3-235B e la famiglia Llama
• Visualizzazione anticipata dei punti di allocazione delle istanze tramite l’endpoint API /instance/previews
• Creazione di nuove istanze di modello configurandone la suddivisione in pipeline o tensor-parallela
• Configurazione personalizzata dei modelli partendo dai dati disponibili su HuggingFace Hub

Monitoraggio e risoluzione dei problemi

• Analisi dei log generati da EXO e comprensione della tracciabilità distribuita delle operazioni
• Interpretazione dello stato di salute del cluster presentato nella dashboard principale
• Identificazione di guasti nei nodi secondari e analisi del comportamento di riconnessione dei dispositivi
• Utilizzo della variabile EXO_TRACING_ENABLED per rilevare eventuali colli di bottiglia nelle prestazioni del sistema

Mantenimento e aggiornamento del cluster

• Procedimenti standard per l’aggiornamento dei binari EXO e la rigenerazione della dashboard
• Gestione ottimale delle cache generate dai modelli, ivi inclusa la conservazione tramite NFS di quelli già scaricati
• Rimozione ordinata di nodi dal cluster e ridistribuzione bilanciata dei carichi di lavoro