Corso di formazione EXO: End-to-End Local AI Cluster Deployment
EXO is an open-source framework that connects Apple Silicon devices into a distributed AI cluster, enabling local inference of frontier models larger than a single device can hold.
This instructor-led, live training (online or onsite) is aimed at system administrators and DevOps engineers who wish to deploy, configure, and manage EXO clusters for private LLM inference across multiple Apple Silicon or Linux nodes.
By the end of this training, participants will be able to:
- Install and configure EXO on macOS and Linux nodes.
- Enable automatic device discovery and build multi-node clusters.
- Enable and verify RDMA over Thunderbolt 5 for ultra-low-latency inter-device communication.
- Deploy frontier models (DeepSeek, Qwen, Llama) across clustered devices.
- Monitor cluster health and troubleshoot common deployment issues.
Format of the Course
- Interactive lecture and discussion.
- Lots of exercises and practice.
- Hands-on implementation in a live-lab environment.
Course Customization Options
- To request a customized training, please contact us to arrange.
Struttura del corso
Introduction to EXO and Local AI Clustering
- Overview of the EXO framework and the exo-explore ecosystem
- Comparing centralized cloud inference vs distributed local inference
- Architecture: libp2p device discovery, MLX backend, dashboard, and API layers
- Hardware requirements: Apple Silicon (M3 Ultra, M4 Pro/Max), Thunderbolt 5, shared storage
Installing EXO on macOS
- Setting up Xcode, Metal ToolChain, and macOS prerequisites
- Installing uv, Node.js, Rust nightly toolchain
- Installing the pinned macmon fork for Apple Silicon monitoring
- Cloning the repository and building the dashboard with npm
- Running EXO from source and verifying the localhost:52415 dashboard
Installing EXO on Linux
- Installing dependencies via apt or Homebrew on Linux
- Configuring uv, Node.js 18+, and Rust nightly
- Building the dashboard and running EXO in CPU-only mode
- Directory layout: XDG Base Directory paths for config, data, cache, and logs
Automatic Device Discovery and Cluster Formation
- Understanding libp2p-based auto-discovery across local networks
- Configuring custom namespaces with EXO_LIBP2P_NAMESPACE for cluster isolation
- Verifying node membership in the dashboard cluster view
- Handling discovery failures and network segmentation issues
Enabling RDMA over Thunderbolt 5
- RDMA architecture and the 99 percent latency reduction claim
- Enabling RDMA in macOS Recovery mode with rdma_ctl
- Cable requirements and port topology constraints on Mac Studio
- Matching macOS versions across all cluster nodes
- Troubleshooting RDMA discovery and DHCP configuration
Deploying Frontier Models
- Using the dashboard to load and shard DeepSeek v3.1, Qwen3-235B, and Llama family models
- Previewing instance placements with the /instance/previews API endpoint
- Creating model instances with pipeline or tensor-parallel sharding
- Configuring custom model cards from HuggingFace hub
Monitoring and Troubleshooting
- Reading EXO logs and understanding distributed tracing
- Interpreting cluster health in the dashboard cluster view
- Diagnosing worker node failures and reconnection behavior
- Using EXO_TRACING_ENABLED for performance bottleneck analysis
Cluster Maintenance and Updates
- Updating EXO binaries and dashboard rebuild procedures
- Migrating model caches and managing pre-downloaded models over NFS
- Gracefully removing nodes and rebalancing workloads
Requisiti
- An understanding of networking fundamentals (IP, subnetting, firewalls)
- Experience with macOS or Linux command-line administration
- Familiarity with Python package management (pip/uv) and Node.js tooling
Audience
- System administrators
- DevOps engineers
- AI infrastructure architects responsible for on-premise LLM deployment
I corsi di formazione interaziendali richiedono più di 5 partecipanti.
Corso di formazione EXO: End-to-End Local AI Cluster Deployment - Prenotazione
Corso di formazione EXO: End-to-End Local AI Cluster Deployment - Richiesta
EXO: End-to-End Local AI Cluster Deployment - Richiesta di consulenza
Corsi in Arrivo
Corsi relativi
Avanzato LangGraph: Ottimizzazione, Debugging e Monitoraggio di Grafi Complessi
35 oreLangGraph è un framework per la costruzione di applicazioni LLM a stato con multi-attori come grafi componibili con uno stato persistente e il controllo dell'esecuzione.
Questo training guidato dall'insegnante (online o in presenza) si rivolge agli ingegneri avanzati di piattaforme AI, a DevOps per l'IA e agli architetti ML che desiderano ottimizzare, debuggare, monitorare ed operare sistemi LangGraph di livello produzione.
Alla fine di questo training, i partecipanti saranno in grado di:
- Progettare e ottimizzare topologie complesse di LangGraph per velocità, costo ed scalabilità.
- Ingenegiare affidabilità con ritentative, timeout, idempotenza e recupero basato su checkpoint.
- Debuggare e tracciare l'esecuzione dei grafi, ispezionare lo stato e riprodurre sistematicamente problemi di produzione.
- Instrumentare i grafi con registri, metriche e tracce, distribuirli in produzione e monitorare SLAs e costi.
Formato del Corso
- Lettura interattiva e discussione.
- Molte esercitazioni e pratica.
- Implementazione pratica in un ambiente di laboratorio live.
Opzioni di Personalizzazione del Corso
- Per richiedere una formazione personalizzata per questo corso, si prega di contattarci per organizzare l'evento.
Creare Agenti di Codifica con Devstral: Dalla Progettazione degli Agenti allo Strumentamento
14 oreDevstral è un framework open-source progettato per costruire ed eseguire agenti di codifica in grado di interagire con basi di codice, strumenti di sviluppo e API per migliorare la produttività degli ingegneri.
Questo training guidato da istruttori (online o in presenza) è rivolto a ingegneri ML intermedi o avanzati, team di strumentazione per sviluppatori e SREs che desiderano progettare, implementare e ottimizzare agenti di codifica utilizzando Devstral.
Al termine di questo training, i partecipanti saranno in grado di:
- Configurare Devstral per lo sviluppo di agenti di codifica.
- Progettare flussi di lavoro agentic per l'esplorazione e la modifica delle basi di codice.
- Integrare gli agenti di codifica con strumenti di sviluppo e API.
- Implementare le migliori pratiche per il deployment sicuro ed efficiente degli agenti.
Formato del Corso
- Lezione interattiva e discussione.
- Molte esercitazioni e pratica.
- Implementazione pratica in un ambiente live-lab.
Opzioni di Personalizzazione del Corso
- Per richiedere una formazione personalizzata per questo corso, contattateci per organizzare l'evento.
Open-Source Model Ops: Self-Hosting, Fine-Tuning e Governance con Modelli Devstral & Mistral
14 oreI modelli Devstral e Mistral sono tecnologie AI a codice aperto progettate per un utilizzo flessibile, il fine-tuning e l'integrazione scalabile.
Questo training guidato dal docente (online o in presenza) è rivolto a ingegneri ML intermedi e avanzati, team di piattaforme e ingegneri di ricerca che desiderano auto-hosting, fine-tuning e governance dei modelli Mistral e Devstral in ambienti di produzione.
Al termine di questo training, i partecipanti saranno in grado di:
- Configurare e impostare ambienti auto-hosted per i modelli Mistral e Devstral.
- Applicare tecniche di fine-tuning per prestazioni specifiche al dominio.
- Implementare versioning, monitoraggio e governance del ciclo di vita.
- Sicurezza, conformità e utilizzo responsabile dei modelli a codice aperto.
Formato del Corso
- Lezione interattiva e discussione.
- Esercizi pratici di auto-hosting e fine-tuning.
- Implementazione in laboratorio di pipeline di governance e monitoraggio.
Opzioni di Personalizzazione del Corso
- Per richiedere un training personalizzato per questo corso, contattateci per organizzarlo.
Fiji: Elaborazione di Immagini per la Biotecnologia e la Tossicologia
14 oreQuesto training guidato da un istruttore (online o in sede) è rivolto a ricercatori e professionisti di laboratorio con competenze di livello iniziale o intermedio che desiderano elaborare e analizzare immagini relative a tessuti istologici, cellule del sangue, alghe e altri campioni biologici.
Al termine di questo training, i partecipanti saranno in grado di:
- Navigare nell'interfaccia di Fiji e utilizzare le funzioni principali di ImageJ.
- Preprocessare ed migliorare le immagini scientifiche per un'analisi migliore.
- Analizzare le immagini in modo quantitativo, compreso il conteggio delle cellule e la misurazione delle aree.
- Automatizzare i compiti ripetitivi utilizzando macro e plugin.
- Personalizzare i flussi di lavoro per le esigenze specifiche di analisi delle immagini nella ricerca biologica.
Applicazioni di LangGraph nel settore finanziario
35 oreLangGraph è un framework per la creazione di applicazioni LLM stateful e multi-attori come grafi componibili con uno stato persistente e il controllo dell'esecuzione.
Questo addestramento live guidato da un istruttore (online o in presenza) è rivolto a professionisti di livello intermedio e avanzato che desiderano progettare, implementare ed operare soluzioni finanziarie basate su LangGraph con una corretta governance, osservabilità e conformità.
Al termine di questo addestramento, i partecipanti saranno in grado di:
- Progettare flussi di lavoro specifici per le finanze basati su LangGraph allineati ai requisiti regolatori e di audit.
- Integrare standard e ontologie dei dati finanziari nello stato del grafo e nelle strumentazioni.
- Metttere in pratica la affidabilità, la sicurezza e i controlli a ciclo chiuso con l'operatore umano per processi critici.
- Distribuire, monitorare ed ottimizzare sistemi LangGraph per prestazioni, costi e SLA.
Formato del Corso
- Lectura interattiva e discussioni.
- Numerosi esercizi e pratica.
- Implementazione pratica in un ambiente di laboratorio live.
Opzioni per la Personalizzazione del Corso
- Per richiedere una formazione personalizzata su questo corso, si prega di contattarci per organizzare.
Fondamenti di LangGraph: Promozione e Catena basate su Grafi
14 oreLangGraph è un framework per la costruzione di applicazioni LLM strutturate in grafici che supportano il planning, la ramificazione, l'utilizzo degli strumenti, la memoria e l'esecuzione controllata.
Questo corso interattivo e live (online o presenziale) è rivolto a sviluppatori principianti, engineer di prompt e pratiche di dati che desiderano progettare e costruire workflow LLM flessibili e multistep utilizzando LangGraph.
Alla fine di questo corso, i partecipanti saranno in grado di:
- Spiegare i concetti principali di LangGraph (nodi, archi, stato) e quando usarli.
- Cosrire prompt chain che si ramificano, chiamano strumenti ed eseguono operazioni di memoria.
- Integrare recupero e API esterne nei workflow grafici.
- Testare, debuggare e valutare le applicazioni LangGraph per affidabilità e sicurezza.
Formato del Corso
- Lectura interattiva e discussione guidata.
- Lab e panoramica codice in un ambiente sandbox.
- Esercizi basati su scenari per design, test e valutazione.
Opzioni di Personalizzazione del Corso
- Per richiedere un training personalizzato per questo corso, si prega di contattarci per organizzare.
LangGraph nella Salute: Orchestrazione dei Flussi di Lavoro per Ambienti Regolamentati
35 oreLangGraph consente flussi di lavoro stateful e multi-attori alimentati da LLM con un controllo preciso sui percorsi di esecuzione e la persistenza dello stato. Nel settore sanitario, queste capacità sono cruciali per la conformità, l'interoperabilità e la costruzione di sistemi di supporto alle decisioni che si integrano nei flussi di lavoro medici.
Questo addestramento interattivo e in diretta (online o su sito) è rivolto a professionisti di livello intermedio a avanzato che desiderano progettare, implementare e gestire soluzioni sanitarie basate su LangGraph, affrontando sfide regolamentari, etiche ed operative.
Al termine di questo addestramento, i partecipanti saranno in grado di:
- Progettare flussi di lavoro di LangGraph specifici per la sanità con attenzione alla conformità e alla tracciabilità.
- Integrare le applicazioni LangGraph con ontologie e standard medici (FHIR, SNOMED CT, ICD).
- Applicare le migliori pratiche per affidabilità, tracciabilità ed esplicabilità in ambienti sensibili.
- Distribuire, monitorare e validare applicazioni LangGraph in contesti di produzione sanitaria.
Formato del Corso
- Lettura interattiva ed esercizi di discussione.
- Esercizi pratici con studi di caso reali.
- Esercitazioni di implementazione in un ambiente live-lab.
Opzioni di Personalizzazione del Corso
- Per richiedere un addestramento personalizzato per questo corso, si prega di contattarci per organizzare.
LangGraph per Applicazioni Legali
35 oreLangGraph è un framework per costruire applicazioni LLM stateful e multi-attore come grafi componibili con stato persistente e controllo preciso sull'esecuzione.
Questo training guidato dall'insegnante (online o in sede) è rivolto a professionisti di livello intermedio ad avanzato che desiderano progettare, implementare e gestire soluzioni legali basate su LangGraph con i controlli necessari per la conformità, tracciabilità e governance.
Al termine di questo training, i partecipanti saranno in grado di:
- Progettare flussi di lavoro specifici per il settore legale che preservino l'auditabilità e la conformità.
- Integrare ontologie legali e standard documentali nello stato del grafo e nel processamento.
- Implementare guardrails, approvazioni umane e percorsi decisionali tracciabili.
- Distribuire, monitorare e mantenere servizi LangGraph in produzione con osservabilità e controlli dei costi.
Formato del Corso
- Lezione interattiva e discussione.
- Molti esercizi e pratica.
- Implementazione pratica in un ambiente di laboratorio live.
Opzioni di Personalizzazione del Corso
- Per richiedere una formazione personalizzata per questo corso, si prega di contattarci per organizzare.
Creazione di Flussi di Lavoro Dinamici con LangGraph e Agenti LLM
14 oreLangGraph è un framework per la creazione di workflow basati su grafi LLM che supportano ramificazioni, uso strumenti, memoria e esecuzione controllabile.
Questo training live guidato da un istruttore (online o presenziale) è rivolto a ingegneri intermedi e team di prodotti che desiderano combinare la logica grafica di LangGraph con i cicli degli agenti LLM per creare applicazioni dinamiche consapevoli del contesto, come agenti supporto clienti, alberi decisionali e sistemi di recupero informazioni.
Al termine di questo training, i partecipanti saranno in grado di:
- Progettare workflow basati su grafi che coordinano agenti LLM, strumenti e memoria.
- Mettere in pratica la routing condizionale, i tentativi ripetuti e le opzioni di fallback per un'esecuzione robusta.
- Integrare il recupero dati, API e output strutturati nei cicli degli agenti.
- Valutare, monitorare e rafforzare il comportamento degli agenti per la affidabilità e la sicurezza.
Formato del Corso
- Lecture interattive e discussioni guidate.
- Laboratori guidati ed esercitazioni di codice in un ambiente sandbox.
- Esercizi di progettazione basati su scenari e recensioni tra pari.
Opzioni per la Personalizzazione del Corso
- Per richiedere un training personalizzato per questo corso, si prega di contattarci per organizzare l'incontro.
LangGraph per l'Automazione del Marketing
14 oreLangGraph è un framework di orchestrazione basato su grafi che consente flussi di lavoro condizionali e multi-step con LLM e strumenti, ideale per automatizzare e personalizzare pipeline di contenuti.
Questo training guidato da un istruttore (online o in loco) è rivolto a marketer, strategisti del contenuto e sviluppatori di automazione intermedi che desiderano implementare campagne email dinamiche e pipeline di generazione di contenuti utilizzando LangGraph.
Al termine di questo training, i partecipanti saranno in grado di:
- Progettare flussi di lavoro e contenuti basati su grafi con logica condizionale.
- Integrare LLM, API e sorgenti dati per la personalizzazione automatizzata.
- Gestire stato, memoria e contesto attraverso campagne multi-step.
- Valutare, monitorare e ottimizzare le prestazioni dei flussi di lavoro e i risultati della consegna.
Formato del Corso
- Lezioni interattive e discussioni di gruppo.
- Laboratori pratici per implementare flussi di lavoro email e pipeline di contenuti.
- Esercizi basati su scenari sulla personalizzazione, segmentazione e logica condizionale.
Opzioni di Personalizzazione del Corso
- Per richiedere un training personalizzato per questo corso, contattateci per organizzarlo.
Le Chat Enterprise: ChatOps Privato, Integrazioni & Controlli di Amministrazione
14 oreLe Chat Enterprise è una soluzione privata di ChatOps che fornisce funzionalità AI conversazionale sicure, personalizzabili e governate per le organizzazioni, con supporto per RBAC, SSO, connettori e integrazioni di applicazioni aziendali.
Questa formazione guidata da un istruttore (online o in sede) è rivolta a product manager, responsabili IT, ingegneri soluzioni e team di sicurezza/conformità di livello intermedio che desiderano distribuire, configurare e governare Le Chat Enterprise negli ambienti aziendali.
Al termine di questa formazione, i partecipanti saranno in grado di:
- Configurare Le Chat Enterprise per distribuzioni sicure.
- Abilitare RBAC, SSO e controlli basati sulla conformità.
- Integrare Le Chat con applicazioni e database aziendali.
- Progettare e implementare playbooks di governance e amministrazione per ChatOps.
Formato del Corso
- Lezione interattiva e discussione.
- Molte esercitazioni e pratica.
- Implementazione pratica in un ambiente live-lab.
Opzioni di Personalizzazione del Corso
- Per richiedere una formazione personalizzata per questo corso, contattateci per organizzare.
Cost-Effective LLM Architectures: Mistral at Scale (Performance / Cost Engineering)
14 oreMistral è una famiglia di modelli linguistici di grande dimensione ottimizzati per il deploy a basso costo su larga scala.
Questo corso di formazione guidato dal docente (online o in presenza) è rivolto a infrastrutturisti avanzati, architetti cloud e responsabili MLOps che desiderano progettare, implementare e ottimizzare architetture basate su Mistral per massimizzare il throughput e minimizzare i costi.
Al termine di questo corso, i partecipanti saranno in grado di:
- Implementare pattern di deploy scalabili per Mistral Medium 3.
- Applicare tecniche di batch, quantizzazione e strategie efficienti per il serving.
- Ottimizzare i costi dell'inferenza mantenendo le prestazioni.
- Progettare topologie di serving pronte per la produzione per carichi di lavoro aziendali.
Formato del Corso
- Lezione interattiva e discussione.
- Molti esercizi e pratica.
- Implementazione pratica in un ambiente live-lab.
Opzioni di Personalizzazione del Corso
- Per richiedere una formazione personalizzata per questo corso, si prega di contattarci per organizzare.
Productizing Conversational Assistants with Mistral Connectors & Integrations
14 oreMistral AI è una piattaforma di intelligenza artificiale aperta che consente alle squadre di creare e integrare assistenti conversazionali nei flussi di lavoro aziendali e rivolti ai clienti.
Questo corso guidato dal formatore (online o in presenza) è rivolto a product manager, sviluppatori full-stack e ingegneri di integrazione con livello di competenza da principiante a intermedio che desiderano progettare, integrare e produttizzare assistenti conversazionali utilizzando connettori e integrazioni Mistral.
Al termine di questo corso, i partecipanti saranno in grado di:
- Integrare modelli conversazionali Mistral con connettori aziendali e SaaS.
- Implementare la generazione rafforzata da recupero (RAG) per risposte fondate su dati.
- Progettare schemi UX per assistenti chat interni ed esterni.
- Distribuire gli assistenti nei flussi di lavoro dei prodotti per casi d'uso reali.
Formato del Corso
- Lezione interattiva e discussione.
- Esercizi pratici di integrazione.
- Sviluppo in laboratorio live di assistenti conversazionali.
Opzioni di Personalizzazione del Corso
- Per richiedere un corso personalizzato, contattateci per organizzare l'evento.
Enterprise-Grade Deployments with Mistral Medium 3
14 oreMistral Medium 3 è un modello linguistico multimodale di alte prestazioni progettato per il deployment in ambienti aziendali a livello di produzione.
Questo training guidato da un istruttore (online o in loco) è rivolto a ingegneri AI/ML intermedi e avanzati, architetti di piattaforme e team MLOps che desiderano deployare, ottimizzare e proteggere Mistral Medium 3 per scenari aziendali.
Al termine di questo training, i partecipanti saranno in grado di:
- Deployare Mistral Medium 3 utilizzando API o opzioni self-hosted.
- Ottimizzare le prestazioni e i costi dell'inferenza.
- Implementare scenari multimodali con Mistral Medium 3.
- Applicare le migliori pratiche di sicurezza e conformità per gli ambienti aziendali.
Formato del Corso
- Lezione interattiva e discussione.
- Molte esercitazioni e pratica.
- Implementazione pratica in un ambiente lab live.
Opzioni di Personalizzazione del Corso
- Per richiedere una formazione personalizzata per questo corso, si prega di contattarci per organizzare l'evento.
Mistral per l'AI Responsabile: Privacy, Residenza dei Dati e Controlli Aziendali
14 oreMistral AI è una piattaforma di intelligenza artificiale (IA) aperta e pronta per le imprese che offre funzionalità per la distribuzione di IA sicura, conforme alle normative e responsabile.
Questo training guidato da un istruttore (online o in presenza) è rivolto a leader della conformità di livello intermedio, architetti di sicurezza e stakeholder legali/operativi che desiderano implementare pratiche responsabili di IA con Mistral sfruttando meccanismi di privacy, residenza dei dati e controlli aziendali.
Al termine di questo training, i partecipanti saranno in grado di:
- Implementare tecniche di protezione della privacy nelle distribuzioni Mistral.
- Applicare strategie di residenza dei dati per soddisfare i requisiti normativi.
- Configurare controlli aziendali di livello enterprise come RBAC, SSO e log di audit.
- Valutare le opzioni di fornitori e distribuzione per l'allineamento alla conformità.
Formato del Corso
- Lezione interattiva e discussione.
- Casi studio e esercizi focalizzati sulla conformità.
- Implementazione pratica di controlli di IA aziendali.
Opzioni di Personalizzazione del Corso
- Per richiedere un training personalizzato per questo corso, si prega di contattarci per organizzare.