Corso di formazione EXO: Distribuzione end-to-end di un cluster AI locale
EXO è un framework open-source che connette dispositivi Apple Silicon in un cluster AI distribuito, consentendo l'inferenza locale di modelli avanzati di dimensioni superiori alla capacità di un singolo dispositivo.
Questo corso formativo condotto da un istruttore (online o in presenza) è rivolto ad amministratori di sistema e ingegneri DevOps che desiderano distribuire, configurare e gestire cluster EXO per l'inferenza LLM privata su più nodi Apple Silicon o Linux.
Al termine della formazione, i partecipanti saranno in grado di:
- Installare e configurare EXO su nodi macOS e Linux.
- Abilitare la scoperta automatica dei dispositivi e creare cluster multi-nodo.
- Abilitare e verificare RDMA su Thunderbolt 5 per una comunicazione inter-dispositivo a latenza ultra-bassa.
- Distribuire modelli all'avanguardia (DeepSeek, Qwen, Llama) su dispositivi clusterizzati.
- Monitorare lo stato del cluster e risolvere problemi comuni di distribuzione.
Formato del corso
- Lezione interattiva e discussione.
- Molti esercizi e esercitazioni pratiche.
- Implementazione pratica in un ambiente live-lab.
Opzioni di personalizzazione del corso
- Per richiedere una formazione personalizzata, vi preghiamo di contattarci per organizzare i dettagli.
Struttura del corso
Introduzione a EXO e al clustering AI locale
- Panoramica del framework EXO e dell'ecosistema exo-explore
- Confronto tra inferenza cloud centralizzata e inferenza locale distribuita
- Architettura: scoperta dispositivi libp2p, backend MLX, dashboard e strati API
- Requisiti hardware: Apple Silicon (M3 Ultra, M4 Pro/Max), Thunderbolt 5, archiviazione condivisa
Installazione di EXO su macOS
- Configurazione di Xcode, Metal Toolchain e prerequisiti macOS
- Installazione di uv, Node.js e toolchain Rust nightly
- Installazione della fork pinned di macmon per il monitoraggio di Apple Silicon
- Clonazione del repository e compilazione della dashboard con npm
- Esecuzione di EXO dal sorgente e verifica della dashboard su localhost:52415
Installazione di EXO su Linux
- Installazione delle dipendenze tramite apt o Homebrew su Linux
- Configurazione di uv, Node.js 18+ e Rust nightly
- Compilazione della dashboard ed esecuzione di EXO in modalità solo CPU
- Struttura delle directory: percorsi XDG Base Directory per config, data, cache e log
Scoperta automatica dei dispositivi e formazione del cluster
- Comprensione della scoperta automatica basata su libp2p su reti locali
- Configurazione di namespace personalizzati con EXO_LIBP2P_NAMESPACE per l'isolamento del cluster
- Verifica dell'appartenenza dei nodi nella vista cluster della dashboard
- Gestione dei fallimenti della scoperta e dei problemi di segmentazione della rete
Abilitazione di RDMA su Thunderbolt 5
- Architettura RDMA e la riduzione del 99% della latenza
- Abilitazione di RDMA in modalità Recovery macOS con rdma_ctl
- Requisiti dei cavi e vincoli della topologia delle porte su Mac Studio
- Corrispondenza delle versioni macOS su tutti i nodi del cluster
- Risoluzione problemi della scoperta RDMA e configurazione DHCP
Distribuzione di modelli all'avanguardia
- Utilizzo della dashboard per caricare e frammentare i modelli DeepSeek v3.1, Qwen3-235B e la famiglia Llama
- Anteprima dei posizionamenti delle istanze con l'endpoint API /instance/previews
- Creazione di istanze modello con frammentazione a pipeline o tensor-parallel
- Configurazione di card modello personalizzate da HuggingFace hub
Monitoraggio e risoluzione dei problemi
- Lettura dei log EXO e comprensione del tracciamento distribuito
- Interpretazione dello stato del cluster nella vista cluster della dashboard
- Diagnosi dei guasti dei nodi worker e del comportamento di riconnessione
- Utilizzo di EXO_TRACING_ENABLED per l'analisi dei colli di bottiglia delle prestazioni
Manutenzione e aggiornamenti del cluster
- Aggiornamento dei binari EXO e procedure di ricostruzione della dashboard
- Migrazione delle cache dei modelli e gestione dei modelli pre-downloadati su NFS
- Rimozione graduale dei nodi e riallocazione dei carichi di lavoro
Requisiti
- Conoscenza dei fondamenti di rete (IP, subnetting, firewall)
- Esperienza con l'amministrazione della riga di comando su macOS o Linux
- Dimestichezza con la gestione dei pacchetti Python (pip/uv) e gli strumenti Node.js
Pubblico
- Amministratori di sistema
- Ingegneri DevOps
- Architetti di infrastrutture AI responsabili della distribuzione LLM on-premise
I corsi di formazione interaziendali richiedono più di 5 partecipanti.
Corso di formazione EXO: Distribuzione end-to-end di un cluster AI locale - Prenotazione
Corso di formazione EXO: Distribuzione end-to-end di un cluster AI locale - Richiesta
EXO: Distribuzione end-to-end di un cluster AI locale - Richiesta di consulenza
Corsi in Arrivo
Corsi relativi
Avanzato LangGraph: Ottimizzazione, Debugging e Monitoraggio di Grafi Complessi
35 oreLangGraph è un framework per la costruzione di applicazioni LLM a stato con multi-attori come grafi componibili con uno stato persistente e il controllo dell'esecuzione.
Questo training guidato dall'insegnante (online o in presenza) si rivolge agli ingegneri avanzati di piattaforme AI, a DevOps per l'IA e agli architetti ML che desiderano ottimizzare, debuggare, monitorare ed operare sistemi LangGraph di livello produzione.
Alla fine di questo training, i partecipanti saranno in grado di:
- Progettare e ottimizzare topologie complesse di LangGraph per velocità, costo ed scalabilità.
- Ingenegiare affidabilità con ritentative, timeout, idempotenza e recupero basato su checkpoint.
- Debuggare e tracciare l'esecuzione dei grafi, ispezionare lo stato e riprodurre sistematicamente problemi di produzione.
- Instrumentare i grafi con registri, metriche e tracce, distribuirli in produzione e monitorare SLAs e costi.
Formato del Corso
- Lettura interattiva e discussione.
- Molte esercitazioni e pratica.
- Implementazione pratica in un ambiente di laboratorio live.
Opzioni di Personalizzazione del Corso
- Per richiedere una formazione personalizzata per questo corso, si prega di contattarci per organizzare l'evento.
Creare Agenti di Codifica con Devstral: Dalla Progettazione degli Agenti allo Strumentamento
14 oreDevstral è un framework open-source progettato per costruire ed eseguire agenti di codifica in grado di interagire con basi di codice, strumenti di sviluppo e API per migliorare la produttività degli ingegneri.
Questo training guidato da istruttori (online o in presenza) è rivolto a ingegneri ML intermedi o avanzati, team di strumentazione per sviluppatori e SREs che desiderano progettare, implementare e ottimizzare agenti di codifica utilizzando Devstral.
Al termine di questo training, i partecipanti saranno in grado di:
- Configurare Devstral per lo sviluppo di agenti di codifica.
- Progettare flussi di lavoro agentic per l'esplorazione e la modifica delle basi di codice.
- Integrare gli agenti di codifica con strumenti di sviluppo e API.
- Implementare le migliori pratiche per il deployment sicuro ed efficiente degli agenti.
Formato del Corso
- Lezione interattiva e discussione.
- Molte esercitazioni e pratica.
- Implementazione pratica in un ambiente live-lab.
Opzioni di Personalizzazione del Corso
- Per richiedere una formazione personalizzata per questo corso, contattateci per organizzare l'evento.
Open-Source Model Ops: Self-Hosting, Fine-Tuning e Governance con Modelli Devstral & Mistral
14 oreI modelli Devstral e Mistral sono tecnologie AI a codice aperto progettate per un utilizzo flessibile, il fine-tuning e l'integrazione scalabile.
Questo training guidato dal docente (online o in presenza) è rivolto a ingegneri ML intermedi e avanzati, team di piattaforme e ingegneri di ricerca che desiderano auto-hosting, fine-tuning e governance dei modelli Mistral e Devstral in ambienti di produzione.
Al termine di questo training, i partecipanti saranno in grado di:
- Configurare e impostare ambienti auto-hosted per i modelli Mistral e Devstral.
- Applicare tecniche di fine-tuning per prestazioni specifiche al dominio.
- Implementare versioning, monitoraggio e governance del ciclo di vita.
- Sicurezza, conformità e utilizzo responsabile dei modelli a codice aperto.
Formato del Corso
- Lezione interattiva e discussione.
- Esercizi pratici di auto-hosting e fine-tuning.
- Implementazione in laboratorio di pipeline di governance e monitoraggio.
Opzioni di Personalizzazione del Corso
- Per richiedere un training personalizzato per questo corso, contattateci per organizzarlo.
Fiji: Elaborazione di Immagini per la Biotecnologia e la Tossicologia
14 oreQuesto training guidato da un istruttore (online o in sede) è rivolto a ricercatori e professionisti di laboratorio con competenze di livello iniziale o intermedio che desiderano elaborare e analizzare immagini relative a tessuti istologici, cellule del sangue, alghe e altri campioni biologici.
Al termine di questo training, i partecipanti saranno in grado di:
- Navigare nell'interfaccia di Fiji e utilizzare le funzioni principali di ImageJ.
- Preprocessare ed migliorare le immagini scientifiche per un'analisi migliore.
- Analizzare le immagini in modo quantitativo, compreso il conteggio delle cellule e la misurazione delle aree.
- Automatizzare i compiti ripetitivi utilizzando macro e plugin.
- Personalizzare i flussi di lavoro per le esigenze specifiche di analisi delle immagini nella ricerca biologica.
Applicazioni di LangGraph nel settore finanziario
35 oreLangGraph è un framework per la creazione di applicazioni LLM stateful e multi-attori come grafi componibili con uno stato persistente e il controllo dell'esecuzione.
Questo addestramento live guidato da un istruttore (online o in presenza) è rivolto a professionisti di livello intermedio e avanzato che desiderano progettare, implementare ed operare soluzioni finanziarie basate su LangGraph con una corretta governance, osservabilità e conformità.
Al termine di questo addestramento, i partecipanti saranno in grado di:
- Progettare flussi di lavoro specifici per le finanze basati su LangGraph allineati ai requisiti regolatori e di audit.
- Integrare standard e ontologie dei dati finanziari nello stato del grafo e nelle strumentazioni.
- Metttere in pratica la affidabilità, la sicurezza e i controlli a ciclo chiuso con l'operatore umano per processi critici.
- Distribuire, monitorare ed ottimizzare sistemi LangGraph per prestazioni, costi e SLA.
Formato del Corso
- Lectura interattiva e discussioni.
- Numerosi esercizi e pratica.
- Implementazione pratica in un ambiente di laboratorio live.
Opzioni per la Personalizzazione del Corso
- Per richiedere una formazione personalizzata su questo corso, si prega di contattarci per organizzare.
Fondamenti di LangGraph: Modellazione e concatenazione di prompt per LLM basata su grafi
14 oreLangGraph è un framework per la costruzione di applicazioni LLM basate su grafi, che supportano pianificazione, ramificazione, utilizzo di strumenti, memoria ed esecuzione controllata.
Questo corso live condotto da un istruttore (online o in presenza) è rivolto a sviluppatori di livello principiante, ingegneri di prompt e professionisti dei dati che desiderano progettare e realizzare flussi di lavoro LLM multi-step affidabili utilizzando LangGraph.
Al termine di questo corso, i partecipanti saranno in grado di:
- Spiegare i concetti fondamentali di LangGraph (nodi, archi, stato) e quando utilizzarli.
- Costruire catene di prompt che si ramificano, chiamano strumenti e mantengono lo stato della memoria.
- Integrare il recupero delle informazioni (retrieval) e le API esterne nei flussi di lavoro basati su grafi.
- Testare, eseguire il debug e valutare le applicazioni LangGraph per garantirne affidabilità e sicurezza.
Struttura del corso
- Lezione interattiva e discussione guidata.
- Esercitazioni pratiche e analisi del codice in un ambiente sandbox.
- Esercitazioni basate su scenari di progettazione, test e valutazione.
Opzioni di personalizzazione del corso
- Per richiedere una formazione personalizzata per questo corso, vi preghiamo di contattarci per concordare i dettagli.
LangGraph nella Salute: Orchestrazione dei Flussi di Lavoro per Ambienti Regolamentati
35 oreLangGraph consente flussi di lavoro stateful e multi-attori alimentati da LLM con un controllo preciso sui percorsi di esecuzione e la persistenza dello stato. Nel settore sanitario, queste capacità sono cruciali per la conformità, l'interoperabilità e la costruzione di sistemi di supporto alle decisioni che si integrano nei flussi di lavoro medici.
Questo addestramento interattivo e in diretta (online o su sito) è rivolto a professionisti di livello intermedio a avanzato che desiderano progettare, implementare e gestire soluzioni sanitarie basate su LangGraph, affrontando sfide regolamentari, etiche ed operative.
Al termine di questo addestramento, i partecipanti saranno in grado di:
- Progettare flussi di lavoro di LangGraph specifici per la sanità con attenzione alla conformità e alla tracciabilità.
- Integrare le applicazioni LangGraph con ontologie e standard medici (FHIR, SNOMED CT, ICD).
- Applicare le migliori pratiche per affidabilità, tracciabilità ed esplicabilità in ambienti sensibili.
- Distribuire, monitorare e validare applicazioni LangGraph in contesti di produzione sanitaria.
Formato del Corso
- Lettura interattiva ed esercizi di discussione.
- Esercizi pratici con studi di caso reali.
- Esercitazioni di implementazione in un ambiente live-lab.
Opzioni di Personalizzazione del Corso
- Per richiedere un addestramento personalizzato per questo corso, si prega di contattarci per organizzare.
LangGraph per Applicazioni Legali
35 oreLangGraph è un framework per costruire applicazioni LLM stateful e multi-attore come grafi componibili con stato persistente e controllo preciso sull'esecuzione.
Questo training guidato dall'insegnante (online o in sede) è rivolto a professionisti di livello intermedio ad avanzato che desiderano progettare, implementare e gestire soluzioni legali basate su LangGraph con i controlli necessari per la conformità, tracciabilità e governance.
Al termine di questo training, i partecipanti saranno in grado di:
- Progettare flussi di lavoro specifici per il settore legale che preservino l'auditabilità e la conformità.
- Integrare ontologie legali e standard documentali nello stato del grafo e nel processamento.
- Implementare guardrails, approvazioni umane e percorsi decisionali tracciabili.
- Distribuire, monitorare e mantenere servizi LangGraph in produzione con osservabilità e controlli dei costi.
Formato del Corso
- Lezione interattiva e discussione.
- Molti esercizi e pratica.
- Implementazione pratica in un ambiente di laboratorio live.
Opzioni di Personalizzazione del Corso
- Per richiedere una formazione personalizzata per questo corso, si prega di contattarci per organizzare.
Creazione di Workflow Dinamici con LangGraph e Agenti LLM
14 oreLangGraph è un framework per la composizione di workflow LLM strutturati a grafo che supportano ramificazioni, utilizzo di strumenti, memoria ed esecuzione controllabile.
Questa formazione dal vivo con istruttore (online o in presenza) è rivolta ad ingegneri e team di prodotto di livello intermedio che desiderano combinare la logica dei grafi di LangGraph con i cicli degli agenti LLM per costruire applicazioni dinamiche e consapevoli del contesto, come agent per il supporto clienti, alberi decisionali e sistemi di recupero informazioni.
Al termine di questa formazione, i partecipanti saranno in grado di:
- Progettare workflow basati su grafi che coordinano agenti LLM, strumenti e memoria.
- Implementare instradamento condizionale, retry e meccanismi di fallback per un'esecuzione robusta.
- Integrare il recupero di informazioni, API e output strutturati nei cicli degli agenti.
- Valutare, monitorare e consolidare il comportamento degli agenti per garantire affidabilità e sicurezza.
Struttura del Corso
- Lezioni interattive e discussioni guidate.
- Lab pratici e walkthrough di codice in un ambiente sandbox.
- Esercizi di progettazione basati su scenari e revisioni tra pari.
Opzioni di Personalizzazione del Corso
- Per richiedere una formazione personalizzata per questo corso, contattaci per organizzare i dettagli.
LangGraph per l'Automazione del Marketing
14 oreLangGraph è un framework di orchestrazione basato su grafi che consente flussi di lavoro condizionali e multi-step con LLM e strumenti, ideale per automatizzare e personalizzare pipeline di contenuti.
Questo training guidato da un istruttore (online o in loco) è rivolto a marketer, strategisti del contenuto e sviluppatori di automazione intermedi che desiderano implementare campagne email dinamiche e pipeline di generazione di contenuti utilizzando LangGraph.
Al termine di questo training, i partecipanti saranno in grado di:
- Progettare flussi di lavoro e contenuti basati su grafi con logica condizionale.
- Integrare LLM, API e sorgenti dati per la personalizzazione automatizzata.
- Gestire stato, memoria e contesto attraverso campagne multi-step.
- Valutare, monitorare e ottimizzare le prestazioni dei flussi di lavoro e i risultati della consegna.
Formato del Corso
- Lezioni interattive e discussioni di gruppo.
- Laboratori pratici per implementare flussi di lavoro email e pipeline di contenuti.
- Esercizi basati su scenari sulla personalizzazione, segmentazione e logica condizionale.
Opzioni di Personalizzazione del Corso
- Per richiedere un training personalizzato per questo corso, contattateci per organizzarlo.
Le Chat Enterprise: ChatOps Privato, Integrazioni & Controlli di Amministrazione
14 oreLe Chat Enterprise è una soluzione privata di ChatOps che fornisce funzionalità AI conversazionale sicure, personalizzabili e governate per le organizzazioni, con supporto per RBAC, SSO, connettori e integrazioni di applicazioni aziendali.
Questa formazione guidata da un istruttore (online o in sede) è rivolta a product manager, responsabili IT, ingegneri soluzioni e team di sicurezza/conformità di livello intermedio che desiderano distribuire, configurare e governare Le Chat Enterprise negli ambienti aziendali.
Al termine di questa formazione, i partecipanti saranno in grado di:
- Configurare Le Chat Enterprise per distribuzioni sicure.
- Abilitare RBAC, SSO e controlli basati sulla conformità.
- Integrare Le Chat con applicazioni e database aziendali.
- Progettare e implementare playbooks di governance e amministrazione per ChatOps.
Formato del Corso
- Lezione interattiva e discussione.
- Molte esercitazioni e pratica.
- Implementazione pratica in un ambiente live-lab.
Opzioni di Personalizzazione del Corso
- Per richiedere una formazione personalizzata per questo corso, contattateci per organizzare.
Architetture LLM Economiche: Mistral su Scala (Ingegneria delle Prestazioni / dei Costi)
14 oreMistral è una famiglia di modelli linguistici di grandi dimensioni ad alte prestazioni, ottimizzata per la distribuzione in produzione su larga scala in modo economico.
Questo corso, tenuto da un istruttore esperto, è disponibile sia online che in presenza. È rivolto a ingegneri delle infrastrutture di livello avanzato, architetti cloud e responsabili MLOps che desiderano progettare, distribuire e ottimizzare architetture basate su Mistral per ottenere il massimo throughput e il minimo costo.
Alla fine di questo corso, i partecipanti saranno in grado di:
- Implementare pattern di distribuzione scalabili per Mistral Medium 3.
- Applicare strategie di batching, quantizzazione e serving efficiente.
- Ottimizzare i costi di inferenza mantenendo elevate prestazioni.
- Progettare topologie di serving pronte per la produzione per carichi di lavoro aziendali.
Formato del Corso
- Lezione interattiva e discussione.
- Molti esercizi e pratiche.
- Implementazione pratica in un ambiente di laboratorio live.
Opzioni di Personalizzazione del Corso
- Per richiedere una formazione personalizzata per questo corso, vi invitiamo a contattarci per concordare i dettagli.
Productizing Conversational Assistants with Mistral Connectors & Integrations
14 oreMistral AI è una piattaforma di intelligenza artificiale aperta che consente alle squadre di creare e integrare assistenti conversazionali nei flussi di lavoro aziendali e rivolti ai clienti.
Questo corso guidato dal formatore (online o in presenza) è rivolto a product manager, sviluppatori full-stack e ingegneri di integrazione con livello di competenza da principiante a intermedio che desiderano progettare, integrare e produttizzare assistenti conversazionali utilizzando connettori e integrazioni Mistral.
Al termine di questo corso, i partecipanti saranno in grado di:
- Integrare modelli conversazionali Mistral con connettori aziendali e SaaS.
- Implementare la generazione rafforzata da recupero (RAG) per risposte fondate su dati.
- Progettare schemi UX per assistenti chat interni ed esterni.
- Distribuire gli assistenti nei flussi di lavoro dei prodotti per casi d'uso reali.
Formato del Corso
- Lezione interattiva e discussione.
- Esercizi pratici di integrazione.
- Sviluppo in laboratorio live di assistenti conversazionali.
Opzioni di Personalizzazione del Corso
- Per richiedere un corso personalizzato, contattateci per organizzare l'evento.
Enterprise-Grade Deployments with Mistral Medium 3
14 oreMistral Medium 3 è un modello linguistico multimodale di alte prestazioni progettato per il deployment in ambienti aziendali a livello di produzione.
Questo training guidato da un istruttore (online o in loco) è rivolto a ingegneri AI/ML intermedi e avanzati, architetti di piattaforme e team MLOps che desiderano deployare, ottimizzare e proteggere Mistral Medium 3 per scenari aziendali.
Al termine di questo training, i partecipanti saranno in grado di:
- Deployare Mistral Medium 3 utilizzando API o opzioni self-hosted.
- Ottimizzare le prestazioni e i costi dell'inferenza.
- Implementare scenari multimodali con Mistral Medium 3.
- Applicare le migliori pratiche di sicurezza e conformità per gli ambienti aziendali.
Formato del Corso
- Lezione interattiva e discussione.
- Molte esercitazioni e pratica.
- Implementazione pratica in un ambiente lab live.
Opzioni di Personalizzazione del Corso
- Per richiedere una formazione personalizzata per questo corso, si prega di contattarci per organizzare l'evento.
Mistral per l'AI Responsabile: Privacy, Residenza dei Dati e Controlli Aziendali
14 oreMistral AI è una piattaforma di intelligenza artificiale (IA) aperta e pronta per le imprese che offre funzionalità per la distribuzione di IA sicura, conforme alle normative e responsabile.
Questo training guidato da un istruttore (online o in presenza) è rivolto a leader della conformità di livello intermedio, architetti di sicurezza e stakeholder legali/operativi che desiderano implementare pratiche responsabili di IA con Mistral sfruttando meccanismi di privacy, residenza dei dati e controlli aziendali.
Al termine di questo training, i partecipanti saranno in grado di:
- Implementare tecniche di protezione della privacy nelle distribuzioni Mistral.
- Applicare strategie di residenza dei dati per soddisfare i requisiti normativi.
- Configurare controlli aziendali di livello enterprise come RBAC, SSO e log di audit.
- Valutare le opzioni di fornitori e distribuzione per l'allineamento alla conformità.
Formato del Corso
- Lezione interattiva e discussione.
- Casi studio e esercizi focalizzati sulla conformità.
- Implementazione pratica di controlli di IA aziendali.
Opzioni di Personalizzazione del Corso
- Per richiedere un training personalizzato per questo corso, si prega di contattarci per organizzare.