Grazie per aver inviato la tua richiesta! Uno dei nostri team membri ti contatterà a breve.
Grazie per aver inviato il tuo prenotazione! Uno dei nostri team membri ti contatterà a breve.
Struttura del corso
Introduzione a Mistral su Scala
- Panoramica di Mistral Medium 3.
- Compromessi tra prestazioni e costi.
- Considerazioni per la scala aziendale.
Pattern di Distribuzione per LLM
- Topologie di serving e scelte di progettazione.
- Distribuzioni on-premises rispetto al cloud.
- Strategie ibride e multi-cloud.
Tecniche di Ottimizzazione dell'Inferenza
- Strategie di batching per alto throughput.
- Metodi di quantizzazione per la riduzione dei costi.
- Ottimizzazione dell'utilizzo di accelerator e GPU.
Scalabilità e Affidabilità
- Scalabilità dei cluster Kubernetes per l'inferenza.
- Bilanciamento del carico e instradamento del traffico.
- Tolleranza ai guasti e ridondanza.
Framework di Ingegneria dei Costi
- Misurazione dell'efficienza dei costi di inferenza.
- Dimensionamento corretto delle risorse di calcolo e memoria.
- Monitoraggio e allerta per l'ottimizzazione.
Sicurezza e Conformità in Produzione
- Sicurezza delle distribuzioni e delle API.
- Considerazioni sulla governance dei dati.
- Conformità normativa nell'ingegneria dei costi.
Casi di Studio e Best Practices
- Architetture di riferimento per Mistral su scala.
- Insegnamenti appresi dalle distribuzioni aziendali.
- Tendenze future nell'inferenza efficiente di LLM.
Sintesi e Prossimi Passi
Requisiti
- Forte comprensione della distribuzione di modelli di machine learning.
- Esperienza con infrastrutture cloud e sistemi distribuiti.
- Conoscenza delle strategie di tuning delle prestazioni e ottimizzazione dei costi.
Pubblico Target
- Ingegneri delle infrastrutture.
- Architetti cloud.
- Responsabili MLOps.
14 ore
