Contattataci

Struttura del corso

Preparazione dei modelli di machine learning per la distribuzione

  • Pacchettizzazione dei modelli tramite Docker
  • Esportazione dei modelli da TensorFlow e PyTorch
  • Considerazioni sulla gestione delle versioni e sull’archiviazione dei dati

Distribuzione dei modelli su Kubernetes

  • Introduzione ai server di inferenza
  • Configurazione di TensorFlow Serving e TorchServe
  • Impostazione degli endpoint per i modelli<\/li>

Tecniche di ottimizzazione dell’inferenza

  • Strategie di raggruppamento delle richieste (batching)
  • Gestione simultanea di più richieste
  • Ottimizzazione della latenza e del throughput

Scalabilità automatica dei carichi di lavoro basati su machine learning

  • Horizontal Pod Autoscaler (HPA)
  • Vertical Pod Autoscaler (VPA)
  • Kubernetes Event-Driven Autoscaling (KEDA)

Fornitura delle risorse GPU e gestione delle risorse informatiche

  • Configurazione dei nodi dotati di GPU
  • Nozioni di base sul plugin per dispositivi NVIDIA<\/li>
  • Definizione delle richieste e dei limiti di risorsa per i modelli ML<\/li>

Strategie di distribuzione e rilascio dei modelli

  • Implementazioni tipo Blue/Green
  • Schemi di distribuzione progressiva (canary)
  • Utilizzo dei test A/B per la valutazione dei modelli<\/li>

Monitoraggio e tracciabilità dei modelli in produzione

  • Misure di prestazioni specifiche per i carichi di lavoro di inferenza
  • Pratiche di registrazione dei log e tracciamento delle operazioni
  • Creazione di dashboard e sistemi di allerta<\/li>

Aspetti relativi alla sicurezza e alla affidabilità

  • Protezione degli endpoint dei modelli
  • Policy di rete e controllo degli accessi
  • Misure per garantire l’alta disponibilità del sistema<\/li>

Riepilogo e prossimi passi

Requisiti

  • Conoscenza dei flussi di lavoro legati alle applicazioni in contenitori
  • Esperienza nello sviluppo di modelli di machine learning in Python
  • Conoscenza base dei principi fondamentali di Kubernetes

Destinatari

  • Ingegneri specializzati in machine learning
  • Ingegneri DevOps
  • Team di ingegneria delle piattaforme
 14 ore

Numero di Partecipanti


Prezzo per partecipante

Recensioni (4)

Corsi in Arrivo

Categorie relative