Struttura del corso

Preparazione dei Modelli di Machine Learning per la Distribuzione

  • Impacchettamento dei modelli con Docker
  • Esportazione dei modelli da TensorFlow e PyTorch
  • Considerazioni sulla versione e lo storage

Servizio di Modelli su Kubernetes

  • Panoramica dei server di inferenza
  • Distribuzione di TensorFlow Serving e TorchServe
  • Configurazione degli endpoint del modello

Tecniche di Ottimizzazione dell'Inferenza

  • Strategie di batching
  • Gestione delle richieste concorrenti
  • Tuning della latenza e del throughput

Autoscaling di Carichi di Lavoro ML

  • Horizontal Pod Autoscaler (HPA)
  • Vertical Pod Autoscaler (VPA)
  • Kubernetes Event-Driven Autoscaling (KEDA)

Provisioning e Gestione delle Risorse GPU

  • Configurazione dei nodi GPU
  • Panoramica del plugin di dispositivo NVIDIA
  • Richieste e limiti delle risorse per i carichi di lavoro ML

Strategie di Rollout e Rilascio dei Modelli

  • Deployments blu/verde
  • Pattern di rollout canary
  • A/B testing per l'evaluation dei modelli

Monitoraggio e Osservabilità del ML in Produzione

  • Metriche per i carichi di lavoro di inferenza
  • Pratiche di logging e tracing
  • Dashboards e alerting

Considerazioni sulla Sicurezza e Affidabilità

  • Sicurezza degli endpoint dei modelli
  • Policy di rete e controllo di accesso
  • Garanzia della disponibilità elevata

Riepilogo e Prossimi Passi

Requisiti

  • Comprensione dei flussi di lavoro delle applicazioni contenitorizzate
  • Esperienza con modelli di machine learning basati su Python
  • Familiarità con i concetti fondamentali di Kubernetes

Audience

  • Ingegneri ML
  • Ingegneri DevOps
  • Team di ingegneria della piattaforma
 14 ore

Numero di Partecipanti


Prezzo per partecipante

Recensioni (5)

Corsi in Arrivo

Categorie relative