Contattataci

Struttura del corso

Preparazione dei modelli di apprendimento automatico per la distribuzione

  • Pacchettizzazione dei modelli con Docker
  • Esportazione dei modelli da TensorFlow e PyTorch
  • Considerazioni sulla versioning e sullo storage

Erogazione dei modelli su Kubernetes

  • Panoramica dei server di inferenza
  • Distribuzione di TensorFlow Serving e TorchServe
  • Configurazione degli endpoint dei modelli

Tecniche di ottimizzazione dell'inferenza

  • Strategie di batching
  • Gestione delle richieste concurrenti
  • Ottimizzazione della latenza e del throughput

Autoscaling dei carichi di lavoro ML

  • Horizontal Pod Autoscaler (HPA)
  • Vertical Pod Autoscaler (VPA)
  • Kubernetes Event-Driven Autoscaling (KEDA)

Provisioning GPU e gestione delle risorse

  • Configurazione dei nodi GPU
  • Panoramica del NVIDIA device plugin
  • Richieste e limiti delle risorse per i carichi di lavoro ML

Strategie di rollout e rilascio dei modelli

  • Distribuzioni blue/green
  • Pattern di rollout canary
  • Test A/B per la valutazione dei modelli

Monitoraggio e osservabilità per l'ML in produzione

  • Metriche per i carichi di lavoro di inferenza
  • Pratiche di logging e tracing
  • Dashboard e allarmi

Considerazioni sulla sicurezza e sull'affidabilità

  • Sicurezza degli endpoint dei modelli
  • Politiche di rete e controllo degli accessi
  • Garantire l'alta disponibilità

Sintesi e prossimi passi

Requisiti

  • Conoscenza dei flussi di lavoro delle applicazioni containerizzate
  • Esperienza con modelli di apprendimento automatico basati su Python
  • Conoscenza dei fondamenti di Kubernetes

Destinatari

  • Ingegneri ML
  • Ingegneri DevOps
  • Team di ingegneria della piattaforma
 14 ore

Numero di Partecipanti


Prezzo per partecipante

Recensioni (4)

Corsi in Arrivo

Categorie relative