Contattataci
 Durata 14 ore

Struttura del corso

Preparazione dei modelli di machine learning per la distribuzione

  • Imballaggio dei modelli con Docker
  • Esportazione di modelli da TensorFlow e PyTorch
  • Considerazioni su versioning e storage

Servizio dei modelli su Kubernetes

  • Panoramica sui server di inferenza
  • Distribuzione di TensorFlow Serving e TorchServe
  • Configurazione degli endpoint dei modelli

Tecniche di ottimizzazione dell'inferenza

  • Strategie di batching
  • Gestione delle richieste concorrenti
  • Ottimizzazione di latenza e throughput

Autoscaling dei carichi di lavoro ML

  • Horizontal Pod Autoscaler (HPA)
  • Vertical Pod Autoscaler (VPA)
  • Kubernetes Event-Driven Autoscaling (KEDA)

Provisioning GPU e gestione delle risorse

  • Configurazione dei nodi GPU
  • Presentazione del plugin per dispositivi NVIDIA
  • Richieste e limiti delle risorse per i carichi di lavoro ML

Strategie di rollout e rilascio dei modelli

  • Deployment blue/green
  • Pattern di rollout canary
  • Test A/B per la valutazione dei modelli

Monitoraggio e osservabilità per ML in produzione

  • Metriche per i carichi di lavoro di inferenza
  • Pratiche di logging e tracing
  • Dashboard e sistemi di alerting

Considerazioni su sicurezza e affidabilità

  • Sicurezza degli endpoint dei modelli
  • Politiche di rete e controllo degli accessi
  • Garanzia di alta disponibilità

Sintesi e prossime fasi

Requisiti

  • Conoscenza dei flussi di lavoro delle applicazioni containerizzate
  • Esperienza con modelli di machine learning basati su Python
  • Familiarità con i fondamenti di Kubernetes

Target

  • Ingegneri ML
  • Ingegneri DevOps
  • Team di ingegneria delle piattaforme

Numero di Partecipanti


Prezzo per partecipante

Recensioni (4)

Corsi in Arrivo

Categorie relative