Struttura del corso
Preparazione dei Modelli di Machine Learning per la Distribuzione
- Impacchettamento dei modelli con Docker
- Esportazione dei modelli da TensorFlow e PyTorch
- Considerazioni sulla versione e lo storage
Servizio di Modelli su Kubernetes
- Panoramica dei server di inferenza
- Distribuzione di TensorFlow Serving e TorchServe
- Configurazione degli endpoint del modello
Tecniche di Ottimizzazione dell'Inferenza
- Strategie di batching
- Gestione delle richieste concorrenti
- Tuning della latenza e del throughput
Autoscaling di Carichi di Lavoro ML
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
Provisioning e Gestione delle Risorse GPU
- Configurazione dei nodi GPU
- Panoramica del plugin di dispositivo NVIDIA
- Richieste e limiti delle risorse per i carichi di lavoro ML
Strategie di Rollout e Rilascio dei Modelli
- Deployments blu/verde
- Pattern di rollout canary
- A/B testing per l'evaluation dei modelli
Monitoraggio e Osservabilità del ML in Produzione
- Metriche per i carichi di lavoro di inferenza
- Pratiche di logging e tracing
- Dashboards e alerting
Considerazioni sulla Sicurezza e Affidabilità
- Sicurezza degli endpoint dei modelli
- Policy di rete e controllo di accesso
- Garanzia della disponibilità elevata
Riepilogo e Prossimi Passi
Requisiti
- Comprensione dei flussi di lavoro delle applicazioni contenitorizzate
- Esperienza con modelli di machine learning basati su Python
- Familiarità con i concetti fondamentali di Kubernetes
Audience
- Ingegneri ML
- Ingegneri DevOps
- Team di ingegneria della piattaforma
Recensioni (5)
Interattività, senza leggere slide tutto il giorno
Emilien Bavay - IRIS SA
Corso - Kubernetes Advanced
Traduzione automatica
era paziente e capiva quando cadevamo indietro
Albertina - REGNOLOGY ROMANIA S.R.L.
Corso - Deploying Kubernetes Applications with Helm
Traduzione automatica
Il corso di formazione era più pratico
Siphokazi Biyana - Vodacom SA
Corso - Kubernetes on AWS
Traduzione automatica
Imparare su Kubernetes.
Felix Bautista - SGS GULF LIMITED ROHQ
Corso - Kubernetes on Azure (AKS)
Traduzione automatica
Ha fornito una solida base per Docker e Kubernetes.
Stephen Dowdeswell - Global Knowledge Networks UK
Corso - Docker (introducing Kubernetes)
Traduzione automatica