Grazie per aver inviato la tua richiesta! Uno dei nostri team membri ti contatterà a breve.
Grazie per aver inviato il tuo prenotazione! Uno dei nostri team membri ti contatterà a breve.
Durata 14 ore
Struttura del corso
Preparazione dei modelli di machine learning per la distribuzione
- Imballaggio dei modelli con Docker
- Esportazione di modelli da TensorFlow e PyTorch
- Considerazioni su versioning e storage
Servizio dei modelli su Kubernetes
- Panoramica sui server di inferenza
- Distribuzione di TensorFlow Serving e TorchServe
- Configurazione degli endpoint dei modelli
Tecniche di ottimizzazione dell'inferenza
- Strategie di batching
- Gestione delle richieste concorrenti
- Ottimizzazione di latenza e throughput
Autoscaling dei carichi di lavoro ML
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
Provisioning GPU e gestione delle risorse
- Configurazione dei nodi GPU
- Presentazione del plugin per dispositivi NVIDIA
- Richieste e limiti delle risorse per i carichi di lavoro ML
Strategie di rollout e rilascio dei modelli
- Deployment blue/green
- Pattern di rollout canary
- Test A/B per la valutazione dei modelli
Monitoraggio e osservabilità per ML in produzione
- Metriche per i carichi di lavoro di inferenza
- Pratiche di logging e tracing
- Dashboard e sistemi di alerting
Considerazioni su sicurezza e affidabilità
- Sicurezza degli endpoint dei modelli
- Politiche di rete e controllo degli accessi
- Garanzia di alta disponibilità
Sintesi e prossime fasi
Requisiti
- Conoscenza dei flussi di lavoro delle applicazioni containerizzate
- Esperienza con modelli di machine learning basati su Python
- Familiarità con i fondamenti di Kubernetes
Target
- Ingegneri ML
- Ingegneri DevOps
- Team di ingegneria delle piattaforme
Recensioni (1)
Apprezzo la sezione dedicata a Kubernetes del corso, poiché avevo avuto a che fare con i pod e le porte K8s e mi è stato utile acquisire una migliore comprensione. Grazie!
Laura Miron - Betfair
Corso - Docker and Kubernetes
Traduzione automatica