Grazie per aver inviato la tua richiesta! Uno dei nostri team membri ti contatterà a breve.
Grazie per aver inviato il tuo prenotazione! Uno dei nostri team membri ti contatterà a breve.
Struttura del corso
Preparazione dei modelli di apprendimento automatico per la distribuzione
- Pacchettizzazione dei modelli con Docker
- Esportazione dei modelli da TensorFlow e PyTorch
- Considerazioni sulla versioning e sullo storage
Erogazione dei modelli su Kubernetes
- Panoramica dei server di inferenza
- Distribuzione di TensorFlow Serving e TorchServe
- Configurazione degli endpoint dei modelli
Tecniche di ottimizzazione dell'inferenza
- Strategie di batching
- Gestione delle richieste concurrenti
- Ottimizzazione della latenza e del throughput
Autoscaling dei carichi di lavoro ML
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
Provisioning GPU e gestione delle risorse
- Configurazione dei nodi GPU
- Panoramica del NVIDIA device plugin
- Richieste e limiti delle risorse per i carichi di lavoro ML
Strategie di rollout e rilascio dei modelli
- Distribuzioni blue/green
- Pattern di rollout canary
- Test A/B per la valutazione dei modelli
Monitoraggio e osservabilità per l'ML in produzione
- Metriche per i carichi di lavoro di inferenza
- Pratiche di logging e tracing
- Dashboard e allarmi
Considerazioni sulla sicurezza e sull'affidabilità
- Sicurezza degli endpoint dei modelli
- Politiche di rete e controllo degli accessi
- Garantire l'alta disponibilità
Sintesi e prossimi passi
Requisiti
- Conoscenza dei flussi di lavoro delle applicazioni containerizzate
- Esperienza con modelli di apprendimento automatico basati su Python
- Conoscenza dei fondamenti di Kubernetes
Destinatari
- Ingegneri ML
- Ingegneri DevOps
- Team di ingegneria della piattaforma
14 ore
Recensioni (3)
About the microservices and how to maintenance kubernetes
Yufri Isnaini Rochmat Maulana - Bank Indonesia
Corso - Advanced Platform Engineering: Scaling with Microservices and Kubernetes
Come i formatori trasmettono efficacemente le conoscenze
Vu Thoai Le - Reply Polska sp. z o. o.
Corso - Certified Kubernetes Administrator (CKA) - exam preparation
Traduzione automatica
La conoscenza e gli scambi con Augustin
Laurent - L'Office national des vacances annuelles (ONVA)
Corso - Docker and Kubernetes
Traduzione automatica