Struttura del corso
Preparazione dei modelli di machine learning per la distribuzione
- Pacchettizzazione dei modelli tramite Docker
- Esportazione dei modelli da TensorFlow e PyTorch
- Considerazioni sulla gestione delle versioni e sull’archiviazione dei dati
Distribuzione dei modelli su Kubernetes
- Introduzione ai server di inferenza
- Configurazione di TensorFlow Serving e TorchServe
- Impostazione degli endpoint per i modelli<\/li>
Tecniche di ottimizzazione dell’inferenza
- Strategie di raggruppamento delle richieste (batching)
- Gestione simultanea di più richieste
- Ottimizzazione della latenza e del throughput
Scalabilità automatica dei carichi di lavoro basati su machine learning
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
Fornitura delle risorse GPU e gestione delle risorse informatiche
- Configurazione dei nodi dotati di GPU
- Nozioni di base sul plugin per dispositivi NVIDIA<\/li>
- Definizione delle richieste e dei limiti di risorsa per i modelli ML<\/li>
Strategie di distribuzione e rilascio dei modelli
- Implementazioni tipo Blue/Green
- Schemi di distribuzione progressiva (canary)
- Utilizzo dei test A/B per la valutazione dei modelli<\/li>
Monitoraggio e tracciabilità dei modelli in produzione
- Misure di prestazioni specifiche per i carichi di lavoro di inferenza
- Pratiche di registrazione dei log e tracciamento delle operazioni
- Creazione di dashboard e sistemi di allerta<\/li>
Aspetti relativi alla sicurezza e alla affidabilità
- Protezione degli endpoint dei modelli
- Policy di rete e controllo degli accessi
- Misure per garantire l’alta disponibilità del sistema<\/li>
Riepilogo e prossimi passi
Requisiti
- Conoscenza dei flussi di lavoro legati alle applicazioni in contenitori
- Esperienza nello sviluppo di modelli di machine learning in Python
- Conoscenza base dei principi fondamentali di Kubernetes
Destinatari
- Ingegneri specializzati in machine learning
- Ingegneri DevOps
- Team di ingegneria delle piattaforme
Recensioni (4)
comprensione di base dei contenitori/Kubernetes e del loro funzionamento funzionalità della piattaforma OpenShift
Eric Scholze - NOW IT GmbH
Corso - Introduction to Containers, Kubernetes & OpenShift
Traduzione automatica
About the microservices and how to maintenance kubernetes
Yufri Isnaini Rochmat Maulana - Bank Indonesia
Corso - Advanced Platform Engineering: Scaling with Microservices and Kubernetes
Come i formatori trasmettono efficacemente le conoscenze
Vu Thoai Le - Reply Polska sp. z o. o.
Corso - Certified Kubernetes Administrator (CKA) - exam preparation
Traduzione automatica
La conoscenza e gli scambi con Augustin
Laurent - L'Office national des vacances annuelles (ONVA)
Corso - Docker and Kubernetes
Traduzione automatica