Struttura del corso
Introduzione alla distribuzione in produzione
- Principali ostacoli nella distribuzione dei modelli personalizzati
- Differenze tra ambiente di sviluppo e quello produttivo
- Strumenti e piattaforme utili alla distribuzione dei modelli
Preparazione dei modelli per la produzione
- Esportazione dei modelli in formati standard (ONNX, TensorFlow SavedModel, ecc.)
- Ottimizzazione delle prestazioni riguardo a latenza e volume di richieste
- Test sui casi limite nonché con dati reali raccolti dall’ambiente operativo
Containerizzazione per la distribuzione dei modelli
- Introduzione a Docker
- Creazione di immagini Docker destinate ai modelli ML
- Best practice in materia di sicurezza e efficienza dei container
Escalabilità delle distribuzioni con Kubernetes
- Nozioni introduttive su Kubernetes nell’ambito dell’elaborazione AI
- Configurazione dei cluster Kubernetes per ospitare i modelli
- Gestione del bilanciamento del carico e dello scaling orizzontale
Monitoraggio e manutenzione dei modelli
- Implementazione di sistemi di monitoraggio basati su Prometheus e Grafana
- Registrazione automatizzata per il tracciamento degli errori e delle performance
- Pipeline di retraining per contrastare lo scostamento dei modelli rispetto alle nuove condizioni operative
Sicurezza nella fase di produzione
- Misure di protezione delle API destinate all’inferenza dei modelli
- Meccanismi di autenticazione e autorizzazione degli accessi
- Gestione delle problematiche legate alla privacy dei dati
Casi pratici ed esercitazioni guidate
- Distribuzione di un modello per l’analisi del sentiment
- Scalabilità offerta da un servizio di traduzione automatica
- Implementazione della sorveglianza su modelli impiegati nella classificazione delle immagini
Riepilogo e prospettive future
Requisiti
- Buona conoscenza dei flussi di lavoro legati all’apprendimento automatico
- Esperienza nella personalizzazione di modelli ML
- Conoscenze di base sui principi DevOps o MLOps
Destinatari del corso
- Ingegneri DevOps
- Professionisti MLOps
- Specialisti nella distribuzione di intelligenza artificiale
Recensioni (2)
Craig era estremamente coinvolto nella formazione, sempre assicurandosi che prestassimo attenzione, adattando gli esempi alle nostre attività quotidiane e fornendo sempre una risposta quando sollecitato, anche se l'informazione non era inclusa nella presentazione.
Ecaterina Ioana Nicoale - BOOKING HOLDINGS ROMANIA SRL
Corso - DevOps Foundation®
Traduzione automatica
Alto livello di impegno e conoscenza del formatore
Jacek - Softsystem
Corso - DevOps Engineering Foundation (DOEF)®
Traduzione automatica
