Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Struttura del corso
Introduzione
- Panoramica delle sfide di scalabilità del deep learning
- Panoramica di DeepSpeed e delle sue caratteristiche
- Confronto tra DeepSpeed e altre librerie di deep learning distribuite
Introduttiva
- Impostazione dell'ambiente di sviluppo
- Installazione di PyTorch e DeepSpeed
- Configurazione di DeepSpeed per la formazione distribuita
Funzionalità di ottimizzazione di DeepSpeed
- Pipeline di formazione DeepSpeed
- ZeRO (ottimizzazione della memoria)
- Checkpoint di attivazione
- Checkpoint del gradiente
- Parallelismo della pipeline
Scalare i modelli con DeepSpeed
- Scalabilità di base con DeepSpeed
- Tecniche avanzate di ridimensionamento
- Considerazioni sulle prestazioni e procedure consigliate
- Tecniche di debug e risoluzione dei problemi
Argomenti avanzati di DeepSpeed
- Tecniche avanzate di ottimizzazione
- Utilizzo di DeepSpeed con l'allenamento di precisione misto
- DeepSpeed su hardware diverso (ad es. GPUs, TPU)
- DeepSpeed con più nodi di addestramento
Integrazione di DeepSpeed con PyTorch
- Integrazione di DeepSpeed con i flussi di lavoro PyTorch
- Utilizzo di DeepSpeed con PyTorch Lightning
Risoluzione dei problemi
- Debug dei problemi comuni di DeepSpeed
- Monitoraggio e registrazione
Riepilogo e prossime tappe
- Riepilogo dei concetti e delle caratteristiche chiave
- Best practice per l'utilizzo di DeepSpeed in produzione
- Ulteriori risorse per saperne di più su DeepSpeed
Requisiti
- Conoscenza intermedia dei principi del deep learning
- Esperienza con PyTorch o framework di deep learning simili
- Familiarità con la programmazione Python
Pubblico
- Scienziati dei dati
- Ingegneri dell'apprendimento automatico
- Gli sviluppatori
21 ore