Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Struttura del corso
Introduzione
- Panoramica delle sfide di scalabilità del deep learning
- Panoramica di DeepSpeed e delle sue caratteristiche
- DeepSpeed rispetto ad altre librerie di deep learning distribuite
Introduttiva
- Configurazione dell'ambiente di sviluppo
- Installazione di PyTorch e DeepSpeed
- Configurazione di DeepSpeed per la formazione distribuita
Funzionalità di ottimizzazione DeepSpeed
- Pipeline di formazione DeepSpeed
- ZeRO (ottimizzazione della memoria)
- Checkpoint di attivazione
- Checkpoint del gradiente
- Parallelismo della pipeline
Ridimensionamento dei modelli con DeepSpeed
- Ridimensionamento di base con DeepSpeed
- Tecniche avanzate di ridimensionamento
- Considerazioni sulle prestazioni e best practice
- Tecniche di debug e risoluzione dei problemi
Argomenti avanzati di DeepSpeed
- Tecniche avanzate di ottimizzazione
- Utilizzo di DeepSpeed con l'allenamento di precisione misto
- DeepSpeed su hardware diversi (ad es. GPU, TPU)
- DeepSpeed con più nodi di formazione
Integrazione di DeepSpeed con PyTorch
- Integrazione di DeepSpeed con i flussi di lavoro PyTorch
- Utilizzo di DeepSpeed con PyTorch Lightning
Risoluzione dei problemi
- Debug dei problemi comuni di DeepSpeed
- Monitoraggio e registrazione
Riepilogo e passaggi successivi
- Riepilogo dei concetti e delle caratteristiche chiave
- Best practice per l'utilizzo di DeepSpeed in produzione
- Ulteriori risorse per saperne di più su DeepSpeed
Requisiti
- Conoscenza intermedia dei principi del deep learning
- Esperienza con PyTorch o framework di deep learning simili
- Familiarità con la programmazione Python
Pubblico
- Scienziati dei dati
- Ingegneri dell'apprendimento automatico
- Gli sviluppatori
21 ore
Recensioni (2)
Organization, adhering to the proposed agenda, the trainer's vast knowledge in this subject
Ali Kattan - TWPI
Corso - Natural Language Processing with TensorFlow
Very updated approach or CPI (tensor flow, era, learn) to do machine learning.