Struttura del corso
Introduzione
- Panoramica delle sfide di scalabilità del deep learning
- Panoramica di DeepSpeed e delle sue caratteristiche
- DeepSpeed rispetto ad altre librerie di deep learning distribuite
Introduttiva
- Configurazione dell'ambiente di sviluppo
- Installazione di PyTorch e DeepSpeed
- Configurazione di DeepSpeed per la formazione distribuita
Funzionalità di ottimizzazione DeepSpeed
- Pipeline di formazione DeepSpeed
- ZeRO (ottimizzazione della memoria)
- Checkpoint di attivazione
- Checkpoint del gradiente
- Parallelismo della pipeline
Ridimensionamento dei modelli con DeepSpeed
- Ridimensionamento di base con DeepSpeed
- Tecniche avanzate di ridimensionamento
- Considerazioni sulle prestazioni e best practice
- Tecniche di debug e risoluzione dei problemi
Argomenti avanzati di DeepSpeed
- Tecniche avanzate di ottimizzazione
- Utilizzo di DeepSpeed con l'allenamento di precisione misto
- DeepSpeed su hardware diversi (ad es. GPU, TPU)
- DeepSpeed con più nodi di formazione
Integrazione di DeepSpeed con PyTorch
- Integrazione di DeepSpeed con i flussi di lavoro PyTorch
- Utilizzo di DeepSpeed con PyTorch Lightning
Risoluzione dei problemi
- Debug dei problemi comuni di DeepSpeed
- Monitoraggio e registrazione
Riepilogo e passaggi successivi
- Riepilogo dei concetti e delle caratteristiche chiave
- Best practice per l'utilizzo di DeepSpeed in produzione
- Ulteriori risorse per saperne di più su DeepSpeed
Requisiti
- Conoscenza intermedia dei principi del deep learning
- Esperienza con PyTorch o framework di deep learning simili
- Familiarità con la programmazione Python
Pubblico
- Scienziati dei dati
- Ingegneri dell'apprendimento automatico
- Gli sviluppatori
Recensioni (3)
Mi è davvero piaciuta la parte finale in cui abbiamo avuto il tempo di esplorare CHAT GPT. La sala non era impostata nel modo migliore per questo - sarebbe stato utile avere alcune piccole tavole invece di una grande, così da poter formare gruppi più piccoli e fare brainstorming.
Nola - Laramie County Community College
Corso - Artificial Intelligence (AI) Overview
Traduzione automatica
Lavorare partendo dai principi fondamentali in modo concentrato, e passare all'applicazione di casi pratici nello stesso giorno
Maggie Webb - Department of Jobs, Regions, and Precincts
Corso - Artificial Neural Networks, Machine Learning, Deep Thinking
Traduzione automatica
Sembrava che stessimo affrontando informazioni direttamente pertinenti a un ritmo adeguato (cioè senza materiale di riempimento)
Maggie Webb - Department of Jobs, Regions, and Precincts
Corso - Introduction to the use of neural networks
Traduzione automatica