Grazie per aver inviato la tua richiesta! Uno dei nostri team membri ti contatterà a breve.        
        
        
            Grazie per aver inviato il tuo prenotazione! Uno dei nostri team membri ti contatterà a breve.        
    Struttura del corso
Introduzione
- Panoramica delle sfide di scalabilità del deep learning
- Panoramica di DeepSpeed e delle sue caratteristiche
- DeepSpeed rispetto ad altre librerie di deep learning distribuite
Introduttiva
- Configurazione dell'ambiente di sviluppo
- Installazione di PyTorch e DeepSpeed
- Configurazione di DeepSpeed per la formazione distribuita
Funzionalità di ottimizzazione DeepSpeed
- Pipeline di formazione DeepSpeed
- ZeRO (ottimizzazione della memoria)
- Checkpoint di attivazione
- Checkpoint del gradiente
- Parallelismo della pipeline
Ridimensionamento dei modelli con DeepSpeed
- Ridimensionamento di base con DeepSpeed
- Tecniche avanzate di ridimensionamento
- Considerazioni sulle prestazioni e best practice
- Tecniche di debug e risoluzione dei problemi
Argomenti avanzati di DeepSpeed
- Tecniche avanzate di ottimizzazione
- Utilizzo di DeepSpeed con l'allenamento di precisione misto
- DeepSpeed su hardware diversi (ad es. GPU, TPU)
- DeepSpeed con più nodi di formazione
Integrazione di DeepSpeed con PyTorch
- Integrazione di DeepSpeed con i flussi di lavoro PyTorch
- Utilizzo di DeepSpeed con PyTorch Lightning
Risoluzione dei problemi
- Debug dei problemi comuni di DeepSpeed
- Monitoraggio e registrazione
Riepilogo e passaggi successivi
- Riepilogo dei concetti e delle caratteristiche chiave
- Best practice per l'utilizzo di DeepSpeed in produzione
- Ulteriori risorse per saperne di più su DeepSpeed
Requisiti
- Conoscenza intermedia dei principi del deep learning
- Esperienza con PyTorch o framework di deep learning simili
- Familiarità con la programmazione Python
Pubblico
- Scienziati dei dati
- Ingegneri dell'apprendimento automatico
- Gli sviluppatori
             21 Ore
        
        
Recensioni (2)
Organization, adhering to the proposed agenda, the trainer's vast knowledge in this subject
Ali Kattan - TWPI
Corso - Natural Language Processing with TensorFlow
Very updated approach or CPI (tensor flow, era, learn) to do machine learning.
