Struttura del corso

Introduzione

  • Panoramica delle sfide di scalabilità del deep learning
  • Panoramica di DeepSpeed e delle sue caratteristiche
  • Confronto tra DeepSpeed e altre librerie di deep learning distribuite

Introduttiva

  • Impostazione dell'ambiente di sviluppo
  • Installazione di PyTorch e DeepSpeed
  • Configurazione di DeepSpeed per la formazione distribuita

Funzionalità di ottimizzazione di DeepSpeed

  • Pipeline di formazione DeepSpeed
  • ZeRO (ottimizzazione della memoria)
  • Checkpoint di attivazione
  • Checkpoint del gradiente
  • Parallelismo della pipeline

Scalare i modelli con DeepSpeed

  • Scalabilità di base con DeepSpeed
  • Tecniche avanzate di ridimensionamento
  • Considerazioni sulle prestazioni e procedure consigliate
  • Tecniche di debug e risoluzione dei problemi

Argomenti avanzati di DeepSpeed

  • Tecniche avanzate di ottimizzazione
  • Utilizzo di DeepSpeed con l'allenamento di precisione misto
  • DeepSpeed su hardware diverso (ad es. GPUs, TPU)
  • DeepSpeed con più nodi di addestramento

Integrazione di DeepSpeed con PyTorch

  • Integrazione di DeepSpeed con i flussi di lavoro PyTorch
  • Utilizzo di DeepSpeed con PyTorch Lightning

Risoluzione dei problemi

  • Debug dei problemi comuni di DeepSpeed
  • Monitoraggio e registrazione

Riepilogo e prossime tappe

  • Riepilogo dei concetti e delle caratteristiche chiave
  • Best practice per l'utilizzo di DeepSpeed in produzione
  • Ulteriori risorse per saperne di più su DeepSpeed

Requisiti

  • Conoscenza intermedia dei principi del deep learning
  • Esperienza con PyTorch o framework di deep learning simili
  • Familiarità con la programmazione Python

Pubblico

  • Scienziati dei dati
  • Ingegneri dell'apprendimento automatico
  • Gli sviluppatori
 21 ore

Numero di Partecipanti



Prezzo per Partecipante

Corsi relativi

Categorie relative