Struttura del corso

Introduzione all'ottimizzazione di modelli di grandi dimensioni

  • Panoramica delle architetture di modelli di grandi dimensioni
  • Sfide nella messa a punto di modelli di grandi dimensioni
  • L'importanza di un'ottimizzazione efficiente in termini di costi

Tecniche di formazione distribuite

  • Introduzione ai dati e al parallelismo dei modelli
  • Framework per la formazione distribuita: PyTorch e TensorFlow
  • Scalabilità su più GPU e nodi

Quantizzazione e potatura del modello

  • Comprendere le tecniche di quantizzazione
  • Applicazione dell'eliminazione per ridurre le dimensioni del modello
  • Compromessi tra precisione ed efficienza

Ottimizzazione hardware

  • Scegliere l'hardware giusto per le attività di messa a punto
  • Ottimizzazione GPU e utilizzo del TPU
  • Utilizzo di acceleratori specializzati per modelli di grandi dimensioni

Efficiente Data Management

  • Strategie per la gestione di set di dati di grandi dimensioni
  • Pre-elaborazione e batch per le prestazioni
  • Tecniche di aumento dei dati

Distribuzione di modelli ottimizzati

  • Tecniche per la distribuzione di modelli ottimizzati
  • Monitoraggio e mantenimento delle prestazioni del modello
  • Esempi reali di distribuzione ottimizzata del modello

Tecniche avanzate di ottimizzazione

  • Esplorare l'adattamento di basso rango (LoRA)
  • Utilizzo di adattatori per la messa a punto modulare
  • Tendenze future nell'ottimizzazione dei modelli

Riepilogo e passaggi successivi

Requisiti

  • Esperienza con framework di deep learning come PyTorch o TensorFlow
  • Familiarità con i modelli linguistici di grandi dimensioni e le loro applicazioni
  • Comprensione dei concetti di calcolo distribuito

Pubblico

  • Ingegneri dell'apprendimento automatico
  • Specialisti dell'intelligenza artificiale nel cloud
 21 ore

Numero di Partecipanti


Prezzo per Partecipante

Corsi in Arrivo

Categorie relative