Struttura del corso

Introduzione al Parameter-Efficient Fine-Tuning (PEFT)

  • Motivazioni e limiti del fine-tuning completo
  • Panoramica sul PEFT: obiettivi e benefici
  • Applicazioni e casi d'uso nell'industria

LoRA (Low-Rank Adaptation)

  • Concetto e intuizione dietro LoRA
  • Implementazione di LoRA utilizzando Hugging Face e PyTorch
  • Pratica: fine-tuning di un modello con LoRA

Adapter Tuning

  • Come funzionano i moduli adapter
  • Integrazione con modelli basati su transformer
  • Pratica: applicazione dell'adapter tuning a un modello transformer

Prefix Tuning

  • Utilizzo di soft prompts per il fine-tuning
  • Vantaggi e limiti rispetto a LoRA e adapter
  • Pratica: prefix tuning su un task LLM

Valutazione e confronto dei metodi PEFT

  • Metriche per valutare prestazioni ed efficienza
  • Compromessi in velocità di training, utilizzo della memoria e precisione
  • Esercizi di benchmarking e interpretazione dei risultati

Distribuzione di modelli fine-tuned

  • Salvataggio e caricamento di modelli fine-tuned
  • Considerazioni per la distribuzione di modelli basati su PEFT
  • Integrazione in applicazioni e pipeline

Best practices e estensioni

  • Combinazione del PEFT con quantizzazione e distillazione
  • Utilizzo in contesti a risorse limitate e multilingue
  • Direzioni future e aree di ricerca attive

Riassunto e passi successivi

Requisiti

  • Una comprensione dei fondamenti dell'apprendimento automatico
  • Esperienza nel lavoro con modelli linguistici di grandi dimensioni (LLMs)
  • Familiarità con Python e PyTorch

Pubblico

  • Data scientists
  • Ingegneri AI
 14 Ore

Numero di Partecipanti


Prezzo per Partecipante

Corsi in Arrivo

Categorie relative