Struttura del corso

Introduzione a Parameter-Efficient Fine-Tuning (PEFT)

  • Motivazioni e limiti della full fine-tuning
  • Panoramica di PEFT: obiettivi e vantaggi
  • Aree di applicazione nell'industria

LoRA (Low-Rank Adaptation)

  • Concetto e intuizione dietro LoRA
  • Implementazione di LoRA utilizzando Hugging Face e PyTorch
  • Esercitazione pratica: Fine-tuning di un modello con LoRA

Tuning degli Adapter

  • Come funzionano i moduli adapter
  • Integrazione con modelli basati su transformer
  • Esercitazione pratica: Applicazione del tuning degli adapter a un modello transformer

Tuning del Prefisso

  • Utilizzo di soft prompts per il fine-tuning
  • Vantaggi e limiti rispetto a LoRA e adattatori
  • Esercitazione pratica: Tuning del prefisso su una task LLM

Valutazione e Confronto dei Metodi PEFT

  • Metriche per valutare prestazioni ed efficienza
  • Compromessi nella velocità di addestramento, utilizzo della memoria e precisione
  • Esperti di benchmarking e interpretazione dei risultati

Distribuzione di Modelli Fine-Tuned

  • Salvataggio e caricamento di modelli fine-tuned
  • Considerazioni sulla distribuzione per modelli basati su PEFT
  • Integrazione in applicazioni e pipeline

Migliori Pratiche ed Estensioni

  • Combinazione di PEFT con quantizzazione e distillazione
  • Utilizzo in contesti a risorse limitate e multilingue
  • Direzioni future e aree di ricerca attive

Riepilogo e Prossimi Passaggi

Requisiti

  • Una comprensione dei fondamenti dell'apprendimento automatico
  • esperienza di lavoro con modelli linguistici a larga scala (LLMs)
  • Familiarità con Python e PyTorch

Pubblico

  • Scienziati dei dati
  • Ingegneri AI
 14 ore

Numero di Partecipanti


Prezzo per Partecipante

Corsi in Arrivo

Categorie relative