Contattataci

Struttura del corso

Introduzione al Fine-Tuning Parametricamente Efficiente (PEFT)

  • Motivazione e limiti del fine-tuning completo
  • Introduzione al PEFT: obiettivi e vantaggi
  • Applicazioni e casi d'uso nel settore

LoRA (Low-Rank Adaptation)

  • Concetto e intuizione dietro LoRA
  • Implementazione di LoRA utilizzando Hugging Face e PyTorch
  • Pratica: ottimizzazione di un modello con LoRA

Adapter Tuning

  • Funzionamento dei moduli adapter
  • Integrazione con modelli basati su transformer
  • Pratica: applicazione dell'Adapter Tuning a un modello transformer

Prefix Tuning

  • Utilizzo di prompt soffici per il fine-tuning
  • Vantaggi e limiti rispetto a LoRA e agli adapter
  • Pratica: Prefix Tuning su un compito LLM

Valutazione e confronto dei metodi PEFT

  • Metriche per valutare le prestazioni e l'efficienza
  • Compromessi tra velocità di addestramento, utilizzo della memoria e accuratezza
  • Esempi di benchmark e interpretazione dei risultati

Deploy di modelli ottimizzati

  • Salvataggio e caricamento dei modelli ottimizzati
  • Considerazioni sul deploy dei modelli basati su PEFT
  • Integrazione nelle applicazioni e nelle pipeline

Best Practices ed estensioni

  • Combinazione di PEFT con quantizzazione e distillazione
  • Utilizzo in contesti a risorse limitate e multilingue
  • Direzioni future e aree di ricerca attiva

Riepilogo e prossimi passi

Requisiti

  • Conoscenza dei fondamenti del machine learning
  • Esperienza nella lavorazione di grandi modelli linguistici (LLM)
  • Confidenza con Python e PyTorch

Destinatari

  • Data scientist
  • Ingegneri AI
 14 ore

Numero di Partecipanti


Prezzo per partecipante

Corsi in Arrivo

Categorie relative