Contattataci

Struttura del corso

Introduzione alle tecniche di Fine-Tuning a Efficienza Parametrica (PEFT)

  • Motivazioni e limiti del fine-tuning tradizionale
  • Nozioni generali sui metodi PEFT: obiettivi e benefici principali
  • Applicazioni pratiche nel settore industriale

LoRA (Low-Rank Adaptation)

  • Principi fondamentali ed intuizione alla base di LoRA
  • Implementazione di LoRA con l’ausilio di Hugging Face e PyTorch
  • Esercitazione pratica: fine-tuning di un modello tramite LoRA

Adapter Tuning

  • Funzionamento dei moduli adattatori nel contesto dei modelli trasformatori
  • Integrazione di tali moduli all’interno di architetture neurali complesse
  • Esercitazione pratica: applicazione del metodo Adapter Tuning a un modello trasformatore

Prefix Tuning<\/p>

  • Utilizzo di prompt “soft” come strumenti per il fine-tuning
  • Punti di forza e limitazioni rispetto a LoRA ed Adapter Tuning
  • Esercitazione pratica: applicazione del Prefix Tuning su un compito specifico dei LLM

Valutazione comparativa tra i diversi metodi PEFT<\/p>

  • Indici utilizzati per valutare efficienza e prestazioni dei modelli
  • Analisi delle differenze riguardo velocità di addestramento, consumo di memoria e accuratezza dei risultati
  • Conduzione di esperimenti comparativi ed interpretazione dei dati ottenuti

Distribuzione dei modelli ottimizzati<\/p>

  • Salvataggio e recupero dei modelli dopo il fine-tuning
  • Aspetti critici nella distribuzione di modelli basati su PEFT
  • Integrazione nei sistemi applicativi ed in pipeline industriali<\/li>

Best practice e sviluppi futuri

  • Combinare le tecniche PEFT con processi di quantizzazione e distillazione dei modelli
  • Abbattimento delle barriere hardware nei contesti a risorse limitate o multilingui
  • Tendenze emergenti nella ricerca scientifica nel settore del fine-tuning ottimizzato

Sintesi conclusiva e prospettive future

Requisiti

  • Conoscenza dei principi fondamentali del machine learning
  • Esperienza nell’utilizzo di modelli linguistici di grandi dimensioni (LLM)
  • Familiarità con Python e PyTorch

Destinatari

  • Data scientist
  • Ingegneri AI
 14 ore

Numero di Partecipanti


Prezzo per partecipante

Corsi in Arrivo

Categorie relative