Corso di formazione Ottimizzazione di modelli e grandi modelli linguistici (LLM)

Introduzione all'ottimizzazione dei modelli

• Cos'è l'ottimizzazione?
• Casi d'uso e vantaggi legati all'ottimizzazione
• Panoramica sui modelli pre-addestrati e sull'apprendimento per trasferimento

Preparazione all'ottimizzazione dei modelli

• Raccolta ed elaborazione dei dataset
• Analisi dei requisiti specifici per ogni compito
• Analisi esplorativa e pre-elaborazione dei dati

Tecniche di ottimizzazione dei modelli

• Apprendimento per trasferimento e estrazione delle caratteristiche
• Ottimizzazione dei modelli Transformer con Hugging Face
• Ottimizzazione in contesti supervisionati e non supervisionati

Ottimizzazione di grandi modelli linguistici (LLM)

• Adattamento dei LLM a compiti specifici di elaborazione del linguaggio naturale, come la classificazione testuale o la sintesi dei contenuti.
• Addestramento di modelli linguistici con dataset personalizzati.
• Controllo del comportamento dei LLM attraverso l'ingegneria dei prompt.

Ottimizzazione e valutazione delle prestazioni

• Regolazione degli iperparametri dei modelli
• Valutazione oggettiva della qualità del modello
• Gestione dei problemi di overfitting e underfitting.

Scalabilità delle attività di ottimizzazione

• Ottimizzazione su sistemi distribuiti.
• Utilizzo di soluzioni cloud per ampliare la capacità computazionale.
• Casi pratici: progetti complessi di ottimizzazione a larga scala.

Best practice e criticità nell'ottimizzazione dei modelli

• Migliori prassi per ottenere risultati positivi durante l'ottimizzazione.
• Problematiche comuni e metodi per risolverle.
• Aspetti etici legati all'utilizzo dei modelli di intelligenza artificiale.

Argomenti avanzati (opzionali)

• Ottimizzazione di modelli multimodali.
• Apprendimento zero-shot e few-shot.
• Introduzione alle tecniche LoRA (Low-Rank Adaptation).

Riassunto e prossimi passi da intraprendere