Corso di formazione Modelli linguistici di grandi dimensioni (LLM) e Apprendimento per rinforzo (RL)

Introduzione ai Modelli linguistici di grandi dimensioni (LLM)

• Panoramica generale sugli LLM
• Definizione e importanza nel contesto attuale
• Applicazioni degli LLM nell’intelligenza artificiale odierna

Architettura dei trasformatori

• Cos’è un modello a trasformatore e come funziona?
• I componenti principali dell’architettura
• Codifica di embedding e posizionalità
• Meccanismo di attenzione multi-head
• Rete neurale feed-forward
• Normalizzazione e connessioni residue<\/li>

Modelli a trasformatore nel dettaglio

• Il meccanismo di auto-attenzione
• Architettura encoder-decoder
• Embedding posizionali
• BERT (Bidirectional Encoder Representations from Transformers)
• GPT (Generative Pretrained Transformer)

Ottimizzazione delle prestazioni e possibili criticità

• Lunghezza del contesto gestibile
• Mamba e modelli a spazio di stato
• Flash Attention
• Trasformatori a sparse encoding<\/li>
• Vision transformers
• Importanza della quantizzazione dei dati

Perfezionamento ulteriore dei modelli a trasformatore

• Generazione di testo mediante recupero contestuale
• Sistemi basati su miscele di modelli diversi
• L’approccio chiamato “Tree of Thoughts”

Ottimizzazione tramite fine-tuning

• Il principio della Low-Rank Adaptation
• Implementazione pratica del fine-tuning con QLora

Leggi di scala e ottimizzazione negli LLM

• Perché le leggi di scala sono fondamentali per gli LLM
• Rilievo delle dimensioni del modello e della quantità dei dati d’addestramento
• Ottimizzazione computazionale
• Efficienza nei parametri del modello

Strategie di ottimizzazione negli LLM

• Relazioni tra dimensioni del modello, volume dei dati d’addestramento, risorse computazionali e requisiti inferenziali
• Ottimizzare efficienza e prestazioni degli LLM<\/li>
• Best practice e strumenti utili per l’addestramento e il fine-tuning dei modelli

Addestramento e adattamento pratico degli LLM

• Il processo di addestramento da zero: passaggi principali e sfide da affrontare
• Acquisizione e gestione dei dati necessari
• Requisiti relativi a CPU, memoria e grandezza del dataset d’addestramento
• Difficoltà tipiche nell’ottimizzazione degli LLM
• Situazione attuale dei modelli LLM open-source

Fondamenti dell’Apprendimento per rinforzo (RL)

• Introduzione all’apprendimento per rinforzo
• Il processo di apprendimento tramite premi positivi
• Definizioni e concetti base fondamentali
• Il Processo decisionale di Markov (MDP)
• Programmazione dinamica nell’ambito dell’RL
• Metodi Monte Carlo per l’apprendimento<
• Apprendimento mediante differenze temporali

Apprendimento profondo per rinforzo

• Reti neurali DQN (Deep Q-Networks)
• Metodologie PPO (Proximal Policy Optimization)
• Elementi chiave dell’apprendimento per rinforzo in generale

Integrazione tra LLM e Apprendimento per rinforzo

• Come si combinano i modelli linguistici di grandi dimensioni con le tecniche di RL<
• Ruolo del processo di apprendimento per rinforzo negli LLM<
• Apprendimento per rinforzo basato sul feedback umano (RLHF)
• Approcci alternativi all’utilizzo dell’RLHF

Casi d’uso e applicazioni concrete

• Esempi reali di impiego degli LLM con tecniche RL<
• Racconti di successi ottenuti, nonché criticità incontrate nella pratica

Argomenti avanzati nell’ambito dell’RL e dei LLM

• Tecniche d’avanguardia in sviluppo<
• Metodologie di ottimizzazione avanzata<
• Ricerche scientifiche innovative e tendenze future<

Sintesi finale e prospettive future per i partecipanti