Struttura del corso
Introduzione all'apprendimento per rafforzamento e all'AI agentica
- Decision-making in condizioni di incertezza e pianificazione sequenziale
- I componenti essenziali dell'apprendimento per rafforzamento: agenti, ambienti, stati e ricompense
- Il ruolo cruciale del RL nei sistemi di AI adattivi e agentici
Processi decisionali markoviani (Markov Decision Processes, MDP)
- Definizione formale e proprietà principali dei MDP
- Funzioni di valore, equazioni di Bellman e tecniche di programmazione dinamica
- Valutazione, miglioramento e iterazione delle politiche decisionali
Apprendimento per rafforzamento senza modello
- Metodi di Monte Carlo e Temporal-Difference (TD) learning
- Algoritmi Q-learning e SARSA
- Esercitazione pratica: implementazione in Python dei metodi tabulari dell'apprendimento per rafforzamento
Apprendimento profondo per rafforzamento
- Integrazione di reti neurali con tecniche RL per l'approssimazione funzionale
- Reti neurali Q profonde (Deep Q-Networks, DQN) e meccanismo di riutilizzo dell'esperienza (experience replay)
- Architetture Actor-Critic e metodi basati sui gradienti di politica
- Esercitazione pratica: addestramento di un agente con DQN e PPO mediante Stable-Baselines3
Strategie di esplorazione e modellazione delle ricompense
- Bilanciamento tra esplorazione e sfruttamento (metodi ε-greedy, UCB, tecniche basate sull’entropia)
- Progettazione di funzioni di ricompensa e prevenzione di comportamenti indesiderati
- Tecniche di modellazione della ricompensa e apprendimento strutturato tramite curriculum learning
Argomenti avanzati nell'apprendimento per rafforzamento e nella teoria decisionale
- Apprendimento per rafforzamento multi-agente e strategie di cooperazione tra agenti
- Apprendimento gerarchico: il framework delle “opzioni” decisionali
- Apprendimento per rafforzamento offline e tecniche di apprendimento per imitazione finalizzate a un impiego più sicuro
Ambienti di simulazione ed evaluazione delle prestazioni degli agenti
- Utilizzo di OpenAI Gym e della creazione di ambienti personalizzati
- Differenze tra spazi di azione continui e discreti
- Metriche utili per valutare l’efficienza, la stabilità operativa e l'efficiente impiego dei campioni nell'apprendimento degli agenti
Integrazione dell'apprendimento per rafforzamento nei sistemi di AI agentica
- Unire il ragionamento logico e le capacità apprese tramite RL nelle architetture ibride degli agenti
- Integrazione dell'apprendimento per rafforzamento negli agenti dotati di abilità operative o “tool-using”
- Considerazioni operative legate alla scalabilità e all’implementazione pratica dei modelli
Progetto finale
- Progettare ed implementare un agente basato sull'apprendimento per rafforzamento in grado di affrontare una data simulazione prestabilita
- Analizzare le prestazioni durante l’addestramento e ottimizzare i parametri decisionali fondamentali
- Dimostrare come l’agente dimostri comportamenti adattivi in un contesto tipico dell’AI agentica
Conclusione e indicazioni per il proseguimento del percorso formativo
Requisiti
- Solida padronanza della programmazione in Python
- Conoscenze approfondite dei concetti fondamentali di machine learning e deep learning
- Familiarità con l’algebra lineare, la teoria delle probabilità e i metodi base di ottimizzazione
Destinatari
- Ingegneri specializzati in apprendimento per rafforzamento e ricercatori attivi nell’ambito dell’AI applicata
- Sviluppatori operanti nel campo della robotica e dell’automazione
- Team ingegneristici impegnati nello sviluppo di sistemi di AI agentici e adattivi
Recensioni (3)
Il istruttore è paziente e molto disponibile. Conosce bene l'argomento.
CLIFFORD TABARES - Universal Leaf Philippines, Inc.
Corso - Agentic AI for Business Automation: Use Cases & Integration
Traduzione automatica
Buona miscela di conoscenza e pratica
Ion Mironescu - Facultatea S.A.I.A.P.M.
Corso - Agentic AI for Enterprise Applications
Traduzione automatica
Il mix di teoria e pratica e di prospettive a livello alto e basso
Ion Mironescu - Facultatea S.A.I.A.P.M.
Corso - Autonomous Decision-Making with Agentic AI
Traduzione automatica
