Struttura del corso
Introduzione all'Apprendimento per Rinforzo e AI Agente
- Decisione sotto incertezza e pianificazione sequenziale
- Componenti chiave dell'RL: agenti, ambienti, stati e ricompense
- Ruolo dell'RL nei sistemi di IA adattiva e agente
Processi Decisionali Markoviani (MDPs)
- Definizione formale e proprietà dei MDPs
- Funzioni di valore, equazioni di Bellman e programmazione dinamica
- Valutazione della politica, miglioramento e iterazione
Apprendimento per Rinforzo Senza Modello
- Apprendimento Monte Carlo e Temporal-Difference (TD)
- Q-learning e SARSA
- Mani al codice: implementazione di metodi RL tabulari in Python
Apprendimento per Rinforzo Profondo
- Combinazione di reti neurali con RL per l'approssimazione delle funzioni
- Deep Q-Networks (DQN) e replay dell'esperienza
- Architetture Actor-Critic e gradienti di politica
- Mani al codice: addestramento di un agente utilizzando DQN e PPO con Stable-Baselines3
Strategie di Esplorazione e Modellazione delle Ricompense
- Bilanciamento tra esplorazione e sfruttamento (ε-greedy, UCB, metodi di entropia)
- Progettazione delle funzioni di ricompensa ed evitare comportamenti indesiderati
- Modellazione delle ricompense e apprendimento curricolare
Argomenti Avanzati in RL e Decisione
- Apprendimento per rinforzo multi-agente e strategie cooperative
- Apprendimento per rinforzo gerarchico e framework delle opzioni
- RL offline e apprendimento per imitazione per una distribuzione più sicura
Ambienti di Simulazione e Valutazione
- Utilizzo di OpenAI Gym e ambienti personalizzati
- Spazi d'azione continui vs. discreti
- Metriche per le prestazioni, la stabilità e l'efficienza campionaria dell'agente
Integrazione di RL nei Sistemi AI Agente
- Combinazione di ragionamento e RL in architetture ibride degli agenti
- Integrazione dell'apprendimento per rinforzo con agenti che usano strumenti
- Considerazioni operative per la scalabilità e la distribuzione
Progetto di Conclusione del Corso
- Progettazione e implementazione di un agente di apprendimento per rinforzo per un compito simulato
- Analisi delle prestazioni dell'addestramento e ottimizzazione dei iperparametri
- Dimostrazione di comportamenti adattivi e decisione in un contesto agente
Riepilogo e Passi Successivi
Requisiti
- Solida competenza in programmazione Python
- Buona comprensione dei concetti di apprendimento automatico e deep learning
- Familiarità con algebra lineare, probabilità e metodi di ottimizzazione di base
Pubblico Target
- Ingegneri di apprendimento per rinforzo e ricercatori di IA applicata
- Sviluppatori di robotica e automazione
- Team di ingegneria che lavorano su sistemi di IA adattiva e agente
Recensioni (3)
Buona miscela di conoscenza e pratica
Ion Mironescu - Facultatea S.A.I.A.P.M.
Corso - Agentic AI for Enterprise Applications
Traduzione automatica
Il mix di teoria e pratica e di prospettive a livello alto e basso
Ion Mironescu - Facultatea S.A.I.A.P.M.
Corso - Autonomous Decision-Making with Agentic AI
Traduzione automatica
esercizi pratici
Daniel - Facultatea S.A.I.A.P.M.
Corso - Agentic AI in Multi-Agent Systems
Traduzione automatica