Struttura del corso
1. Introduzione al Deep Reinforcement Learning
- Cosa è il Reinforcement Learning?
- Differenza tra apprendimento supervisionato, non supervisionato e reinforcement learning
- Applicazioni del DRL nel 2025 (robotica, sanità, finanza, logistica)
- Comprendere il ciclo di interazione agente-ambiente
2. Fondamenti del Reinforcement Learning
- Processi decisionali Markoviani (MDP)
- Stato, Azione, Ricompensa, Politica e Funzioni di Valore
- Bilanciamento tra esplorazione ed sfruttamento
- Metodi Monte Carlo e apprendimento per differenza temporale (TD)
3. Implementazione di Algoritmi RL di Base
- Metodi tabulari: Programmazione Dinamica, Valutazione della Politica e Iterazione della Politica
- Q-Learning e SARSA
- Esporazione epsilon-greedy e strategie di decrescita
- Implementazione di ambienti RL con OpenAI Gymnasium
4. Trasizione al Deep Reinforcement Learning
- Limitazioni dei metodi tabulari
- Utilizzo di reti neurali per l'approssimazione delle funzioni
- Architettura e workflow della Deep Q-Network (DQN)
- Riproduzione dell'esperienza e reti target
5. Algoritmi DRL Avanzati
- Double DQN, Dueling DQN e Prioritized Experience Replay
- Metodi a Gradienti di Politica: algoritmo REINFORCE
- Architetture Actor-Critic (A2C, A3C)
- Proximal Policy Optimization (PPO)
- Soft Actor-Critic (SAC)
6. Lavorare con Spazi di Azione Continui
- Sfide nel controllo continuo
- Utilizzo del DDPG (Deep Deterministic Policy Gradient)
- Twin Delayed DDPG (TD3)
7. Strumenti e Framework Pratici
- Utilizzo di Stable-Baselines3 e Ray RLlib
- Registrazione e monitoraggio con TensorBoard
- Ottimizzazione dei parametri iperparametrici per i modelli DRL
8. Ingegneria delle Ricompense e Progettazione degli Ambienti
- Shaping delle ricompense e bilanciamento delle penalizzazioni
- Concetti di trasferimento sim-to-real learning
- Creazione di ambienti personalizzati in Gymnasium
9. Ambienti Parzialmente Osservabili e Generalizzazione
- Gestione delle informazioni sullo stato incomplete (POMDPs)
- Approcci basati sulla memoria utilizzando LSTMs e RNNs
- Miglioramento della robustezza e generalizzazione degli agenti
10. Teoria dei Giochi e Apprendimento Reinforcement Multi-Agente
- Introduzione agli ambienti multi-agente
- Cooperazione vs competizione
- Applicazioni nel training avversario e ottimizzazione delle strategie
11. Studi di Caso e Applicazioni Reali
- Simulazioni di guida autonoma
- Pricing dinamico e strategie di trading finanziario
- Robotica e automazione industriale
12. Risoluzione dei Problemi e Ottimizzazione
- Diagnosi del training instabile
- Gestione della sparsità delle ricompense e overfitting
- Scalabilità dei modelli DRL su GPU e sistemi distribuiti
13. Riepilogo e Passi Successivi
- Ripasso dell'architettura DRL e algoritmi principali
- Tendenze industriali e direzioni di ricerca (ad esempio, RLHF, modelli ibridi)
- Ulteriori risorse e materiali di lettura
Requisiti
- Padronanza della programmazione in Python
- Conoscenza del Calcolo e dell'Algebra Lineare
- Nozioni di base di Probabilità e Statistica
- Esperienza nella creazione di modelli di machine learning utilizzando Python e NumPy o TensorFlow/PyTorch
Pubblico di Riferimento
- Sviluppatori interessati all'Intelligenza Artificiale e ai sistemi intelligenti
- Data Scientists che esplorano i framework di reinforcement learning
- Ingegneri del Machine Learning che lavorano con sistemi autonomi
Recensioni (3)
Mi è davvero piaciuta la parte finale in cui abbiamo avuto il tempo di esplorare CHAT GPT. La sala non era impostata nel modo migliore per questo - sarebbe stato utile avere alcune piccole tavole invece di una grande, così da poter formare gruppi più piccoli e fare brainstorming.
Nola - Laramie County Community College
Corso - Artificial Intelligence (AI) Overview
Traduzione automatica
Lavorare partendo dai principi fondamentali in modo concentrato, e passare all'applicazione di casi pratici nello stesso giorno
Maggie Webb - Department of Jobs, Regions, and Precincts
Corso - Artificial Neural Networks, Machine Learning, Deep Thinking
Traduzione automatica
Sembrava che stessimo affrontando informazioni direttamente pertinenti a un ritmo adeguato (cioè senza materiale di riempimento)
Maggie Webb - Department of Jobs, Regions, and Precincts
Corso - Introduction to the use of neural networks
Traduzione automatica
