Struttura del corso

Introduzione ai modelli LLM open-source

  • Cosa sono i modelli a peso aperto e perché sono importanti
  • Panoramica di LLaMA, Mistral, Qwen e altri modelli della community
  • Casi d'uso per distribuzioni private, on-premise o sicure

Configurazione dell'ambiente e strumenti

  • Installazione e configurazione delle librerie Transformers, Datasets e PEFT
  • Scelta di hardware appropriato per il fine-tuning
  • Caricamento di modelli pre-addestrati da Hugging Face o altri repository

Preparazione dei dati e preprocessing

  • Formati dei dataset (addestramento istruzionale, dati chat, testo solo)
  • Tokenizzazione e gestione delle sequenze
  • Crea datasets personalizzati e loader di dati

Tecniche di fine-tuning

  • Fine-tuning standard completo vs. metodi a parametri efficienti
  • Applicazione di LoRA e QLoRA per un fine-tuning efficiente
  • Utilizzo dell'API Trainer per sperimentazioni rapide

Valutazione e ottimizzazione dei modelli

  • Valutazione di modelli fine-tuned con metriche di generazione e accuratezza
  • Gestione dell'overfitting, della generalizzazione e dei set di validazione
  • Suggerimenti per l'ottimizzazione delle prestazioni e logging

Distribuzione e utilizzo privato

  • Salvataggio e caricamento di modelli per l'inferenza
  • Distribuzione di modelli fine-tuned in ambienti aziendali sicuri
  • Strategie di distribuzione on-premise vs. cloud

Casi di studio e casi d'uso

  • Esempi di utilizzo aziendale di LLaMA, Mistral e Qwen
  • Gestione del fine-tuning multilingue e specifico per dominio
  • Discussione: compromessi tra modelli open e closed

Riepilogo e passi successivi

Requisiti

  • Una comprensione dei grandi modelli linguistici (LLMs) e della loro architettura
  • Esperienza con Python e PyTorch
  • Familiarità di base con l'ecosistema Hugging Face

Pubblico

  • Praticanti in ML
  • Sviluppatori AI
 14 Ore

Numero di Partecipanti


Prezzo per Partecipante

Corsi in Arrivo

Categorie relative