Struttura del corso

Introduzione ai Modelli Open-Source LLM

  • Cosa sono i modelli a pesi aperti e perché sono importanti
  • Panoramica di LLaMA, Mistral, Qwen e altri modelli della comunità
  • Casi d'uso per distribuzioni private, on-premise o sicure

Configurazione dell'Ambiente e Strumenti

  • Installazione e configurazione delle librerie Transformers, Datasets e PEFT
  • Scegliere l'hardware appropriato per il fine-tuning
  • Caricare modelli pre-addestrati da Hugging Face o altri repository

Preparazione dei Dati e Preprocessing

  • Formati di dataset (addestramento su istruzioni, dati chat, solo testo)
  • Tokenizzazione e gestione delle sequenze
  • Crea dataset personalizzati e loader di dati

Tecniche Fine-Tuning

  • Fine-tuning standard vs. metodi efficienti in termini di parametri
  • L'applicazione di LoRA e QLoRA per un fine-tuning efficiente
  • Utilizzo dell'API Trainer per esperimenti rapidi

Valutazione e Ottimizzazione del Modello

  • Valutare i modelli fine-tunati con metriche di generazione e precisione
  • Gestire l'overfitting, la generalizzazione e gli insiemi di validazione
  • Suggerimenti per l'ottimizzazione delle prestazioni e il logging

Distribuzione e Uso Privato

  • Salvataggio e caricamento dei modelli per l'inferenza
  • Distribuire modelli fine-tunati in ambienti aziendali sicuri
  • Strategie di distribuzione on-premise vs. cloud

Casi di Studio e Use Cases

  • Esempi di utilizzo aziendale di LLaMA, Mistral e Qwen
  • Gestire il fine-tuning multilingue e specifico per settore
  • Dibattito: compromessi tra modelli aperti e chiusi

Riepilogo e Prossimi Passaggi

Requisiti

  • Una comprensione dei modelli linguistici a vasta scala (LLMs) e della loro architettura
  • Esperienza con Python e PyTorch
  • Familiarità di base con l'ecosistema Hugging Face

Pubblico

  • Praticanti di ML
  • Sviluppatori AI
 14 ore

Numero di Partecipanti


Prezzo per Partecipante

Corsi in Arrivo

Categorie relative