Contattataci

Struttura del corso

Introduzione ai LLM open source

  • Cosa sono i modelli a peso aperto e perché sono importanti.
  • Panoramica su LLaMA, Mistral, Qwen e altri modelli della comunità.
  • Casi d'uso per distribuzioni private, on-premise o sicure.

Configurazione dell'ambiente e strumenti

  • Installazione e configurazione delle librerie Transformers, Datasets e PEFT.
  • Scelta dell'hardware appropriato per l'affinamento.
  • Caricamento di modelli pre-addestrati da Hugging Face o da altri repository.

Preparazione e preelaborazione dei dati

  • Formati dei dataset (istruzioni per l'addestramento, dati conversazionali, solo testo).
  • Tokenizzazione e gestione delle sequenze.
  • Creazione di dataset personalizzati e caricatori di dati.

Tecniche di affinamento

  • Affinamento completo standard rispetto ai metodi efficienti per i parametri.
  • Applicazione di LoRA e QLoRA per un affinamento efficiente.
  • Utilizzo dell'API Trainer per esperimenti rapidi.

Valutazione e ottimizzazione del modello

  • Valutazione dei modelli affinati mediante metriche di generazione e accuratezza.
  • Gestione dell'overfitting, della generalizzazione e dei set di validazione.
  • Suggerimenti per il tuning delle prestazioni e logging.

Distribuzione e utilizzo privato

  • Salvataggio e caricamento dei modelli per l'inferenza.
  • Distribuzione di modelli affinati in ambienti aziendali sicuri.
  • Strategie di distribuzione on-premise vs. cloud.

Studi di caso e casi d'uso

  • Esempi di utilizzo aziendale di LLaMA, Mistral e Qwen.
  • Gestione dell'affinamento multilingue e specifico per il dominio.
  • Discussione: compromessi tra modelli open e chiusi.

Sintesi e prossimi passi

Requisiti

  • Conoscenza dei modelli linguistici di grandi dimensioni (LLM) e della loro architettura.
  • Esperienza con Python e PyTorch.
  • Conoscenza di base dell'ecosistema Hugging Face.

Destinatari

  • Professionisti del machine learning.
  • Sviluppatori di IA.
 14 ore

Numero di Partecipanti


Prezzo per partecipante

Corsi in Arrivo

Categorie relative