Struttura del corso

Introduzione alle LLM Multimodal in Vertex AI

  • Panoramica delle capacità multimodal di Vertex AI
  • Modelli Gemini e modalità supportate
  • Casistiche nel settore aziendale e nella ricerca

Configurazione dell'Ambiente di Sviluppo

  • Configurazione di Vertex AI per flussi di lavoro multimodal
  • Lavoro con dataset tra le diverse modalità
  • Laboratorio pratico: configurazione dell'ambiente e preparazione dei dataset

Finestre di Contesto a Lunga Portata e Ragionamento Avanzato

  • Comprensione dei flussi di lavoro con contesti lunghi
  • Casistiche nell'ambito della pianificazione e della presa decisionale
  • Laboratorio pratico: implementazione dell'analisi con contesti lunghi

Design di Workflow Cross-Modal

  • Combinazione di analisi testuale, audio e immagine
  • Concatenamento di passaggi multimodal nelle pipeline
  • Laboratorio pratico: progettazione di una pipeline multimodal

Lavoro con i Parametri API Gemini

  • Configurazione degli input e output multimodal
  • Ottimizzazione dell'inferenza ed efficienza
  • Laboratorio pratico: tuning dei parametri API Gemini

Applicazioni Avanzate e Integrazioni

  • Agenti e assistenti multimodal interattivi
  • Integrazione di API e strumenti esterni
  • Laboratorio pratico: costruzione di un'applicazione multimodal

Valutazione e Iterazione

  • Test delle prestazioni multimodal
  • Metriche per precisione, allineamento e deriva
  • Laboratorio pratico: valutazione dei flussi di lavoro multimodal

Riepilogo e Passi Successivi

Requisiti

  • Padronanza della programmazione in Python
  • Esperienza nella sviluppo di modelli di apprendimento automatico
  • Familiarità con i dati multimodali (testo, audio, immagine)

Pubblico

  • Ricercatori di AI
  • Sviluppatori avanzati
  • Scienziati del machine learning
 14 Ore

Numero di Partecipanti


Prezzo per Partecipante

Corsi in Arrivo

Categorie relative