Corso di formazione Fine-Tuning Vision-Language Models (VLMs)
Fine-Tuning Vision-Language Models (VLMs) is a specialized skill used to enhance multimodal AI systems that process both visual and textual inputs for real-world applications.
This instructor-led, live training (online or onsite) is aimed at advanced-level computer vision engineers and AI developers who wish to fine-tune VLMs such as CLIP and Flamingo to improve performance on industry-specific visual-text tasks.
By the end of this training, participants will be able to:
- Understand the architecture and pretraining methods of vision-language models.
- Fine-tune VLMs for classification, retrieval, captioning, or multimodal QA.
- Prepare datasets and apply PEFT strategies to reduce resource usage.
- Evaluate and deploy customized VLMs in production environments.
Format of the Course
- Interactive lecture and discussion.
- Lots of exercises and practice.
- Hands-on implementation in a live-lab environment.
Course Customization Options
- To request a customized training for this course, please contact us to arrange.
Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Struttura del corso
Introduction to Vision-Language Models
- Overview of VLMs and their role in multimodal AI
- Popular architectures: CLIP, Flamingo, BLIP, etc.
- Use cases: search, captioning, autonomous systems, content analysis
Preparing the Fine-Tuning Environment
- Setting up OpenCLIP and other VLM libraries
- Dataset formats for image-text pairs
- Preprocessing pipelines for vision and language inputs
Fine-Tuning CLIP and Similar Models
- Contrastive loss and joint embedding spaces
- Hands-on: fine-tuning CLIP on custom datasets
- Handling domain-specific and multilingual data
Advanced Fine-Tuning Techniques
- Using LoRA and adapter-based methods for efficiency
- Prompt tuning and visual prompt injection
- Zero-shot vs. fine-tuned evaluation trade-offs
Evaluation and Benchmarking
- Metrics for VLMs: retrieval accuracy, BLEU, CIDEr, recall
- Visual-text alignment diagnostics
- Visualizing embedding spaces and misclassifications
Deployment and Use in Real Applications
- Exporting models for inference (TorchScript, ONNX)
- Integrating VLMs into pipelines or APIs
- Resource considerations and model scaling
Case Studies and Applied Scenarios
- Media analysis and content moderation
- Search and retrieval in e-commerce and digital libraries
- Multimodal interaction in robotics and autonomous systems
Summary and Next Steps
Requisiti
- An understanding of deep learning for vision and NLP
- Experience with PyTorch and transformer-based models
- Familiarity with multimodal model architectures
Audience
- Computer vision engineers
- AI developers
14 ore
I corsi di formazione interaziendali richiedono più di 5 partecipanti.
Corso di formazione Fine-Tuning Vision-Language Models (VLMs) - Booking
Corso di formazione Fine-Tuning Vision-Language Models (VLMs) - Enquiry
Fine-Tuning Vision-Language Models (VLMs) - Richiesta di consulenza
Richiesta di consulenza
Corsi in Arrivo
Corsi relativi
Advanced Techniques in Transfer Learning
14 oreQuesto corso di formazione dal vivo con istruttore in Italia (online o in loco) è rivolto a professionisti dell'apprendimento automatico di livello avanzato che desiderano padroneggiare tecniche di transfer learning all'avanguardia e applicarle a problemi complessi del mondo reale.
Al termine di questo corso di formazione, i partecipanti saranno in grado di:
- Comprendere concetti e metodologie avanzate nell'apprendimento di trasferimento.
- Implementare tecniche di adattamento specifiche del dominio per modelli pre-addestrati.
- Applica l'apprendimento continuo per gestire attività e set di dati in evoluzione.
- Padroneggia la messa a punto multi-task per migliorare le prestazioni del modello in tutte le attività.
Ulteriori Informazioni...
Deploying Fine-Tuned Models in Production
21 oreQuesto corso di formazione dal vivo con istruttore in Italia (online o in loco) è rivolto a professionisti di livello avanzato che desiderano implementare modelli ottimizzati in modo affidabile ed efficiente.
Al termine di questo corso di formazione, i partecipanti saranno in grado di:
- Comprendi le sfide legate all'implementazione di modelli ottimizzati nell'ambiente di produzione.
- Containerizza e distribuisci i modelli utilizzando strumenti come Docker e Kubernetes.
- Implementare il monitoraggio e la registrazione per i modelli distribuiti.
- Ottimizza i modelli per la latenza e la scalabilità in scenari reali.
Ulteriori Informazioni...
Domain-Specific Fine-Tuning for Finance
21 oreQuesto corso di formazione dal vivo con istruttore in Italia (online o in loco) è rivolto a professionisti di livello intermedio che desiderano acquisire competenze pratiche nella personalizzazione di modelli di intelligenza artificiale per attività finanziarie critiche.
Al termine di questo corso di formazione, i partecipanti saranno in grado di:
- Comprendi i fondamenti dell'ottimizzazione per le applicazioni finanziarie.
- Sfrutta i modelli pre-addestrati per attività specifiche del dominio nel settore finanziario.
- Applica tecniche per il rilevamento delle frodi, la valutazione del rischio e la generazione di consulenza finanziaria.
- Garantisci la conformità alle normative finanziarie come GDPR e SOX.
- Implementa la sicurezza dei dati e le pratiche etiche di intelligenza artificiale nelle applicazioni finanziarie.
Ulteriori Informazioni...
Fine-Tuning Models and Large Language Models (LLMs)
14 oreQuesto corso di formazione dal vivo con istruttore in Italia (online o in loco) è rivolto a professionisti di livello intermedio e avanzato che desiderano personalizzare modelli pre-addestrati per attività e set di dati specifici.
Al termine di questo corso di formazione, i partecipanti saranno in grado di:
- Comprendere i principi del fine-tuning e le sue applicazioni.
- Preparare i set di dati per l'ottimizzazione dei modelli pre-addestrati.
- Ottimizza i modelli linguistici di grandi dimensioni (LLM) per le attività di NLP.
- Ottimizza le prestazioni del modello e affronta le sfide più comuni.
Ulteriori Informazioni...
Efficient Fine-Tuning with Low-Rank Adaptation (LoRA)
14 oreQuesto corso di formazione dal vivo con istruttore in Italia (online o in loco) è rivolto a sviluppatori di livello intermedio e professionisti dell'intelligenza artificiale che desiderano implementare strategie di messa a punto per modelli di grandi dimensioni senza la necessità di ampie risorse computazionali.
Al termine di questo corso di formazione, i partecipanti saranno in grado di:
- Comprendere i principi dell'adattamento di basso rango (LoRA).
- Implementa LoRA per una messa a punto efficiente di modelli di grandi dimensioni.
- Ottimizza l'ottimizzazione per ambienti con risorse limitate.
- Valuta e distribuisci modelli ottimizzati per LoRA per applicazioni pratiche.
Ulteriori Informazioni...
Fine-Tuning Multimodal Models
28 oreQuesto corso di formazione dal vivo con istruttore in Italia (online o in loco) è rivolto a professionisti di livello avanzato che desiderano padroneggiare la messa a punto di modelli multimodali per soluzioni di intelligenza artificiale innovative.
Al termine di questo corso di formazione, i partecipanti saranno in grado di:
- Comprendi l'architettura dei modelli multimodali come CLIP e Flamingo.
- Prepara e pre-elabora in modo efficace i set di dati multimodali.
- Ottimizza i modelli multimodali per attività specifiche.
- Ottimizza i modelli per le applicazioni e le prestazioni del mondo reale.
Ulteriori Informazioni...
Fine-Tuning for Natural Language Processing (NLP)
21 oreQuesto corso di formazione dal vivo con istruttore in Italia (online o in loco) è rivolto a professionisti di livello intermedio che desiderano migliorare i loro progetti di PNL attraverso l'efficace messa a punto di modelli linguistici pre-addestrati.
Al termine di questo corso di formazione, i partecipanti saranno in grado di:
- Comprendi i fondamenti della messa a punto per le attività di NLP.
- Ottimizza i modelli pre-addestrati come GPT, BERT e T5 per applicazioni NLP specifiche.
- Ottimizza gli iperparametri per migliorare le prestazioni del modello.
- Valuta e distribuisci modelli ottimizzati in scenari reali.
Ulteriori Informazioni...
Fine-Tuning DeepSeek LLM for Custom AI Models
21 oreQuesto corso di formazione dal vivo e guidato da un istruttore in Italia (online o in loco) è rivolto a ricercatori AI di livello avanzato, ingegneri di machine learning e sviluppatori che desiderano ottimizzare DeepSeek modelli LLM per creare applicazioni AI specializzate su misura per industrie, domini o esigenze aziendali specifiche.
Al termine di questo corso di formazione, i partecipanti saranno in grado di:
- Comprendere l'architettura e le capacità dei modelli DeepSeek, inclusi DeepSeek-R1 e DeepSeek-V3.
- Preparare set di dati e preprocessare i dati per l'ottimizzazione.
- Affinare DeepSeek LLM per applicazioni specifiche del settore.
- Ottimizzare e distribuire modelli ottimizzati in modo efficiente.
Ulteriori Informazioni...
Fine-Tuning Large Language Models Using QLoRA
14 oreQuesto corso guidato dal formatore in Italia (online o presenza) è rivolto a ingegneri di apprendimento automatico, sviluppatori AI e scienziati dei dati di livello intermedio-avanzato che desiderano imparare come utilizzare QLoRA per addestrare in modo efficiente modelli grandi su specifiche attività e personalizzazioni.
Al termine del corso, i partecipanti saranno in grado di:
- Comprendere la teoria dietro QLoRA e le tecniche di quantizzazione per LLM (Large Language Models).
- Mettere in pratica QLoRA nell'addestramento di modelli linguistici grandi per applicazioni specifiche del settore.
- Ottimizzare le prestazioni dell'addestramento su risorse computazionali limitate utilizzando la quantizzazione.
- Deployare e valutare modelli addestrati in applicazioni reali in modo efficiente.
Ulteriori Informazioni...
Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)
14 oreQuesto corso guidato da un istruttore in Italia (online o presenza) è rivolto a praticanti intermediori di ML e sviluppatori AI che desiderano adattare e distribuire modelli open-weight come LLaMA, Mistral e Qwen per applicazioni aziendali specifiche o interne.
Al termine del corso, i partecipanti saranno in grado di:
- Comprendere l'ecosistema e le differenze tra LLM open source.
- Preparare insiemi di dati e configurazioni per l'adattamento per modelli come LLaMA, Mistral e Qwen.
- Eseguire pipeline di adattamento utilizzando Hugging Face Transformers e PEFT.
- Valutare, salvare e distribuire modelli adattati in ambienti sicuri.
Ulteriori Informazioni...
Fine-Tuning for Retrieval-Augmented Generation (RAG) Systems
14 oreQuesto corso live, guidato da un istruttore in Italia (online o sul posto), è rivolto a ingegneri NLP di livello intermedio e team di gestione del know-how che desiderano ottimizzare i pipeline RAG per migliorare le prestazioni nelle applicazioni di risposta alle domande, ricerca aziendale e riassuntistica.
Al termine di questo corso, i partecipanti saranno in grado di:
- Comprendere l'architettura e il flusso di lavoro dei sistemi RAG.
- Ottimizzare i componenti retriever e generator per dati specifici del dominio.
- Valutare le prestazioni di RAG e applicare miglioramenti attraverso tecniche PEFT.
- Distribuire sistemi RAG ottimizzati per l'uso interno o in produzione.
Ulteriori Informazioni...
Fine-Tuning with Reinforcement Learning from Human Feedback (RLHF)
14 oreQuesto corso guidato dall'insegnante in Italia (online o sul posto) è rivolto a ingegneri di apprendimento automatico avanzati e ricercatori di IA che desiderano applicare RLHF per affinare modelli AI grandi per una prestazione, sicurezza e allineamento superiori.
Al termine di questo corso, i partecipanti saranno in grado di:
- Comprendere le basi teoriche dell'RLHF e perché è essenziale nello sviluppo moderno dell'IA.
- Mettere in pratica modelli di reward basati sul feedback umano per guidare i processi di apprendimento per rinforzo.
- Perfezionare grandi modelli linguistici utilizzando tecniche RLHF per allineare le uscite con le preferenze umane.
- Applicare le migliori pratiche per la scalabilità dei flussi di lavoro RLHF per sistemi AI di grado produttivo.
Ulteriori Informazioni...
Optimizing Large Models for Cost-Effective Fine-Tuning
21 oreQuesto corso di formazione dal vivo con istruttore in Italia (online o in loco) è rivolto a professionisti di livello avanzato che desiderano padroneggiare le tecniche per l'ottimizzazione di modelli di grandi dimensioni per una messa a punto conveniente in scenari del mondo reale.
Al termine di questo corso di formazione, i partecipanti saranno in grado di:
- Comprendi le sfide della messa a punto di modelli di grandi dimensioni.
- Applicare tecniche di training distribuite a modelli di grandi dimensioni.
- Sfrutta la quantizzazione e l'eliminazione dei modelli per l'efficienza.
- Ottimizza l'utilizzo dell'hardware per le attività di messa a punto.
- Distribuisci modelli ottimizzati in modo efficace negli ambienti di produzione.
Ulteriori Informazioni...
Prompt Engineering and Few-Shot Fine-Tuning
14 oreQuesto corso di formazione dal vivo con istruttore in Italia (online o in loco) è rivolto a professionisti di livello intermedio che desiderano sfruttare la potenza dell'ingegneria rapida e dell'apprendimento a pochi colpi per ottimizzare le prestazioni LLM per le applicazioni del mondo reale.
Al termine di questo corso di formazione, i partecipanti saranno in grado di:
- Comprendi i principi dell'ingegneria rapida e dell'apprendimento a pochi colpi.
- Progetta prompt efficaci per varie attività di NLP.
- Sfrutta le tecniche a pochi colpi per adattare gli LLM con dati minimi.
- Ottimizza le prestazioni LLM per applicazioni pratiche.
Ulteriori Informazioni...
Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
14 oreQuesto corso guidato dal formatore in Italia (online o presenza) è rivolto a data scientist e ingegneri AI di livello intermedio che desiderano ottimizzare il fine-tuning dei modelli linguistici grandi in modo più economico ed efficiente utilizzando metodi come LoRA, Adapter Tuning e Prefix Tuning.
Al termine del corso, i partecipanti saranno in grado di:
- Comprendere la teoria sottostante gli approcci al fine-tuning con parametri efficienti.
- Implementare LoRA, Adapter Tuning e Prefix Tuning utilizzando Hugging Face PEFT.
- Confrontare le prestazioni e i compromessi di costo dei metodi PEFT rispetto al fine-tuning completo.
- Distribuire ed scalare modelli LLM fine-tunati con requisiti ridotti di calcolo e archiviazione.
Ulteriori Informazioni...
