Grazie per aver inviato la tua richiesta! Uno dei nostri team membri ti contatterà a breve.
Grazie per aver inviato il tuo prenotazione! Uno dei nostri team membri ti contatterà a breve.
Durata 14 ore
Struttura del corso
Sovranità AI e Deploy Locale degli LLM
- Rischi degli LLM cloud: ritenzione dei dati, addestramento sugli input, giurisdizione straniera.
- Architettura di Ollama: server modelli, registry e API compatibile con OpenAI.
- Confronto con vLLM, llama.cpp e Text Generation Inference.
- Licenze dei modelli: termini di Llama, Mistral, Qwen e Gemma.
Installazione e Configurazione Hardware
- Installazione di Ollama su Linux con supporto CUDA e ROCm.
- Fallback solo CPU e ottimizzazione AVX/AVX2.
- Deployment Docker e mapping di volumi persistenti.
- Configurazione multi-GPU e strategie di allocazione VRAM.
Gestione dei Modelli
- Scaricare modelli dal registry di Ollama: ollama pull llama3.
- Importazione di modelli GGUF da HuggingFace e TheBloke.
- Livelli di quantizzazione: compromessi tra Q4_K_M, Q5_K_M, Q8_0.
- Cambio di modelli e limiti di caricamento concorrente.
Modelfile Personalizzati
- Sintassi dei Modelfile: FROM, PARAMETER, SYSTEM, TEMPLATE.
- Ottimizzazione di temperature, top_p e repeat_penalty.
- Ingegneria dei prompt di sistema per comportamenti specifici del ruolo.
- Creazione e pubblicazione di modelli personalizzati nel registry locale.
Integrazione API
- Endpoint /v1/chat/completions compatibile con OpenAI.
- Risposte in streaming e modalità JSON.
- Integrazione con LangChain, LlamaIndex e app personalizzate.
- Autenticazione e limitazione della frequenza con reverse proxy.
Ottimizzazione delle Prestazioni
- Dimensionamento della finestra di contesto e gestione della KV cache.
- Inferenza batch e gestione parallela delle richieste.
- Allocazione dei thread CPU e consapevolezza NUMA.
- Monitoraggio dell'utilizzo GPU e della pressione di memoria.
Sicurezza e Conformità
- Isolamento di rete per gli endpoint di servizio modelli.
- Pipeline di filtraggio degli input e moderazione degli output.
- Registro di audit dei prompt e delle completions.
- Provenienza dei modelli e verifica degli hash.
Requisiti
- Amministrazione Linux e dei container di livello intermedio.
- Comprendere i modelli di machine learning e i transformer a livello alto.
- Familiarità con REST API e JSON.
Pubblico
- Ingegneri AI e sviluppatori che sostituiscono le API cloud per LLM.
- Organizzazioni con dati sensibili che impediscono l'uso di modelli cloud.
- Squadre governative e della difesa che richiedono modelli linguistici isolati dalla rete (air-gapped).
