Grazie per aver inviato la tua richiesta! Uno dei nostri team membri ti contatterà a breve.
Grazie per aver inviato il tuo prenotazione! Uno dei nostri team membri ti contatterà a breve.
Durata 14 ore
Struttura del corso
Opzioni di Implementazione
- Trade-off tra API hostizzata e self-hosted
- Pattern on-premises, edge e air-gapped
- Modello singolo versus portafoglio di modelli
- Confronto dei costi per decisione
Dimensionamento Hardware e Capacità
- Impronta di memoria in base al numero di parametri
- Solo CPU versus accelerazione GPU
- Pianificazione della concorrenza e del throughput
- Margine per la crescita della lunghezza del task
Stack di Serving
- Opzioni con vLLM e SGLang
- Esecuzione con llama.cpp e GGUF
- Ollama per lo sviluppo locale
- Scelta in base alla forma del workload di decisione
Quantizzazione Senza Perdita di Calibrazione
- Formati di precisione e risparmio di memoria
- Misura della perdita di qualità e calibrazione
- Varianti per tensore e basate su rilevanza
- Test di accettazione dopo la quantizzazione
Ingegneria della Latenza
- Latenza mediana versus latenza di coda
- Crescita della latenza con la lunghezza del contesto
- Avvio caldo e caching del modello
- Batching di più domande di decisione
Ambienti Edge e Vincolati
- Piccoli modelli di decisione su CPU
- Implementazione su Apple Silicon e dispositivi embedded
- Operazione offline e strategia di aggiornamento
- Distribuzione dei pesi in ambienti air-gapped
Containerizzazione e Scaling
- Progettazione di immagini per il model serving
- Gestione di volumi e cache
- Scaling orizzontale e routing
- Limiti di risorse e condivisione GPU
Osservabilità
- Metriche di richiesta, latenza e errore
- Monitoraggio della distribuzione della confidenza
- Tracciamento degli esiti delle decisioni e delle escalation
- Allerta su deriva di calibrazione
Versionamento e Rollout
- Versionamento di modelli e adapter
- Deploy shadow e canary
- File di modello fissati per l'audit
- Procedure di rollback
Sicurezza e Multi-Tenancy
- Autenticazione e rate limiting
- Isolamento dei tenant per prompt e log
- Isolamento di rete e controllo dell'egress
- Logging di audit delle decisioni
Requisiti
- Esperienza in amministrazione Linux e container.
- Familiarità con server di inferenza per modelli e gestione delle GPU.
- Conoscenza base di API REST, bilanciamento del carico e monitoraggio.
Pubblico Target
- Ingegneri MLOps e di piattaforma che gestiscono l'infrastruttura di inferenza
- Team SRE che supportano servizi AI
- Ingegneri AI che implementano modelli di decisione on-premises
- Architetti che progettano deployment AI in ambienti isolati o regolamentati
