Corso di formazione Implementazione di Tencent Hunyuan in produzione: inferenza a bassa latenza e ottimizzazione dei costi

Fondamenti della distribuzione di Tencent Hunyuan in produzione

• Panoramica sugli scenari di implementazione dei modelli Tencent Hunyuan;
• Caratteristiche produttive dei modelli di grandi dimensioni e MoE;
• Problematiche comuni riguardanti latenza, throughput e costi;
• Definizione degli obiettivi operativi per i carichi di lavoro legati all’inferenza.

Architettura di distribuzione e flusso di inferenza

• Componenti chiave di uno stack produttivo per l’inferenza;
• Scelta tra modelli di distribuzione containerizzati, on-premise o basati su cloud;
• Nozioni di base sul caricamento dei modelli, instradamento delle richieste e allocazione della GPU;
• Principi per garantire affidabilità e semplicità operativa.

Ottimizzazione della latenza nella pratica

• Utilizzo di motori di inferenza ottimizzati come TensorRT, ove applicabile;
• Concetti legati alla cache KV e tecniche pratiche per la sua regolazione;
• Riduzione dei tempi di avvio, riscaldamento e latenza nelle risposte;
• Misurazione del tempo impiegato per il primo token emesso e della velocità di generazione dei token.

Throughput, batching ed efficienza GPU

• Strategie di batching continuo e gestione aggregata delle richieste;
• Gestione della concorrenza e del comportamento delle code;
• Aumento dell’utilizzo delle GPU senza compromettere l’esperienza utente;
• Gestione di richieste a contesto lungo o di carichi di lavoro eterogenei.

Quantizzazione e controllo dei costi

• Ragioni per cui la quantizzazione è fondamentale nella distribuzione in produzione;
• Considerazioni pratiche legate all’uso di precisioni come FP16 e INT8;
• Bilanciamento tra qualità del modello, latenza e costi infrastrutturali;
• Creazione di una semplice checklist per l’ottimizzazione dei costi.

Operazioni, monitoraggio e valutazione dello stato operativo

• Trigger per attivare l’autoscaling nei servizi di inferenza;
• Monitoraggio della latenza, del throughput, dell’utilizzo della cache e della salute delle GPU;
• Nozioni base su logging, alerting e gestione degli incidenti;
• Analisi di un esempio reale di distribuzione e creazione di un piano d’ottimizzazione.