Corso di formazione Ottimizzazione delle prestazioni su Ascend, Biren e Cambricon

Concetti e metriche delle prestazioni

• Latenza, throughput, consumo energetico, utilizzo delle risorse
• Colli di bottiglia a livello di sistema vs livello di modello
• Profilazione per inferenza vs addestramento

Profilazione su Huawei Ascend

• Utilizzo di CANN Profiler e MindInsight
• Diagnostica di kernel e operatori
• Pattern di offload e mapping della memoria

Profilazione su GPU Biren

• Funzionalità di monitoraggio delle prestazioni del Biren SDK
• Fusione di kernel, allineamento della memoria e code di esecuzione
• Profilazione consapevole di potenza e temperatura

Profilazione su Cambricon MLU

• Strumenti di prestazioni BANGPy e Neuware
• Visibilità a livello di kernel e interpretazione dei log
• Integrazione del profiler MLU con i framework di distribuzione

Ottimizzazione a livello di grafo e modello

• Strategie di potatura e quantizzazione del grafo
• Fusione di operatori e ristrutturazione del grafo computazionale
• Standardizzazione delle dimensioni di input e tuning del batch

Ottimizzazione di memoria e kernel

• Ottimizzazione della disposizione e del riutilizzo della memoria
• Gestione efficiente dei buffer tra chipset
• Tecniche di tuning a livello di kernel per piattaforma

Best practice multi-piattaforma

• Portabilità delle prestazioni: strategie di astrazione
• Creazione di pipeline di tuning condivise per ambienti multi-chip
• Esempio: tuning di un modello di rilevamento degli oggetti su Ascend, Biren e MLU

Sintesi e passi successivi