Contattataci

Struttura del corso

Concetti e metriche sulle prestazioni

  • Latenza, velocità di elaborazione, consumo energetico, utilizzo delle risorse
  • Differenze tra colli di bottiglia a livello di sistema e modello
  • Aspetti legati alla profilazione in contesti di inferenza o addestramento

Profilaggio su Huawei Ascend

  • Utilizzo degli strumenti CANN Profiler e MindInsight
  • Analisi dei kernel e degli operatori
  • Gestione efficiente di trasferimenti dati e mappatura della memoria

Profilaggio su Biren GPU

  • Funzionalità di monitoraggio delle prestazioni offerte dal SDK di Biren
  • Ottimizzazioni legate alla fusione dei kernel, all’allineamento della memoria e alla gestione delle code di esecuzione
  • Profilazione attenta a fattori energetici e termici

Profilaggio su Cambricon MLU

  • Strumenti di analisi delle prestazioni come BANGPy e Neuware
  • Capacità di visione d’insieme a livello di kernel e interpretazione dei log generati
  • Integrazione dello strumento MLU Profiler nei framework utilizzati per il deployment

Ottimizzazioni a livello di grafo computazionale e modelli

  • Strategie di pruning e quantizzazione dei modelli
  • Fusione tra operatori e riorganizzazione delle strutture computazionali
  • Standardizzazione della dimensione degli input e regolazioni in base ai batch

Ottimizzazioni legate alla memoria e ai kernel

  • Raggiungimento di una gestione più efficiente dello spazio di memorizzazione e del suo riutilizzo
  • Controllo ottimale dei buffer in ambienti multichipset
  • Tecniche specifiche per ciascuna piattaforma finalizzate alla regolazione dei kernel

Best practice multi-piattaforma

  • Ambiti di portabilità delle prestazioni: metodologie di astrazione
  • Creazione di pipeline comuni per l’ottimizzazione su più tipi di chip
  • Esempio pratico: ottimizzazione di un modello per il rilevamento degli oggetti applicabile ad Ascend, Biren e MLU

Riepilogo e prossimi passi

Requisiti

  • Esperienza nell’addestramento o nel deployment di modelli AI
  • Conoscenza dei principi relativi all’elaborazione grafica e alle ottimizzazioni dei modelli su unità come GPU e MLU
  • Familiarità di base con gli strumenti e le metriche di profilazione delle prestazioni

Destinatari del corso

  • Ingegneri specializzati nelle prestazioni
  • Team incaricati dell’infrastruttura per l’apprendimento automatico
  • Architetti di sistemi AI
 21 ore

Numero di Partecipanti


Prezzo per partecipante

Corsi in Arrivo

Categorie relative