Grazie per aver inviato la tua richiesta! Uno dei nostri team membri ti contatterà a breve.
Grazie per aver inviato il tuo prenotazione! Uno dei nostri team membri ti contatterà a breve.
Struttura del corso
Panoramica sulle capacità di ottimizzazione offerte da CANN
- Come vengono gestite le prestazioni durante l’inferenza in CANN
- Gli obiettivi dell’ottimizzazione per sistemi AI embedded e a livello edge
- Comprensione dell’utilizzo dei core IA e della gestione della memoria
Utilizzo del Graph Engine per l’analisi
- Introduzione al Graph Engine e al relativo flusso di esecuzione
- Visualizzazione dei grafi operatori e delle metriche runtime
- Modifica i grafi computazionali per migliorarne l’efficienza
Strumenti di profilazione e parametri prestazionali
- Utilizzo dello strumento di profilazione CANN per analisi del carico di lavoro
- Analisi dei tempi di esecuzione dei kernel e identificazione dei colli di bottiglia
- Profilazione degli accessi alla memoria e strategie di tiling ottimali
Sviluppo di operatori personalizzati con TIK
- Panoramica su TIK e sul modello di programmazione degli operatori
- Implementazione di un operatore personalizzato tramite il linguaggio DSL di TIK
- Test e benchmarking delle prestazioni dell’operatore sviluppato
Ottimizzazione avanzata degli operatori mediante TVM
- Introduzione all’integrazione di TVM con CANN
- Strategie di auto-tuning per i grafi computazionali
- Quando e come scegliere tra l’utilizzo di TIK o TVM in un dato contesto
Tecniche di ottimizzazione della memoria
- Gestione del layout della memoria e posizionamento dei buffer
- Metodi per ridurre il consumo di memoria on-chip
- Buone pratiche relative all’esecuzione asincrona e al riutilizzo della memoria
Casi d’uso reali ed esempi di implementazione
- Caso studio: ottimizzazione delle prestazioni in un sistema di gestione video per città intelligenti
- Caso studio: miglioramento dell’inferenza nei sistemi di guida autonoma
- Linee guida per la profilazione iterativa e il continuo potenziamento delle performance
Sintesi e prossimi passi
Requisiti
- Solida conoscenza delle architetture dei modelli di deep learning e dei processi di addestramento
- Esperienza nella distribuzione di modelli tramite CANN, TensorFlow o PyTorch
- Familiarità con l’interfaccia a riga di comando Linux, la scrittura di script shell e il linguaggio Python
Destinatari del corso
- Ingegneri specializzati nelle prestazioni dell’IA
- Specialisti nell’ottimizzazione dell’inferenza
- Sviluppatori che operano in ambito AI su dispositivi edge o sistemi in tempo reale
14 ore
