Corso di formazione Ottimizzazione delle prestazioni delle reti neurali con CANN SDK

Panoramica delle capacità di ottimizzazione di CANN

• Come vengono gestite le prestazioni di inferenza in CANN
• Obiettivi di ottimizzazione per i sistemi AI edge e embedded
• Comprensione dell'utilizzo degli AI Core e dell'allocazione della memoria

Utilizzo di Graph Engine per l'analisi

• Introduzione a Graph Engine e alla pipeline di esecuzione
• Visualizzazione dei grafi degli operatori e delle metriche runtime
• Modifica dei grafi computazionali per l'ottimizzazione

Strumenti di profiling e metriche delle prestazioni

• Utilizzo dello strumento di profiling CANN (profiler) per l'analisi dei carichi di lavoro
• Analisi dei tempi di esecuzione dei kernel e dei colli di bottiglia
• Profiling degli accessi alla memoria e strategie di tiling

Sviluppo di operatori personalizzati con TIK

• Panoramica su TIK e sul modello di programmazione degli operatori
• Implementazione di un operatore personalizzato utilizzando TIK DSL
• Test e benchmarking delle prestazioni dell'operatore

Ottimizzazione avanzata degli operatori con TVM

• Introduzione all'integrazione di TVM con CANN
• Strategie di auto-tuning per i grafi computazionali
• Quando e come passare da TVM a TIK

Tecniche di ottimizzazione della memoria

• Gestione della disposizione (layout) della memoria e della collocazione dei buffer
• Tecniche per ridurre il consumo di memoria on-chip
• Best practice per l'esecuzione asincrona e il riuso

Implementazione nel mondo reale e studi di caso

• Studio di caso: messa a punto delle prestazioni per la pipeline delle telecamere delle smart city
• Studio di caso: ottimizzazione dello stack di inferenza per veicoli autonomi
• Linee guida per il profiling iterativo e il miglioramento continuo

Riepilogo e prossimi passi