Corso di formazione Sviluppo di operatori AI personalizzati con CANN TIK e TVM

Introduzione allo sviluppo di operatori personalizzati

• Motivazioni alla creazione di operatori custom: casi d’uso e vincoli operativi
• Struttura del runtime CANN e punti di integrazione degli operatori
• Panoramica su TBE, TIK e TVM nell’ecosistema AI di Huawei

Programmazione a basso livello degli operatori con TIK

• Approfondimento sul modello di programmazione TIK e sulle API supportate
• Gestione della memoria e strategie di sdoppiamento dei dati in TIK
• Creazione, compilazione e registrazione di operatori personalizzati nel framework CANN

Verifica e validazione degli operatori personalizzati

• Test unitari ed integrazione dei nuovi operatori nel grafo computazionale
• Individuazione e risoluzione di problemi legati alle prestazioni a livello kernel
• Visualizzazione dell’esecuzione degli operatori e monitoraggio dei flussi di memoria

Pianificazione e ottimizzazione tramite TVM

• Panoramica sull’utilizzo di TVM come compilatore dedicato agli operatori tensoriali
• Redazione di una strategia ottimizzata per un operatore personalizzato in TVM
• Procedure di tuning, benchmarking e generazione del codice specifiche per hardware Ascend

Integrazione con framework e modelli esistenti

• Registrazione di operatori custom in contesto di MindSpore e ONNX
• Controllo dell’integrità del modello e comportamento nel caso di ricorsi automatici
• Gestione di grafi multi-operatore con utilizzo di diverse precisioni numeriche

Studi di caso e ottimizzazioni specialistiche

• Caso studio: implementazione efficiente di convoluzioni per input di piccole dimensioni
• Analisi dell’ottimizzazione degli operatori di attenzione in base alle esigenze di memoria
• Best practice per la distribuzione e l’utilizzo di operatori personalizzati su diversi dispositivi

Sintesi finale e prossimi passi