Huawei ha rilasciato il suo Cluster di chip AI CloudMatrix 384un nuovo sistema per l’apprendimento dell’IA. Impiega cluster di processori Ascend 910C, uniti tramite collegamenti ottici. L’architettura distribuita fa sì che il sistema possa sovraperformare le tradizionali configurazioni hardware della GPU, in particolare in termini di utilizzo delle risorse e tempo di utilizzo del chip, nonostante i singoli chip Ascend siano meno potenti di quelli della concorrenza.
Il nuovo quadro di Huawei posiziona il gigante tecnologico come un “formidabile sfidante alla posizione di leader di mercato di Nvidia, nonostante le sanzioni statunitensi in corso”, afferma la società.
Per utilizzare il nuovo framework Huawei per l’intelligenza artificiale, gli ingegneri dei dati dovranno adattare i propri flussi di lavoro, utilizzando framework che supportano i processori Ascend di Huawei, come MindSpore, disponibili presso Huawei e i suoi partner
Transizione del framework: da PyTorch/TensorFlow a MindSpore
A differenza dell’ecosistema NVIDIA, che utilizza prevalentemente framework come PyTorch e TensorFlow (progettati per sfruttare appieno CUDA), i processori Ascend di Huawei offrono prestazioni migliori se utilizzati con MindSporeun framework di deep learning sviluppato dall’azienda.
Se gli ingegneri dei dati dispongono già di modelli creati in PyTorch o TensorFlow, probabilmente ne avranno bisogno convertire i modelli nel formato MindSpore O riqualificarli utilizzando l’API MindSpore.
Vale la pena notarlo MindSpore utilizza sintassi, pipeline di addestramento e chiamate di funzioni diverse da PyTorch o TensorFlow, quindi sarà necessario un certo grado di reingegnerizzazione per replicare i risultati delle architetture dei modelli e delle pipeline di addestramento. Ad esempio, il comportamento dei singoli operatori varia, come le modalità di riempimento nei livelli di convoluzione e di pooling. Esistono anche differenze nei metodi di inizializzazione del peso predefinito.
Utilizzo di MindIR per la distribuzione del modello
MindSpore utilizza MindIR (MindSpore Intermediate Representation), un analogo stretto di Nvidia NIM. Secondo la documentazione ufficiale di MindSpore, una volta che un modello è stato addestrato in MindSpore, può essere esportato utilizzando l’utilità mindspore.export, che converte la rete addestrata nel formato MindIR.
Dettagliato dalla guida di DeepWiki, la distribuzione di un modello per l’inferenza in genere comporta il caricamento del modello MindIR esportato e quindi l’esecuzione di previsioni utilizzando le API di inferenza di MindSpore per i chip Ascend, che gestiscono la deserializzazione, l’allocazione e l’esecuzione del modello.
MindSpore separa la logica di training e di inferenza in modo più esplicito rispetto a PyTorch o TensorFlow. Pertanto, tutta la preelaborazione deve corrispondere agli input di addestramento e l’esecuzione del grafico statico deve essere ottimizzata. MindSpore Lite o Ascend Model Zoo sono consigliati per un’ulteriore messa a punto specifica dell’hardware.
Adattamento alla CANN (Architettura di calcolo per reti neurali)
CANN di Huawei presenta una serie di strumenti e librerie su misura per il software Ascendparallelamente al CUDA di NVIDIA in termini di funzionalità. Huawei consiglia di utilizzare gli strumenti di profilazione e debug di CANN per monitorare e migliorare le prestazioni del modello sull’hardware Ascend.
Modalità di esecuzione: GRAPH_MODE vs.PYNATIVE_MODE
MindSpore fornisce due modalità di esecuzione:
- GRAPH_MODE – Compila il grafico di calcolo prima dell’esecuzione. Ciò può comportare un’esecuzione più rapida e una migliore ottimizzazione delle prestazioni poiché il grafico può essere analizzato durante la compilazione.
- PYNATIVE_MODE – Esegue immediatamente le operazioni, risultando in processi di debug più semplici, più adatti, quindi, alle prime fasi di sviluppo del modello, grazie al tracciamento degli errori più granulare.
Per lo sviluppo iniziale, si consiglia PYNATIVE_MODE per test e debug iterativi più semplici. Quando i modelli sono pronti per essere distribuiti, il passaggio a GRAPH_MODE può aiutare a ottenere la massima efficienza sull’hardware Ascend. Il passaggio da una modalità all’altra consente ai team di tecnici di bilanciare la flessibilità di sviluppo con le prestazioni di distribuzione.
Il codice deve essere modificato per ciascuna modalità. Ad esempio, quando ci si trova in GRAPH_MODE, è meglio evitare, ove possibile, il flusso di controllo nativo di Python.
Ambiente di distribuzione: Huawei ModelArts
Come ci si potrebbe aspettare, ModelArts di Huawei, la piattaforma di sviluppo e distribuzione AI basata su cloud dell’azienda, è strettamente integrata con l’hardware Ascend di Huawei e il framework MindSpore. Sebbene sia paragonabile a piattaforme come AWS SageMaker e Google Vertex AI, è ottimizzato per i processori AI di Huawei.
Huawei afferma che ModelArts supporta l’intera pipeline, dall’etichettatura e preelaborazione dei dati alla formazione, implementazione e monitoraggio dei modelli. Ogni fase della pipeline è disponibile tramite API o interfaccia web.
In sintesi
L’adattamento a MindSpore e CANN può richiedere formazione e tempo, in particolare per i team abituati all’ecosistema NVIDIA, con gli ingegneri dei dati che devono comprendere vari nuovi processi. Questi includono il modo in cui CANN gestisce la compilazione e l’ottimizzazione dei modelli per l’hardware Ascend, la regolazione degli strumenti e delle pipeline di automazione progettate inizialmente per le GPU NVIDIA e l’apprendimento di nuove API e flussi di lavoro specifici per MindSpore.
Sebbene gli strumenti Huawei siano in evoluzione, mancano della maturità, della stabilità e del supporto più ampio dell’ecosistema offerti da framework come PyTorch con CUDA. Tuttavia, Huawei spera che la migrazione ai propri processi e alle proprie infrastrutture ripagherà in termini di risultati e consentirà alle organizzazioni di ridurre la dipendenza da Nvidia con sede negli Stati Uniti.
I processori Ascend di Huawei possono essere potenti e progettati per carichi di lavoro AI, ma hanno solo una distribuzione limitata in alcuni paesi. I team al di fuori dei mercati principali di Huawei potrebbero avere difficoltà a testare o implementare modelli sull’hardware Ascend, a meno che non utilizzino piattaforme partner, come ModelArts, che offrono accesso remoto.
Fortunatamente, Huawei fornisce guide esaustive sulla migrazione, supporto e risorse per supportare qualsiasi transizione.
(Fonte immagine: “Huawei P9” di 405 Mi16 è concesso in licenza con CC BY-NC-ND 2.0.)
Vuoi saperne di più sull’intelligenza artificiale e sui big data dai leader del settore? Guardare Fiera dell’intelligenza artificiale e dei big data che si svolge ad Amsterdam, in California, e a Londra. L’evento completo è parte di TechEx e co-localizzato con altri importanti eventi tecnologici. Clic Qui per ulteriori informazioni
AI News è alimentato da Media TechForge. Esplora altri prossimi eventi e webinar sulla tecnologia aziendale Qui.
Fonte: www.artificialintelligence-news.com
