L’ultima versione di Inferenza MLPerf introduce nuovi benchmark LLM e raccomandazioni, segnando un balzo in avanti nel campo dei test sull’intelligenza artificiale.
L’iterazione v3.1 della suite di benchmark ha visto una partecipazione record, vantando oltre 13.500 risultati prestazionali e offrendo un miglioramento delle prestazioni fino al 40%.
Ciò che distingue questo risultato è il pool diversificato di 26 diversi presentatori e oltre 2.000 risultati eccellenti, a dimostrazione dell’ampio spettro di attori del settore che investono nell’innovazione dell’intelligenza artificiale.
Nell’elenco dei partecipanti ci sono giganti della tecnologia come Google, Intel e NVIDIA, nonché i nuovi arrivati Connect Tech, Nutanix, Oracle e TTA, che partecipano per la prima volta al benchmark MLPerf Inference.
David Kanter, direttore esecutivo di MLCommonsha sottolineato l’importanza di questo risultato:
“L’invio a MLPerf non è banale. È un risultato significativo, poiché non si tratta di un semplice benchmark punta e clicca. Richiede un vero lavoro di ingegneria ed è una testimonianza dell’impegno dei nostri presentatori nei confronti dell’intelligenza artificiale, dei loro clienti e del machine learning.”
MLPerf Inference è una suite di benchmark critica che misura la velocità con cui i sistemi di intelligenza artificiale possono eseguire modelli in vari scenari di implementazione. Questi scenari spaziano dai più recenti chatbot con intelligenza artificiale generativa alle funzionalità di miglioramento della sicurezza nei veicoli, come il mantenimento automatico della corsia e le interfacce di sintesi vocale.
I riflettori di MLPerf Inference v3.1 si accendono sull’introduzione di due nuovi benchmark:
- Un LLM che utilizza il GPT-J Il modello di riferimento per riassumere gli articoli di notizie della CNN ha raccolto contributi da 15 diversi partecipanti, dimostrando la rapida adozione dell’intelligenza artificiale generativa.
- Un benchmark di raccomandazione aggiornato – perfezionato per allinearsi più strettamente alle pratiche del settore – utilizza il DLRM-DCNv2 modello di riferimento e set di dati più ampi, attirando nove proposte. Questi nuovi benchmark sono progettati per ampliare i confini dell’intelligenza artificiale e garantire che i benchmark standard del settore rimangano allineati con le ultime tendenze nell’adozione dell’intelligenza artificiale, fungendo da guida preziosa per clienti, fornitori e ricercatori.
Mitchelle Rasquinha, co-presidente del gruppo di lavoro MLPerf Inference, ha commentato: “Le proposte per MLPerf Inference v3.1 sono indicative di un’ampia gamma di acceleratori in fase di sviluppo per servire carichi di lavoro ML.
“L’attuale suite di benchmark ha un’ampia copertura tra i domini ML e l’aggiunta più recente di GPT-J è un gradito contributo allo spazio dell’intelligenza artificiale generativa. I risultati dovrebbero essere molto utili agli utenti quando selezionano i migliori acceleratori per i rispettivi domini”.
I benchmark di MLPerf Inference si concentrano principalmente su data center e sistemi edge. I contributi v3.1 mostrano vari processori e acceleratori in diversi casi d’uso nella visione artificiale, nei sistemi di raccomandazione e nell’elaborazione del linguaggio.
La suite di benchmark comprende invii sia aperti che chiusi nelle categorie prestazioni, potenza e rete. Le proposte chiuse utilizzano lo stesso modello di riferimento per garantire condizioni di parità tra i sistemi, mentre ai partecipanti alla divisione aperta è consentito presentare una varietà di modelli.
Poiché l’intelligenza artificiale continua a permeare vari aspetti della nostra vita, i benchmark di MLPerf fungono da strumenti vitali per valutare e plasmare il futuro della tecnologia AI.
Trova i risultati dettagliati di MLPerf Inference v3.1 Qui.
(Fotografato da Mauro Sbicego SU Unsplash)
Guarda anche: GitLab: gli sviluppatori considerano l’intelligenza artificiale “essenziale” nonostante le preoccupazioni
Vuoi saperne di più sull’intelligenza artificiale e sui big data dai leader del settore? Guardare Fiera dell’intelligenza artificiale e dei big data che si svolge ad Amsterdam, in California, e a Londra. L’evento completo è co-localizzato con Settimana della trasformazione digitale.
Esplora altri prossimi eventi e webinar sulla tecnologia aziendale forniti da TechForge Qui.
Fonte: www.artificialintelligence-news.com
