Avvio di hardware AI Cervelli ha creato una nuova soluzione di inferenza AI che potrebbe potenzialmente rivaleggiare con le GPU offerte da Nvidia per le aziende.
Lo strumento Cerebras Inference si basa sul Wafer-Scale Engine dell'azienda e promette di offrire prestazioni sbalorditive. Secondo alcune fonti, lo strumento ha raggiunto velocità di 1.800 token al secondo per Llama 3.1 8B e 450 token al secondo per Llama 3.1 70B. Cerebras sostiene che queste velocità non sono solo più veloci dei soliti prodotti cloud hyperscale richiesti per generare questi sistemi dalle GPU di Nvidia, ma sono anche più convenienti.
Si tratta di un cambiamento importante che attinge al mercato dell'intelligenza artificiale generativacome ha affermato l'analista di Gartner Arun Chandrasekaran. Mentre in precedenza l'attenzione di questo mercato era rivolta alla formazione, attualmente si sta spostando verso il costo e la velocità dell'inferenza. Questo spostamento è dovuto alla crescita dei casi d'uso dell'IA in contesti aziendali e offre una grande opportunità per i fornitori di prodotti e servizi di IA come Cerebras di competere in base alle prestazioni.
Come afferma Micah Hill-Smith, co-fondatore e CEO di Artificial Analysis, Cerebras ha davvero brillato nei suoi benchmark di inferenza AI. Le misurazioni dell'azienda hanno raggiunto oltre 1.800 token di output al secondo su Llama 3.1 8B e l'output su Llama 3.1 70B è stato di oltre 446 token di output al secondo. In questo modo, hanno stabilito nuovi record in entrambi i benchmark.
Tuttavia, nonostante i potenziali vantaggi in termini di prestazioni, Cerebras deve affrontare sfide significative nel mercato aziendale. Lo stack software e hardware di Nvidia domina il settore ed è ampiamente adottato dalle aziende. David Nicholson, analista di Futurum Group, sottolinea che mentre il sistema wafer-scale di Cerebras può offrire prestazioni elevate a un costo inferiore rispetto a Nvidia, la domanda chiave è se le aziende sono disposte ad adattare i propri processi di ingegneria per lavorare con il sistema di Cerebras.
La scelta tra Nvidia e alternative come Cerebras dipende da diversi fattori, tra cui la scala delle operazioni e il capitale disponibile. Le aziende più piccole probabilmente sceglieranno Nvidia poiché offre soluzioni già consolidate. Allo stesso tempo, le aziende più grandi con più capitale potrebbero optare per quest'ultima per aumentare l'efficienza e risparmiare sui costi.
Mentre il mercato dell'hardware AI continua a evolversi, Cerebras dovrà anche affrontare la concorrenza di provider cloud specializzati, hyperscaler come Microsoft, AWS e Google e provider di inferenza dedicati come Groq. L'equilibrio tra prestazioni, costi e facilità di implementazione probabilmente plasmerà le decisioni aziendali nell'adozione di nuove tecnologie di inferenza.
L'emergere dell'inferenza AI ad alta velocità, in grado di superare i 1.000 token al secondo, equivale allo sviluppo di Internet a banda larga, che potrebbe aprire una nuova frontiera per le applicazioni AI. La precisione a 16 bit e le capacità di inferenza più rapide di Cerebras potrebbero consentire la creazione di future applicazioni AI in cui interi agenti AI devono operare rapidamente, ripetutamente e in tempo reale.
Con la crescita del campo dell'IA, anche il mercato dell'hardware di inferenza dell'IA si sta espandendo. Rappresentando circa il 40% del mercato hardware dell'IA totale, questo segmento sta diventando un obiettivo sempre più redditizio all'interno del più ampio settore dell'hardware dell'IA. Dato che le aziende più importanti occupano la maggior parte di questo segmento, molti nuovi arrivati dovrebbero considerare attentamente gli aspetti importanti di questo panorama competitivo, considerando la natura competitiva e le risorse significative richieste per navigare nello spazio aziendale.
(Foto di Timothy Dighe)
Vedi anche: L'intelligenza artificiale sovrana riceve una spinta dai nuovi microservizi NVIDIA
Vuoi saperne di più sull'intelligenza artificiale e sui big data dai leader del settore? Guardare Fiera AI e Big Data che si svolge ad Amsterdam, California e Londra. L'evento completo è co-localizzato con altri eventi leader tra cui Conferenza sull'automazione intelligente, BloccoX, Settimana della Trasformazione DigitaleE Fiera della sicurezza informatica e del cloud.
Esplora altri prossimi eventi e webinar sulla tecnologia aziendale forniti da TechForge Qui.
Fonte: www.artificialintelligence-news.com
