Il fornitore di piattaforme di intelligenza artificiale Clarifai ha presentato una nuova funzionalità di orchestrazione del calcolo che promette di aiutare le aziende a ottimizzare i propri carichi di lavoro di intelligenza artificiale in qualsiasi ambiente informatico, ridurre i costi ed evitare vincoli al fornitore.
Annunciato il 3 dicembre 2024, il rilascio in anteprima pubblica consente alle organizzazioni di orchestrare i carichi di lavoro IA attraverso un piano di controllo unificato, indipendentemente dal fatto che tali carichi di lavoro siano eseguiti su cloud, on-premise o in un'infrastruttura air-gap. La piattaforma può funzionare con qualsiasi modello di intelligenza artificiale e acceleratore hardware, comprese GPU, CPU e TPU.
“Clarifai è sempre stata all’avanguardia, con oltre un decennio di esperienza nel supportare le esigenze delle grandi imprese e dei governi mission-critical con l’intera gamma di strumenti di intelligenza artificiale per creare carichi di lavoro di intelligenza artificiale personalizzati”, disse Matt Zeiler, fondatore e CEO di Clarifai. “Ora stiamo sfruttando le funzionalità che abbiamo creato internamente per ottimizzare i nostri costi di elaborazione mentre cresciamo per servire milioni di modelli contemporaneamente.”
L'azienda afferma che la sua piattaforma può ridurre l'utilizzo del calcolo di 3,7 volte attraverso l'ottimizzazione del model packaging, supportando oltre 1,6 milioni di richieste di inferenza al secondo con un'affidabilità del 99,9997%. Secondo Clarifai, le ottimizzazioni possono potenzialmente ridurre i costi del 60-90%, a seconda della configurazione.
Le funzionalità della piattaforma di orchestrazione del calcolo includono:
- Ottimizzazione dei costi attraverso la gestione automatizzata delle risorse, incluso il confezionamento dei modelli, la semplificazione delle dipendenze e opzioni di scalabilità automatica personalizzabili che possono scalare fino a zero per le repliche dei modelli e i nodi di calcolo,
- Flessibilità di distribuzione attivata qualsiasi hardware fornitore che include infrastrutture cloud, on-premise, air-gapped e Clarifai SaaS,
- Integrazione con la piattaforma AI di Clarifai per etichettatura dei dati, formazione, valutazione, flussi di lavoro e feedback,
- Funzionalità di sicurezza che consentono la distribuzione nei VPC dei clienti o nei cluster Kubernetes on-premise senza richiedere porte in entrata aperte, peering VPC o ruoli IAM personalizzati.
La piattaforma è nata dai problemi dei clienti Clarifai relativi alle prestazioni e ai costi dell'intelligenza artificiale. “Se potessimo pensare in modo olistico e confrontare i nostri costi in sede rispetto ai costi del cloud, e quindi essere in grado di orchestrare tra ambienti in base ai costi, sarebbe incredibilmente prezioso”, ha osservato un cliente, come citato nel comunicato di Clarifai.
Le capacità di orchestrazione del calcolo si basano sulla piattaforma AI esistente di Clarifai che, afferma l'azienda, ha elaborato oltre 2 miliardi di operazioni nella visione artificiale, nel linguaggio e nell'intelligenza artificiale audio. L'azienda dichiara di mantenere un tempo di attività superiore al 99,99% e una disponibilità 24 ore su 24, 7 giorni su 7 per le applicazioni critiche.
La funzionalità di orchestrazione del calcolo è attualmente disponibile in anteprima pubblica. Le organizzazioni interessate a testare la piattaforma devono contattare Clarifai per l'accesso.
Fonte: www.artificialintelligence-news.com
