Come ridurre il budget dei token senza ridurre la squadra | Intelligenza-Artificiale

Jensen Huang ha un test per stabilire se vale la pena mantenere un ingegnere e viene fornito con un budget simbolico allegato. Intervenendo sull’All-In Podcast alla chiusura del GTC 2026, l’amministratore delegato di Nvidia ha affermato che se il consumo annuale di token AI di un ingegnere da 500.000 dollari fosse inferiore alla metà del suo stipendio, “sarei profondamente allarmato”. Nvidia, ha confermato, sta lavorando per ottenere una cifra simbolica di 2 miliardi di dollari all’anno per la sua forza ingegneristica.

Stava descrivendo un compromesso che la maggior parte delle aziende ha già fatto con meno clamore: il denaro che una volta pagava le persone paga sempre più i gettoni. I quattro hyperscaler più grandi hanno guidato circa 700 miliardi di dollari in spese in conto capitale combinate nel 2026, quasi il doppio dello scorso anno, mentre i dati della società di outplacement Challenger, Gray & Christmas spettacoli L’intelligenza artificiale come motivo più citato per i tagli di posti di lavoro negli Stati Uniti per il quarto mese consecutivo, un record.

Un metamemo interno ottenuto da Reuters ha descritto i tagli di 8.000 ruoli di May come una compensazione dei sostanziali investimenti dell’azienda, in un trimestre in cui i ricavi sono cresciuti del 33%. I licenziamenti in aziende come queste non sono misure di sopravvivenza. Stanno finanziando.

Il problema è che il finanziamento non ha mantenuto ciò che aveva promesso. Gartner ha intervistato 350 dirigenti di aziende con oltre 1 miliardo di dollari di fatturato, che utilizzavano tutti agenti di intelligenza artificiale o automazione, e ha scoperto che circa l’80% aveva tagliato il personale con nessuna correlazione a rendimenti migliori. Il verdetto dell’analista Helen Poitevin è stato schietto: “Le riduzioni della forza lavoro possono creare margini di bilancio, ma non creano ritorni”.

Uber ha imparato l’aspetto simbolico di quella lezione in modo costoso, fornendo a 5.000 ingegneri strumenti di codifica AI a dicembre ed esaurendo l’intero budget AI 2026 entro aprile. Il direttore operativo Andrew Macdonald ha ammesso che, nonostante il 70% del codice impegnato sia generato dall’intelligenza artificiale, manca il collegamento con tutto ciò che i clienti notano: “Quel collegamento non c’è ancora”.

Metti questi due fallimenti fianco a fianco e il problema reale verrà messo a fuoco. Le aziende consideravano la banconota simbolica come fissa e la forza lavoro come flessibile, quando è vero il contrario. I tagli alle buste paga avvengono una volta e portano con sé la conoscenza istituzionale. Un budget simbolico, a quanto pare, si piega in una mezza dozzina di posti se qualcuno si prende la briga di architettarlo.

Dove il budget simbolico si piega

La soluzione più economica è anche la meno affascinante: smettere di pagare per elaborare ripetutamente lo stesso testo. La memorizzazione nella cache, ora standard tra i principali fornitori di API, riduce il costo degli input ripetuti fino al 90% secondo i prezzi pubblicati di Anthropic e OpenAI, perché i contenuti statici come le istruzioni di sistema e i documenti di riferimento vengono elaborati una volta e riletti a una frazione della velocità.

La società di sicurezza ProjectDiscovery ha documentato un aumento del tasso di successo della cache dal 7% all’84% attraverso la ristrutturazione, riducendo la spesa totale LLM dal 59 al 70% e servendo 9,8 miliardi di token dalla cache. Quel singolo esercizio di ingegneria ha recuperato più budget di quanto risparmiato dalla maggior parte dei turni di licenziamento attribuiti all’intelligenza artificiale.

La leva successiva è indirizzare il lavoro al modello della giusta dimensione. I listini prezzi dei fornitori mostrano modelli di punta che costano cinque volte i loro fratelli più piccoli per token, ma molti carichi di lavoro di produzione inviano la classificazione e il riepilogo di routine al livello più costoso per impostazione predefinita. L’elaborazione batch aggiunge un ulteriore sconto del 50% per tutto ciò che non necessita di una risposta in tempo reale.

La generazione aumentata con recupero attacca il problema da un’altra angolazione inviando al modello solo la parte rilevante di una base di conoscenza anziché il tutto, e la compressione tempestiva elimina gli esempi ridondanti che gonfiano ogni chiamata. I modelli open-weight riducono ulteriormente i costi, gestendo i carichi di lavoro di routine a una frazione dei prezzi API di frontiera per i team disposti a gestire l’infrastruttura.

Queste misure sono semplicemente l’equivalente AI dello spegnere le luci nelle stanze vuote, e il tetto mensile di 1.500 dollari per ingegnere imposto da Uber – imposto dopo il superamento di aprile – è la prima prova che la disciplina della spesa alla fine arriva. Le aziende che vanno avanti semplicemente lo scelgono prima che il budget lo imponga.

L’altra metà della soluzione è umana

Ottimizzare la fattura simbolica è importante solo se i risparmi vanno in qualche direzione produttiva, e le prove più forti puntano alle persone. La ricerca di Poitevin ha scoperto che le organizzazioni che hanno migliorato il ROI erano quelle che utilizzavano l’intelligenza artificiale per amplificare la propria forza lavoro anziché sostituirla.

Klarna ha eseguito l’esperimento controllato per conto di tutti, sostituendo circa 700 ruoli del servizio clienti con un assistente basato su OpenAI prima che la soddisfazione del cliente diminuisse. Lo ha detto l’amministratore delegato Sebastian Siemiatkowski Bloomberg ciò che pochi dirigenti ammettono ad alta voce: “Il risultato è stata una qualità inferiore, e questo non è sostenibile”.

Il fintech ora utilizza un modello misto, in cui l’intelligenza artificiale assorbe il volume di routine mentre gli esseri umani riassunti gestiscono tutto ciò che richiede giudizio. Gartner prevede che questo modello si diffonda, prevedendo che entro il 2027 la metà delle aziende che taglieranno il personale del servizio clienti per l’intelligenza artificiale lo riassumeranno.

C’è un investimento in forza lavoro che la logica di ottimizzazione rende urgente anziché facoltativo. Istituto per l’intelligenza artificiale centrata sull’uomo dell’Università di Stanford trovato l’occupazione per gli sviluppatori di software di età compresa tra 22 e 25 anni è scesa di quasi il 20% rispetto ai livelli del 2024, anche se sono cresciute le coorti più anziane, il che significa che le aziende stanno rimuovendo il campo di formazione per gli ingegneri senior di cui avranno bisogno per dirigere tutti questi sistemi in cinque anni.

Un’azienda che ha appena ottenuto uno sconto del 60% sulla sua fattura simbolica ha il margine di budget per continuare ad assumere al gradino più basso. Se lo farà è una decisione di leadership, non finanziaria.

La provocazione di Huang di Nvidia continuerà a riecheggiare attraverso le richieste di utili e i numeri di capex continueranno a salire. Le aziende che usciranno avanti non saranno quelle che hanno speso di più in token o che hanno tagliato il maggior numero di persone per permetterseli: saranno quelle che hanno notato che il budget dei token era la linea flessibile fin dall’inizio, lo hanno spremuto con l’ingegneria piuttosto che con l’organico, e hanno speso la differenza per le persone che fanno sì che i token valgano qualcosa.

(Immagine di kate.sade)

Vedi anche: Gli addebiti IA per token arrivano a GitHub Copilot

Vuoi saperne di più sull’intelligenza artificiale e sui big data dai leader del settore? Guardare Fiera dell’intelligenza artificiale e dei big data che si svolge ad Amsterdam, in California, e a Londra. L’evento completo è parte di TechEx ed è situato in concomitanza con altri importanti eventi tecnologici tra cui Fiera sulla sicurezza informatica e sul cloud. Clic Qui per ulteriori informazioni

AI News è alimentato da Media TechForge. Esplora altri prossimi eventi e webinar sulla tecnologia aziendale Qui.