Un nuovo articolo di un ricercatore di intelligenza artificiale di Samsung spiega come una piccola rete può battere i grandi modelli linguistici di grandi dimensioni (LLM) nel ragionamento complesso.
Nella corsa per la supremazia dell’intelligenza artificiale, il mantra del settore è spesso stato “più grande è, meglio è”. I giganti della tecnologia hanno investito miliardi nella creazione di modelli sempre più grandi, ma secondo Alexia Jolicoeur-Martineau di Samsung SAIL Montréal, un percorso radicalmente diverso e più efficiente è possibile con il Tiny Recursive Model (TRM).
Utilizzando un modello con soli 7 milioni di parametri, meno dello 0,01% delle dimensioni dei principali LLM, TRM raggiunge nuovi risultati all’avanguardia su benchmark notoriamente difficili come il test di intelligenza ARC-AGI. Il lavoro di Samsung sfida l’ipotesi prevalente secondo cui la pura scala è l’unico modo per far avanzare le capacità dei modelli di intelligenza artificiale, offrendo un’alternativa più sostenibile ed efficiente in termini di parametri.
Superare i limiti di scala
Sebbene gli LLM abbiano dimostrato un’abilità incredibile nel generare testi simili a quelli umani, la loro capacità di eseguire ragionamenti complessi in più fasi può essere fragile. Poiché generano risposte token per token, un singolo errore nelle prime fasi del processo può far deragliare l’intera soluzione, portando a una risposta finale non valida.
Per mitigare questo problema sono state sviluppate tecniche come la catena di pensiero, in cui un modello “pensa ad alta voce” per risolvere un problema. Tuttavia, questi metodi sono computazionalmente costosi, spesso richiedono grandi quantità di dati di ragionamento di alta qualità che potrebbero non essere disponibili e possono comunque produrre una logica imperfetta. Anche con questi miglioramenti, gli LLM lottano con alcuni enigmi in cui è necessaria una perfetta esecuzione logica.
Il lavoro di Samsung si basa su un recente modello di intelligenza artificiale noto come modello di ragionamento gerarchico (HRM). L’HRM ha introdotto un nuovo metodo che utilizza due piccole reti neurali che lavorano ricorsivamente su un problema a frequenze diverse per perfezionare una risposta. Si rivelò molto promettente ma era complicato, basandosi su argomentazioni biologiche incerte e complessi teoremi di punto fisso la cui applicazione non era garantita.
Invece delle due reti HRM, TRM utilizza un’unica, minuscola rete che migliora ricorsivamente sia il suo “ragionamento” interno che la sua “risposta” proposta.
Al modello viene fornita la domanda, un’ipotesi iniziale sulla risposta e una caratteristica di ragionamento latente. Per prima cosa esegue diversi passaggi per affinare il suo ragionamento latente basato su tutti e tre gli input. Quindi, utilizzando questo ragionamento migliorato, aggiorna la sua previsione per la risposta finale. L’intero processo può essere ripetuto fino a 16 volte, consentendo al modello di correggere progressivamente i propri errori in modo altamente efficiente dal punto di vista dei parametri.
Controintuitivamente, la ricerca ha scoperto che una piccola rete con solo due strati raggiungeva una generalizzazione molto migliore rispetto a una versione a quattro strati. Questa riduzione delle dimensioni sembra impedire un adattamento eccessivo del modello; un problema comune durante l’addestramento su set di dati più piccoli e specializzati.
TRM rinuncia inoltre alle complesse giustificazioni matematiche utilizzate dal suo predecessore. Il modello originale di gestione delle risorse umane richiedeva il presupposto che le sue funzioni convergessero verso un punto fisso per giustificare il suo metodo di formazione. TRM lo aggira completamente semplicemente propagandosi all’indietro attraverso il suo processo di ricorsione completo. Questo cambiamento da solo ha fornito un enorme incremento delle prestazioni, migliorando la precisione del benchmark Sudoku-Extreme dal 56,5% all’87,4% in uno studio sull’ablazione.
Il modello di Samsung supera i benchmark dell’intelligenza artificiale con meno risorse
I risultati parlano da soli. Sul set di dati Sudoku-Extreme, che utilizza solo 1.000 esempi di allenamento, TRM raggiunge una precisione del test dell’87,4%, un enorme salto rispetto al 55% di HRM. Su Maze-Hard, un compito che prevede la ricerca di lunghi percorsi attraverso labirinti 30×30, TRM ottiene un punteggio dell’85,3% rispetto al 74,5% di HRM.
In particolare, TRM fa passi da gigante con l’ARC-AGI (Abstraction and Reasoning Corpus), un punto di riferimento progettato per misurare la vera intelligenza fluida nell’intelligenza artificiale. Con soli parametri 7M, TRM raggiunge una precisione del 44,6% su ARC-AGI-1 e del 7,8% su ARC-AGI-2. Ciò supera l’HRM, che utilizzava un modello di parametri da 27 milioni, e supera persino molti dei più grandi LLM del mondo. Per fare un confronto, Gemini 2.5 Pro ottiene solo il 4,9% su ARC-AGI-2.
È stato inoltre reso più efficiente il processo formativo per TRM. Un meccanismo adattivo chiamato ACT – che decide quando il modello ha migliorato sufficientemente una risposta e può passare a un nuovo campione di dati – è stato semplificato per eliminare la necessità di un secondo, costoso passaggio in avanti attraverso la rete durante ogni fase di addestramento. Questa modifica è stata apportata senza grandi differenze nella generalizzazione finale.
Questa ricerca di Samsung presenta un argomento convincente contro l’attuale traiettoria dei modelli di intelligenza artificiale in continua espansione. Dimostra che progettando architetture in grado di ragionare e autocorreggersi in modo iterativo, è possibile risolvere problemi estremamente difficili con una piccola frazione delle risorse computazionali.
Vedi anche: Il nuovo agente AI di Google riscrive il codice per automatizzare le correzioni delle vulnerabilità
Vuoi saperne di più sull’intelligenza artificiale e sui big data dai leader del settore? Guardare Fiera dell’intelligenza artificiale e dei big data che si svolge ad Amsterdam, in California, e a Londra. L’evento completo è parte di TechEx ed è situato in concomitanza con altri importanti eventi tecnologici tra cui Fiera della sicurezza informaticaclic Qui per ulteriori informazioni
AI News è alimentato da Media TechForge. Esplora altri prossimi eventi e webinar sulla tecnologia aziendale Qui.
Fonte: www.artificialintelligence-news.com
