I recenti progressi esponenziali nelle capacità di elaborazione del linguaggio naturale da parte di modelli linguistici di grandi dimensioni (LLM) hanno suscitato un enorme entusiasmo riguardo al loro potenziale per raggiungere un’intelligenza di livello umano. La loro capacità di produrre testi straordinariamente coerenti e di impegnarsi in un dialogo dopo l’esposizione a vasti set di dati sembra puntare verso capacità di ragionamento flessibili e di carattere generale.
Tuttavia, un crescente coro di voci invita alla cautela contro l’ottimismo incontrollato, evidenziando i punti ciechi fondamentali che limitano gli approcci neurali. Gli LLM commettono ancora spesso errori logici e matematici di base che rivelano una mancanza di sistematicità dietro le loro risposte. La loro conoscenza rimane intrinsecamente statistica senza strutture semantiche più profonde.
Compiti di ragionamento più complessi espongono ulteriormente queste limitazioni. Gli LLM lottano con sfide di ragionamento causale, controfattuale e compositivo che richiedono di andare oltre il riconoscimento dei modelli superficiali. A differenza degli esseri umani che apprendono schemi astratti per ricombinare in modo flessibile concetti modulari, le reti neurali memorizzano le correlazioni tra termini ricorrenti. Ciò si traduce in una generalizzazione fragile al di fuori delle distribuzioni di addestramento ristrette.
L’abisso sottolinea come la cognizione umana utilizzi rappresentazioni simboliche strutturate per consentire componibilità sistematica e modelli causali per concettualizzare le dinamiche. Ragioniamo manipolando concetti simbolici modulari basati su regole di inferenza valide, concatenando dipendenze logiche, sfruttando simulazioni mentali e postulando meccanismi che mettono in relazione le variabili. La natura intrinsecamente statistica delle reti neurali preclude lo sviluppo di un simile ragionamento strutturato.
Resta misterioso il modo in cui i fenomeni di tipo simbolico emergono negli LLM nonostante il loro substrato subsimbolico. Ma un riconoscimento più chiaro di questo “gap di ibridità” è imperativo. Il vero progresso richiede l’adozione di punti di forza complementari – la flessibilità degli approcci neurali con rappresentazioni strutturate della conoscenza e tecniche di ragionamento causale – per creare sistemi di ragionamento integrati.
Per prima cosa descriviamo il crescente coro di analisi che mettono in luce la mancanza di sistematicità, comprensione causale e generalizzazione compositiva delle reti neurali, sottolineando le differenze rispetto alle facoltà umane innate.
Successivamente, descriviamo in dettaglio gli aspetti salienti del “gap di ragionamento”, comprese le difficoltà con l’orchestrazione delle abilità modulari, il dipanamento delle dinamiche e la simulazione controfattuale. Facciamo emergere le capacità umane innate…
Fonte: towardsdatascience.com
