LLM di Meta impara da solo a chiamare API esterne
Ora che la situazione si è calmata, i punti deboli degli LLM sono noti.
Anche il potente GPT-4 ha difficoltà con le operazioni matematiche.
Inoltre, il tempo limite per la formazione è una debolezza intrinseca di ogni LLM. Fanno fatica a rispondere a domande su cose nuove.
Una soluzione allentata consiste nell’utilizzare plugin esterni (ad esempio plugin ChatGPT). Tuttavia, l’utente deve specificare manualmente alcune azioni e questi plugin a volte sono inaffidabili.
E se esistesse un modello che conoscesse i propri punti deboli ed fosse addestrato a farlo? nativamente chiamare lo strumento esterno ottimale in caso di incertezza?
Questo è quello che ha fatto Meta, creando StrumentoFormatore(1).
In questo articolo, discutiamo:
- Cos’è ToolFormer e perché è una svolta?
- Come funziona il modello.
- Come la metodologia di ToolFormer può essere applicata a qualsiasi LLM.
- Perché la ricerca sull’intelligenza artificiale va verso la visione di ToolFormer.
Immergiamoci.
Prima di iniziare a descrivere ToolFormer, esploriamo i problemi che devono affrontare i moderni LLM:
- Progressione del tempo: Ogni LLM ha una data limite per la formazione. Pertanto, non possono accedere a informazioni aggiornate ed eventi recenti.
- Fatti errati: I LLM sono famosi per inventare fatti, luoghi, eventi, prodotti e persino documenti di ricerca.
- Operazioni aritmetiche: Gli LLM hanno difficoltà con i calcoli matematici.
- Lingue rare: I LLM non sono in grado di gestire lingue con risorse limitate, solitamente a causa della mancanza di dati di formazione.
Ovviamente, questi problemi sono irrilevanti per la meccanica del linguaggio. Una soluzione ideale sarebbe quella di combinare la generazione di testo con strumenti esterni.
Ecco che arriva ToolFormer.
ToolFormer è un LLM, addestrato per decidere quali API chiamare, quando chiamarle e quali argomenti passare per chiamarle.
Fonte: towardsdatascience.com
