Una guida completa ai Transformers in Pytorch
Al più tardi dall’avvento del ChatGPT, Modelli linguistici di grandi dimensioni (LLM) hanno creato un enorme clamore e sono noti anche a chi è al di fuori della comunità dell’intelligenza artificiale. Anche se questo bisogna capirlo Gli LLM sono intrinsecamente “semplici” modelli di previsione della sequenza senza alcuna forma di intelligenza o ragionamento: i risultati raggiunti sono certamente estremamente impressionanti, e alcuni parlano addirittura di un altro passo nella “Rivoluzione dell’IA”.
Essenziale per il successo dei LLM sono i loro elementi costitutivi fondamentali, trasformatori. In questo post forniremo una guida completa su come utilizzarli in Pytorch, con particolare attenzione alla previsione delle serie temporali. Grazie per essere passato e spero che ti piaccia il viaggio!
Si potrebbe sostenere che tutti i problemi risolti tramite trasformatori sono essenzialmente problemi di serie temporali. Sebbene ciò sia vero, qui presteremo particolare attenzione alle serie e ai dati continui, come la previsione della diffusione di malattie o le previsioni del tempo. La differenza rispetto all’applicazione prominente dell’elaborazione del linguaggio naturale (PNL) semplicemente (se questa parola è consentita in questo contesto – sviluppare un modello come ChatGPT e farlo funzionare in modo naturale richiede una moltitudine di ulteriori passaggi e trucchi di ottimizzazione) è lo spazio di input continuo, mentre la PNL funziona con token discreti. Tuttavia, a parte questo, gli elementi costitutivi di base sono identici.
In questo post inizieremo con una (breve) introduzione teorica dei trasformatori, per poi passare alla loro applicazione in Pytorch. Per questo, discuteremo un esempio selezionato, vale a dire la previsione della funzione seno. Mostreremo come generare dati per questo e pre-elaborarli correttamente, quindi utilizzare i trasformatori per imparare a prevedere questa funzione. Successivamente, discuteremo come eseguire l’inferenza quando i token futuri non sono disponibili e concluderemo il post estendendo l’esempio ai dati multidimensionali.
L’obiettivo di questo post è fornire un tutorial pratico completo su come utilizzare i trasformatori per casi d’uso reali – e non introdurre e spiegare teoricamente questi modelli interessanti. Vorrei invece fare riferimento a questo fantastico articolo e l’articolo originale (1) (di cui seguiremo l’architettura in tutto questo…
Fonte: towardsdatascience.com
