Scopri l'architettura di Time-LLM e applicala in un progetto di previsione con Python
Non è la prima volta che i ricercatori tentano di applicare tecniche di elaborazione del linguaggio naturale (NLP) al campo delle serie temporali.
Ad esempio, l'architettura Transformer ha rappresentato una pietra miliare significativa nella PNL, ma le sue prestazioni nella previsione delle serie temporali sono rimaste nella media, fino al PatchTST è stato proposto.
Come sapete, i modelli linguistici di grandi dimensioni (LLM) vengono sviluppati attivamente e hanno dimostrato impressionanti capacità di generalizzazione e ragionamento nella PNL.
Pertanto, vale la pena esplorare l’idea di riproporre un LLM per la previsione delle serie temporali, in modo da poter beneficiare delle capacità di questi grandi modelli pre-addestrati.
A quello scopo, Tempo-LLM è stato proposto. Nel documento originale, i ricercatori propongono un quadro per riprogrammare un LLM esistente per eseguire previsioni di serie temporali.
In questo articolo, esploriamo l'architettura di Time-LLM e come può effettivamente consentire a un LLM di prevedere i dati delle serie temporali. Quindi, implementiamo il modello e lo applichiamo in un piccolo progetto di previsione.
Per maggiori dettagli, assicurati di leggere il carta originale.
Iniziamo!
Time-LLM è da considerare più come un framework che come un modello vero e proprio con un'architettura specifica.
Di seguito è riportata la struttura generale di Time-LLM.
L'intera idea alla base di Time-LLM è quella di riprogrammare un modello di base linguistica visibile e incorporata, come LLaMA o GPT-2.
Si noti che questo è diverso dalla messa a punto del LLM. Invece, insegniamo al LLM a prendere una sequenza di input di fasi temporali e previsioni di output su un determinato orizzonte. Ciò significa che il LLM stesso rimane invariato.
Ad alto livello, Time-LLM inizia tokenizzando la sequenza delle serie temporali di input con un livello di incorporamento di patch personalizzato. Queste patch vengono quindi inviate tramite…
Fonte: towardsdatascience.com
