Come abbiamo visto, non è una bella lettura se sei un fan di Prophet: lo strumento di Meta riesce a strappare alcune pieghe (dipendenti dalla metrica) per evitare una completa imbiancatura. Commentatori imparziali potrebbero suggerire un ritorno alla clubhouse per rivalutare la tattica.
Anche se il risultato non è eccezionale per Prophet, ci sono alcuni motivi per cui ci si può aspettare prestazioni come questa.
Le caratteristiche
Il modello LASSO utilizza funzionalità appositamente progettate per questa particolare serie temporale. L’insieme di funzionalità di input a sua disposizione è essenzialmente un superset di ciò che è disponibile su Prophet con un piccolo extra in più.
Inoltre, alcune funzionalità sono leggermente diverse nel modello LASSO. Ad esempio, le caratteristiche che descrivono potenziali punti di cambiamento non sono così vincolate nel LASSO come lo sono nel modello Prophet.
Consideralo come un tentativo di indovinare qualcun altro, sapendone meno – o leggermente diverso – da lui. Non così semplice.
La modellazione
I dati out-of-fold non sono così “invisibili” come ho immaginato.
In un articolo precedente abbiamo trattato la parametrizzazione del modello LASSO: come utilizziamo i dati out-of-fold per selezionare la forza della regolarizzazione che ha ottimizzato la capacità di previsione del modello. In questo senso il modello LASSO è stato messo a punto per prevedere bene ogni taglio dei dati, mentre il modello Prophet è stato gettato direttamente fuori dagli schemi e nel profondo.
Negli esercizi “normali” di ottimizzazione degli iperparametri, di solito possiamo aspettarci di vedere aumenti delle prestazioni di circa l’1% – 2%; l’aumento delle prestazioni in un contesto di serie temporali è probabilmente molto maggiore poiché “out-of-fold” è in realtà “out-of-time”.
È ora di concludere la giornata con Prophet, allora?
Non così in fretta… questa serie di articoli ha sicuramente evidenziato alcune cose: parliamone alcune.
Fuori dagli schemi, Prophet funziona incredibilmente BENE. Sebbene possa effettivamente essere battuto, ci vuole un po’ di lavoro per farlo, molto più delle 10 righe di codice necessarie per far funzionare Prophet e fare previsioni.
L’interpretabilità del modello LASSO è di gran lunga superiore a quella disponibile da Prophet. Sì, Prophet ci fornisce stime dell’incertezza per le previsioni, ma non possiamo dire cosa stia effettivamente guidando le previsioni. Non sono nemmeno sicuro che riusciremo a sottoporre Prophet allo SHAP.
Ho anche scoperto che Prophet non è così semplice da accordare. Forse è perché non sono un utente avanzato del pacchetto, o forse è a causa del modo indiretto in cui è necessario ottimizzare i parametri. Questo non è certamente il caso del modello LASSO.
Sebbene l’approccio LASSO rappresenti probabilmente un miglioramento in termini di prestazioni e interpretabilità, forse ciò di cui abbiamo veramente bisogno è utilizzare entrambi gli approcci: l’uno come cartina di tornasole per l’altro. Ad esempio, se un modello di Profeta “ingenuo” produce previsioni sensate, potrebbe essere ragionevole replicare l’approccio LASSO (il “Falso Profeta”) per massimizzare le prestazioni.
Fonte: towardsdatascience.com
