Quando le capacità di estrapolazione di ReLU non sono sufficienti
È noto che le reti neurali sono ottimi approssimatori per qualsiasi funzione, almeno ogni volta che noi non allontanarci troppo dal nostro set di dati. Vediamo cosa significa. Ecco alcuni dati:
Non solo sembra un’onda sinusoidale, ma in realtà lo è, con l’aggiunta di qualche rumore. Ora possiamo addestrare una normale rete neurale feed-forward con 1 strato nascosto con 1000 neuroni e attivazione ReLU. Otteniamo il seguente adattamento:
Sembra abbastanza decente, a parte i bordi. Noi Potevo risolvere questo problema aggiungendo più neuroni allo strato nascosto secondo Cybenko teorema di approssimazione universale. Ma voglio segnalarti un’altra cosa:
Noi Potevo sostengono ora che questo comportamento di estrapolazione è Cattivo se assumiamo che il modello d’onda continui al di fuori dell’intervallo osservato. Ma se non c’è conoscenza del dominio o più dati a cui possiamo ricorrere, sarebbe solo questo: un presupposto.
Tuttavia, nel resto di questo articolo, noi Volere supponiamo che qualsiasi modello periodico che possiamo rilevare all’interno dei dati continui anche all’esterno. Questo è un presupposto comune quando si realizzano serie temporali modellazionedove naturalmente vogliamo estrapolare nel futuro. Partiamo dal presupposto che qualsiasi stagionalità osservata nei dati di addestramento continuerà così, perché cos’altro possiamo dire senza ulteriori informazioni? In questo articolo, voglio mostrarti come utilizzare funzioni di attivazione basate sul seno aiuta a inserire questa ipotesi nel modello.
Ma prima di andare lì, approfondiamo brevemente il modo in cui le reti neurali basate su ReLU estrapolano in generale e perché non dovremmo usarle per la previsione delle serie temporali così come sono.
Fonte: towardsdatascience.com
