Come è possibile migliorare l'”apprendimento” e l'”addestramento” delle reti neurali attraverso la messa a punto degli iperparametri
Nel mio post precedente, abbiamo discusso di come reti neurali prevedere e imparare dai dati. Ci sono due processi responsabili di questo: il passaggio in avanti e passaggio all’indietro, noto anche come propagazione all’indietro. Puoi saperne di più qui:
Questo post approfondirà come possiamo ottimizzare questo processo di “apprendimento” e “formazione” per aumentare le prestazioni del nostro modello. Le aree che tratteremo sono miglioramenti computazionali e ottimizzazione degli iperparametri e come implementarlo in PyTorch!
Ma, prima di tutte queste cose belle, rinfreschiamo rapidamente la nostra memoria sulle reti neurali!
Le reti neurali sono grandi espressioni matematiche che cercano di trovare la funzione “giusta” in grado di mappare un insieme di input ai corrispondenti output. Di seguito è illustrato un esempio di rete neurale:
Ciascun neurone dello strato nascosto esegue il seguente calcolo:
- Ingressi: Queste sono le caratteristiche del nostro dataset.
- Pesi: Coefficienti che scalano gli input. L’obiettivo dell’algoritmo è trovare i coefficienti più ottimali discesa del gradiente.
- Somma ponderata lineare: Sommare i prodotti degli input e dei pesi e aggiungere un termine di bias/compensazione, B.
- Livello nascosto: Più neuroni vengono archiviati per apprendere i modelli nel set di dati. L’apice si riferisce allo strato e il pedice al numero di neuroni in quello strato.
Fonte: towardsdatascience.com
