Cosa sono i modelli di apprendimento multitasking e come ottimizzarli
Apprendimento multitasking
L'apprendimento multi-task (MTL) (1) è un campo dell'apprendimento automatico in cui utilizziamo un unico modello per apprendere più attività contemporaneamente.
In teoria, l’approccio consente la condivisione delle conoscenze tra compiti e ottiene risultati migliori rispetto alla formazione a compito singolo. Inoltre, poiché il modello cerca di apprendere una rappresentazione per ottimizzare più attività, vi è una minore possibilità di overfitting e, quindi, una migliore generalizzazione.
Il Multitask Learning è un approccio al trasferimento induttivo che migliora la generalizzazione utilizzando le informazioni di dominio contenute nei segnali di addestramento dei compiti correlati come bias induttivo. Lo fa apprendendo compiti in parallelo utilizzando una rappresentazione condivisa; ciò che viene appreso per ciascuna attività può aiutare ad apprendere meglio altre attività. (2)
In pratica, i grandi sistemi di raccomandazione e ricerca spesso misurano la soddisfazione degli utenti sulla base di molteplici parametri, come il tempo di permanenza, la percentuale di clic e la percentuale di clic a lungo termine. Ogni metrica può essere facilmente misurata e ottimizzata, ma la creazione di molti modelli è impegnativa e richiede molte risorse.
MTL è un buon approccio per risolvere questi problemi ad alta dimensione. Inoltre, MTL utilizza meglio le risorse; riduce il calcolo del servizio N volte combinando N attività.
Sfide
Tuttavia, l'addestramento e la messa a punto dei modelli MTL richiedono impegno poiché sono sensibili alla correlazione delle attività. Quando 2 compiti sono vagamente correlati o addirittura hanno obiettivi contrastanti, la conoscenza di un compito può danneggiare il processo di apprendimento dell'altro e viceversa. Questo fenomeno si chiama trasferimento negativo.
Ad esempio, nell'e-commerce, è prassi comune combinare le previsioni sulla percentuale di clic (CTR) e sul tasso di conversione (CVR) in un unico modello. A prima vista, i compiti sembrano avere una forte correlazione. Tuttavia, molti articoli sono stati progettati come clickbait, quindi avranno un CTR elevato ma basso…
Fonte: towardsdatascience.com
