Un approfondimento sulle ultime tecnologie utilizzate per debiasare i modelli di ranking
I sistemi di raccomandazione sono oggi tra le applicazioni di machine learning più diffuse al mondo. Tuttavia, i modelli di classificazione sottostanti sono afflitti numerosi pregiudizi ciò può limitare gravemente la qualità delle raccomandazioni risultanti. Il problema della creazione di ranking imparziali, noto anche come imparziale apprendimento del ranking, ULTR, rimane uno dei problemi di ricerca più importanti all’interno del ML ed è ancora lungi dall’essere risolto.
In questo post, approfondiremo un particolare approccio di modellazione che, relativamente di recente, ha consentito al settore di controllare i pregiudizi in modo molto efficace e quindi di costruire sistemi di raccomandazione di gran lunga superiori: il modello a due torri, in cui una torre apprende la pertinenza e l’altra (superficiale) la torre apprende i pregiudizi.
Sebbene i modelli a due torri siano probabilmente utilizzati nel settore da diversi anni, il primo documento a presentarli formalmente alla più ampia comunità di ML è stato il documento PAL 2019 di Huawei.
PAL (Huawei, 2019) — il modello OG a due torri
Il documento di Huawei AMICO (“Imparare a classificare in base alla posizione”) considera il problema del bias di posizione nel contesto dell’app store Huawei.
La distorsione della posizione è stata osservata più e più volte nei modelli di classificazione di tutto il settore. Significa semplicemente che è più probabile che gli utenti facciano clic sugli elementi visualizzati per primi. Ciò potrebbe essere dovuto al fatto che hanno fretta, perché si fidano ciecamente dell’algoritmo di classificazione o per altri motivi. Ecco un grafico che dimostra la distorsione di posizione nei dati di Huawei:
Il bias di posizione è un problema perché semplicemente non possiamo sapere se gli utenti hanno cliccato sul primo elemento perché era effettivamente il più rilevante per loro o perché è stato mostrato per primo – e nei sistemi di raccomandazione miriamo a risolvere il precedente obiettivo di apprendimento, non quello più recente.
La soluzione proposta nel documento PAL è quella di fattorizzare il problema dell’apprendimento come
p(click|x,position) = p(click|seen,x) x p(seen|position),
Fonte: towardsdatascience.com
