Metriche chiave per ottimizzare il tuo motore di ricerca
- introduzione
- Precisione@K
- Precisione media media (MAP)
- Grado reciproco medio (MRR)
- Guadagno cumulativo scontato normalizzato (NDCG)
- Analisi comparativa
- Riepilogo
- Riferimenti
Dichiarazione di non responsabilità: le opinioni qui espresse sono mie e non riflettono necessariamente le opinioni del mio datore di lavoro o di qualsiasi altra organizzazione. Tutte le immagini sono dell'autore, tranne dove indicato.
Garantire che gli utenti trovino le informazioni di cui hanno bisogno in modo rapido ed efficiente è fondamentale per un'esperienza di ricerca di successo. Quando gli utenti trovano ciò che cercano in modo rapido e semplice, l'esperienza si traduce in un'esperienza positiva.
Inoltre, anche la posizione in classifica dei risultati rilevanti gioca un ruolo cruciale: quanto più in alto appaiono, tanto più preziosi sono per l’utente. Ciò si traduce in un aumento del coinvolgimento degli utenti, delle conversioni e della soddisfazione complessiva del sito web.
Questo articolo esplora le metriche chiave utilizzate per valutare la pertinenza e il posizionamento della ricerca, consentendoti di ottimizzare il tuo motore di ricerca e offrire un'esperienza utente superiore.
Per dimostrare in modo pratico il concetto di pertinenza della ricerca, consideriamo un utente che cerca “piatti di pasta” su un motore di ricerca. Per semplicità, analizzeremo i primi cinque risultati restituiti dal motore. I risultati rilevanti saranno indicati in verde, mentre quelli ritenuti irrilevanti saranno evidenziati in rosso (fare riferimento alla Figura 1). Utilizzeremo la notazione Rn per rappresentare l'ennesimo risultato.
Precision@K misura quanti risultati sono rilevanti nelle prime posizioni K. Calcoliamo la precisione per diversi valori di K, come mostrato nella Figura 2.
Precision@K = Numero di risultati rilevanti nelle prime K posizioni / K
Precisione@1 = 1/1
Precisione@3 = 1/3
Precisione@5 = 2/5
MAP considera l'ordine di classificazione dei risultati rilevanti.
Innanzitutto, Precision@K viene calcolata per ciascuna di queste posizioni dei risultati rilevanti. Quindi la Precisione media@K si ottiene sommando la Precisione@K per ciascuna di queste posizioni dei risultati rilevanti e dividendola per il numero totale di pertinente elementi nei primi K risultati. Per brevità, nella discussione faremo occasionalmente riferimento alla precisione media come AP.
Per comprendere più a fondo il modo in cui MAP valuta l'efficacia del posizionamento, esploriamo esempi illustrativi in tre distinte query di ricerca. Questi esempi metteranno in evidenza come l'ordine in cui vengono presentati i risultati influenza il punteggio MAP.
AP@5_Query_1 = (Precisione@1 + Precisione@3 + Precisione@5) / 3
AP@5_Query_1 = (1 + 0,67 + 0,6) / 3 = 0,76
AP@5_Query_2 = (Precisione@1 + Precisione@2 + Precisione@5) / 3
AP@5_Query_2 = (1 + 1 + 0,6) / 3 = 0,87
AP@5_Query_3 = (Precisione@3 + Precisione@4 + Precisione@5) / 3
AP@5_Query_3 = (0,33 + 0,5 + 0,6) / 3 = 0,47
I risultati per la query 2 mostrano la precisione media più alta@5, indicando che gli elementi più rilevanti sono posizionati all'inizio dell'elenco classificato.
MAP = media della precisione media in tutte le query nel set di dati.
MAP@5 = (AP@5_Query_1 + AP@5_Query_2 + AP@5_Query_3) / Numero di query
MAP@5 del set di dati = (0,76 + 0,87 + 0,47) / 3 = 0,7
Questo calcolo considera tutte le query ugualmente importanti. Tuttavia, se alcune query sono più critiche, è possibile utilizzare metodi di ponderazione diversi all'interno del processo MAP per assegnarne la priorità.
L'MRR considera solo il rango del primo risultato rilevante trovato nell'elenco.
K = Grado del primo risultato rilevante
Punteggio reciproco = 1 / K
L'MRR è il punteggio reciproco medio su più query. Se non esiste alcun risultato rilevante, il rango del primo risultato rilevante viene considerato infinito. Pertanto il punteggio reciproco diventa 0.
Il punteggio reciproco di un risultato rilevante è una funzione inversa del suo rango.
MRR del set di dati = (0,5 + 1 + 0,33) / 3 = 0,61
L'NDCG tiene conto della rilevanza graduata dei risultati. La rilevanza di ciascun risultato è rappresentata da un punteggio (noto anche come “voto”). Il valore di NDCG viene determinato confrontando la pertinenza dei risultati restituiti da un motore di ricerca con la pertinenza dei risultati che un motore di ricerca ritornerebbe l’ipotetico motore di ricerca “ideale”.
Supponiamo di avere una scala di pertinenza/valutazione da 1 a 5, dove 5 è il punteggio più alto e 1 è il punteggio più basso. Cerchiamo “piatti di pasta” e classifichiamo manualmente i risultati della ricerca fornendo loro un punteggio di pertinenza, come mostrato nella Figura 7. Nel nostro esempio, R3 è il risultato più rilevante, con un punteggio di 5.
Guadagno cumulativo@5 = 4 + 1 + 5 + 1 + 3 = 14
Il guadagno cumulativo non prende in considerazione la classifica.
Guadagno cumulativo scontato@K = A sconto logaritmico viene applicato un valore che aiuta ad assegnare un guadagno inferiore quando gli elementi rilevanti compaiono più in basso nell'elenco classificato, come mostrato nella Figura 8.
Dove rel(i) è il punteggio di rilevanza del risultato nella posizione i.
DCG@K = 4/1 + 1/1,585 + 5/2 + 1/2,322+ 3/2,585 = 8,72
Il valore assoluto del DCG dipende dal numero di risultati nell'elenco e dai punteggi di rilevanza assegnati. Per risolvere questo problema, la DCG può essere normalizzata. Per ottenere il DCG normalizzato (NDCG), dividiamo il DCG per il DCG ideale (IDCG) per il set di risultati specificato, come mostrato nella Figura 9. IDCG considera gli stessi punteggi di pertinenza, ma calcola il DCG assumendo il miglior ordine di classificazione assoluto per quei risultati. Il miglior ordine di classifica per l'esempio sopra sarebbe: R3 → R1 → R5 → R2 → R4.
IDCG@K = 5/1 + 4/1,585 + 3/2 + 1/2,322 + 1/2,585 = 9,83
NDCG@K = 8,72/9,83 = 0,88
L'NDCG tiene conto della pertinenza graduata dei risultati, fornendo una comprensione più sfumata della qualità del ranking di ricerca.
Oltre ai parametri di cui sopra, il Coefficiente di correlazione di Spearman E Kendall Tau Distanza può essere utilizzato per valutare la somiglianza delle classifiche. Per misurare il coinvolgimento degli utenti, Percentuale di clic (CTR) è una metrica chiave che riflette la percentuale di utenti che hanno fatto clic su un risultato dopo che è stato visualizzato. Per ulteriori informazioni su queste metriche, consultare le risorse di Wikipedia elencate nella sezione Riferimenti.
Dopo aver esplorato quattro parametri distinti per la valutazione della qualità della ricerca, abbiamo condotto un'analisi comparativa per comprendere i punti di forza e di debolezza di ciascun approccio. Questo ci porta naturalmente alla domanda fondamentale: quale metrica è più adatta per valutare la pertinenza e il posizionamento dei risultati del tuo motore di ricerca? La selezione della metrica ottimale dipende dai tuoi requisiti specifici.
Per una comprensione completa della qualità del tuo motore di ricerca, è spesso utile considerare una combinazione di questi parametri piuttosto che fare affidamento su una singola misura.
- https://en.wikipedia.org/wiki/Evaluation_measures_(information_retrieval)
- https://en.wikipedia.org/wiki/Mean_reciprocal_rank
- https://en.wikipedia.org/wiki/Kendall_tau_distance
- https://en.wikipedia.org/wiki/Discounted_cumulative_gain
- https://en.wikipedia.org/wiki/Spearman%27s_rank_correlation_coefficient
- https://web.stanford.edu/class/cs276/handouts/EvaluationNew-handout-6-per.pdf
- https://www.coursera.org/lecture/recommender-metrics/rank-aware-top-n-metrics-Wk98r
- https://www.evidentlyai.com/ranking-metrics/ndcg-metric
- https://en.wikipedia.org/wiki/Inter-rater_reliability
- https://en.wikipedia.org/wiki/Click-through_rate
Fonte: towardsdatascience.com
