Esplorare una metrica di classificazione alternativa
Nel mondo della scienza dei dati, le metriche sono la bussola che guida i nostri modelli verso il successo. Anche se molti hanno familiarità con le misure classiche di precisione e richiamo, in realtà esiste una vasta gamma di altre opzioni che vale la pena esplorare.
In questo articolo approfondiremo l’indice Tversky. Questa metrica, una generalizzazione dei coefficienti Dice e Jaccard, può essere estremamente utile quando si cerca di bilanciare precisione e richiamo l’uno con l’altro. Se implementata come funzione di perdita per le reti neurali, può essere un modo efficace per gestire gli squilibri di classe.
Un rapido aggiornamento su precisione e richiamo
Immagina di essere un detective incaricato di catturare i criminali nella tua città. In verità, ci sono 10 criminali che vagano per le strade.
Nel tuo primo mese, porti dentro 8 sospetti che ritieni siano criminali. Solo 4 di loro risultano colpevoli, mentre gli altri 4 sono innocenti.
Se fossi un modello di apprendimento automatico, verresti valutato in base alla tua precisione e al tuo ricordo.
Precisione chiede: “di tutti quelli che hai catturato, quanti erano criminali?”
Richiamare chiede: “tra tutti i criminali della città, quanti ne hai catturati?”
Precisione è una metrica che cattura quanto sono accurate le tue previsioni, senza contare quanti veri positivi perdi (falsi negativi). Richiamare misura quanti dei veri positivi acquisisci, indipendentemente da quanti falsi positivi ottieni.
Come si valutano le tue abilità da detective rispetto a questi parametri?
- precisione = 4 / (4 + 4) = 0,5
- richiamo = 4 / (4 + 6) = 0,4
Bilanciare precisione e richiamo: la metrica F1
In un mondo ideale, il tuo classificatore ha sia un’elevata precisione che un elevato richiamo. Come misura dell’efficacia del tuo classificatore rispetto a entrambi, la statistica F1 misura la media armonica tra i due:
Questa metrica è talvolta chiamata anche coefficiente di somiglianza dei dadi (DSC).
