Esplorare metriche alternative insieme per approfondimenti più approfonditi
Ciao!
Oggi approfondiremo una metrica specifica utilizzata per valutare le prestazioni del modello: il punteggio AUC. Ma prima di entrare nello specifico, vi siete mai chiesti perché a volte sono necessari punteggi non intuitivi per valutare le prestazioni dei nostri modelli?
Sia che il nostro modello gestisca una singola classe o più classi, l’obiettivo sottostante rimane costante: ottimizzare le previsioni accurate riducendo al minimo quelle errate. Per esplorare questo obiettivo di base, diamo prima un’occhiata alla matrice di confusione obbligatoria che comprende Veri Positivi, Falsi Positivi, Veri Negativi e Falsi Negativi.
Per qualsiasi problema di classificazione o previsione, ci sono solo due risultati: Vero o Falso.
Di conseguenza, ogni metrica progettata per valutare le prestazioni di un algoritmo di previsione o classificazione si fonda su queste due misure. La metrica più semplice che raggiunge questo obiettivo è Precisione.
Precisione
Nel contesto della classificazione e della previsione, l’accuratezza indica la proporzione di istanze previste correttamente sul totale. È una misura molto semplice e intuitiva delle prestazioni predittive di un modello.
Tuttavia, la precisione è davvero sufficiente?
Sebbene l’accuratezza sia una buona misura generale delle prestazioni di un modello, la sua inadeguatezza diventa evidente quando esaminiamo la tabella seguente a cui faremo spesso riferimento in questo articolo. La tabella mostra i parametri prestazionali di quattro modelli, ciascuno con risultati leggermente non ottimali, ma tutti questi modelli mostrano un’elevata precisione. Ad esempio, nel primo e nel secondo caso, c’è una chiara propensione verso una classe, con conseguente classificazione infelice per la classe meno comune, ma la precisione è del 90%, il che è abbastanza fuorviante.
