Scopri come valutare quanto sia realmente affidabile un rapporto utilizzando l’analisi empirica di Bayes in Python
Uno dei miei riferimenti nel campo della scienza dei dati è Giulia Silge. Su di lei Martedì ordinato video realizza sempre un tipo di video in codice che insegna/mostra una determinata tecnica, aiutando altri analisti a migliorare le proprie competenze e a incorporarla nel loro repertorio.
Martedì scorso l’argomento era Empirical Bayes (her post sul blog), che ha attirato la mia attenzione.
Ma cos’è quello?
Il Bayes empirico è un metodo statistico utilizzato quando lavoriamo con rapporti come (successo)/(tentativi totali). Quando lavoriamo con tali variabili, molte sono le volte in cui ci troviamo di fronte a un successo di 1/2, che si traduce in una percentuale di successo del 50%, o 3/4 (75%), 0/1 (0%).
Queste percentuali estreme non rappresentano la realtà a lungo termine perché ci sono stati così pochi tentativi che è molto difficile dire se c’è una tendenza lì, e la maggior parte delle volte questi casi vengono semplicemente ignorati o cancellati. Sono necessari più tentativi per stabilire quale sia il tasso di successo reale, come 30/60, 500/100 o qualunque cosa abbia senso per un’azienda.
Utilizzando Empirical Bayes, tuttavia, siamo in grado di utilizzare la distribuzione attuale dei dati per calcolare una stima per i propri dati nelle fasi precedenti o successive, come vedremo più avanti in questo post.
Usiamo la distribuzione dei dati per stimare le fasi precedenti e successive del rapporto di ciascuna osservazione.
Passiamo all’analisi. I passaggi da seguire sono:
- Carica i dati
- Definire il successo e calcolare la percentuale di successo
- Determinare i parametri della distribuzione
- Calcolare le stime di Bayes
- Calcolare l’intervallo di credibilità
Andiamo avanti.
Importazioni
# Imports
import pandas as pd
import numpy as np
import scipy.stats as scs
import matplotlib.pyplot as plt
import seaborn as sns
import plotly.express as px
from distfit import distfit
Fonte: towardsdatascience.com
