Scopri perché il t-Test di Welch è il metodo di riferimento per un confronto statistico accurato, anche quando le varianze differiscono.
Parte 1: Contesto
Nel primo semestre della mia specializzazione, ho avuto l'opportunità di seguire il corso STAT7055: Introductory Statistics for Business and Finance. Durante il corso a volte mi sono sentito un po' esausto, ma la quantità di conoscenze che ho acquisito sull'applicazione dei vari metodi statistici in diverse situazioni è stata davvero impagabile. Durante l'ottava settimana di lezioni, qualcosa di veramente interessante ha attirato la mia attenzione, in particolare il concetto di verifica delle ipotesi quando si confrontano due popolazioni. Ho trovato affascinante apprendere come l'approccio differisce a seconda che i campioni siano indipendenti o accoppiati, nonché cosa fare quando conosciamo o non conosciamo la varianza della popolazione delle due popolazioni, insieme a come condurre ipotesi test per due proporzioni. Tuttavia, c'è un aspetto che non è stato trattato nel materiale, e mi porta a chiedermi come affrontare questo particolare scenario, ovvero eseguire il test di ipotesi da due mezzi di popolazione quando le varianze sono disuguali, noto come Test t di Welch.
Per comprendere il concetto di come viene applicato il t-Test di Welch, possiamo esplorare un set di dati per il caso di esempio. Ogni fase di questo processo prevede l'utilizzo del set di dati da dati del mondo reale.
Parte 2: Il set di dati
Il set di dati che sto utilizzando contiene dati reali sulle stime della domanda e dell'offerta agricola mondiale (WASDE) che vengono regolarmente aggiornati. Il set di dati WASDE è messo insieme dal World Agricultural Outlook Board (WAOB). Si tratta di un rapporto mensile che fornisce previsioni annuali per varie regioni del mondo e per gli Stati Uniti per quanto riguarda grano, riso, cereali secondari, semi oleosi e cotone. Inoltre, il set di dati copre anche le previsioni per zucchero, carne, pollame, uova e latte negli Stati Uniti. Proviene dal sito web del Nasdaq e puoi accedervi gratuitamente qui: Set di dati WASDE. Esistono 3 set di dati, ma utilizzo solo il primo, ovvero i dati sulla domanda e sull'offerta. Le definizioni delle colonne possono essere visualizzate qui:
Utilizzerò due campioni diversi provenienti da regioni, materie prime e articoli specifici per semplificare il processo di test. Inoltre, utilizzeremo il linguaggio di programmazione R per la procedura end-to-end.
Ora eseguiamo una corretta preparazione dei dati:
library(dplyr)# Read and preprocess the dataframe
wasde_data <- read.csv("wasde_data.csv") %>%
select(-min_value, -max_value, -year, -period) %>%
filter(item == "Production", commodity == "Wheat")
# Filter data for Argentina and Australia
wasde_argentina <- wasde_data %>%
filter(region == "Argentina") %>%
arrange(desc(report_month))
wasde_oz <- wasde_data %>%
filter(region == "Australia") %>%
arrange(desc(report_month))
Ho diviso due campioni in due regioni diverse, ovvero Argentina e Australia. E il focus è la produzione di grano.
Ora siamo a posto. Ma aspetta..
Prima di approfondire ulteriormente l'applicazione del t-Test di Welch, non posso fare a meno di chiedermi perché sia necessario verificare se le varianze delle due popolazioni sono uguali o meno.
Parte 3: Verifica dell'uguaglianza delle varianze
Quando si eseguono test di ipotesi per confrontare le medie di due popolazioni senza conoscere le varianze della popolazione, è fondamentale confermare l'uguaglianza delle varianze per selezionare il test statistico appropriato. Se le varianze risultano identiche, optiamo per il t-test della varianza aggregata; altrimenti possiamo utilizzare il test t di Welch. Questo passaggio importante garantisce la precisione dei risultati, poiché l'utilizzo di un test errato potrebbe portare a conclusioni errate a causa dei maggiori rischi di errori di Tipo I e di Tipo II. Controllando l'uguaglianza delle varianze, ci assicuriamo che il processo di verifica delle ipotesi si basi su ipotesi accurate, portando in definitiva a conclusioni più affidabili e valide.
Allora come testiamo le varianze delle due popolazioni?
Dobbiamo generare due ipotesi come di seguito:
La regola pratica è molto semplice:
- Se la statistica del test rientra nella regione di rifiuto, allora Rifiuta H0 o Ipotesi Nulla.
- Altrimenti non riusciremo a rifiutare l’ipotesi H0 o nulla.
Possiamo impostare le ipotesi in questo modo:
# Hypotheses: Variance Comparison
h0_variance <- "Population variance of Wheat production in Argentina equals that in Australia"
h1_variance <- "Population variance of Wheat production in Argentina differs from that in Australia"
Ora dovremmo fare il test statistico. Ma come otteniamo questa statistica di test? noi usiamo Prova F.
Un test F è un test statistico utilizzato per confrontare le varianze di due campioni o il rapporto delle varianze tra più campioni. La statistica del test, la variabile casuale F, viene utilizzata per determinare se i dati testati hanno una distribuzione F sotto l'ipotesi nulla vera e le ipotesi consuete vere sul termine di errore.
possiamo generare il valore statistico del test con la divisione due varianze campionarie come questo:
e la regione di rifiuto è:
dove n è la dimensione del campione e alfa è il livello di significatività. quindi quando il valore F rientra in una di queste regioni di rifiuto, rifiutiamo l'ipotesi nulla.
Ma..
il trucco è: l'etichettatura del campione 1 e del campione 2 è in realtà casuale, quindi procediamo assicurati di posizionare ogni volta la varianza del campione più grande in cima. In questo modo, la nostra statistica F sarà costantemente maggiore di 1 e dobbiamo solo fare riferimento al limite superiore per rifiutare H0 a livello di significatività α ogni volta.
possiamo farlo tramite:
# Calculate sample variances
sample_var_argentina <- var(wasde_argentina$value)
sample_var_oz <- var(wasde_oz$value)# Calculate F calculated value
f_calculated <- sample_var_argentina / sample_var_oz
utilizzeremo un livello di significatività del 5% (0,05), quindi la regola decisionale è:
# Define significance level and degrees of freedom
alpha <- 0.05
alpha_half <- alpha / 2
n1 <- nrow(wasde_argentina)
n2 <- nrow(wasde_oz)
df1 <- n1 - 1
df2 <- n2 - 1# Calculate critical F values
f_value_lower <- qf(alpha_half, df1, df2)
f_value_upper <- qf(1 - alpha_half, df1, df2)
# Variance comparison result
if (f_calculated > f_value_lower & f_calculated < f_value_upper) {
cat("Fail to Reject H0: ", h0_variance, "\n")
equal_variances <- TRUE
} else {
cat("Reject H0: ", h1_variance, "\n")
equal_variances <- FALSE
}
il risultato è rifiutiamo l'ipotesi nulla al livello di significatività del 5%in altre parole, da questo test riteniamo che le varianze della popolazione delle due popolazioni non siano uguali. Ora sappiamo perché dovremmo utilizzare il t-Test di Welch invece del t-Test della varianza raggruppata.
Parte 4: Il piatto principale, Welch t-Test
Il test t di Welch, chiamato anche test t delle varianze disuguali di Welch, è un metodo statistico utilizzato per confrontare le medie di due campioni separati. Invece di assumere varianze uguali come il t-test della varianza aggregata standard, il t-test di Welch è più robusto in quanto non fa questa ipotesi. Questo aggiustamento in gradi di libertà porta ad una valutazione più precisa della differenza tra le due medie campionarie. Non assumendo varianze uguali, il test t di Welch offre un risultato più affidabile quando si lavora con dati del mondo reale in cui questa ipotesi potrebbe non essere vera. È preferito per la sua adattabilità e affidabilità, garantendo che le conclusioni tratte dalle analisi statistiche rimangano valide anche se il presupposto della parità delle varianze non è soddisfatto.
La formula statistica del test è:
Dove:
e il Grado di Libertà può essere definito così:
La regione di rifiuto per il t-test di Welch dipende dal livello di significatività scelto e dal fatto che il test sia a una o due code.
Test a due code: L'ipotesi nulla viene rifiutata se il valore assoluto della statistica test |t| è maggiore del valore critico della distribuzione t con μ gradi di libertà a α/2.
- ∣t∣>tα/2,ν​
Test a una coda: L'ipotesi nulla viene rifiutata se la statistica del test t è maggiore del valore critico della distribuzione t con μ gradi di libertà a α per un test con coda superiore o se t è inferiore al valore critico negativo per un test inferiore prova della coda.
- Test della coda superiore: t > tα,ν
- Test a coda bassa: t <âˆ'tα,ν
Quindi facciamo un esempio con Test t di Welch a una coda.
generiamo le ipotesi:
h0_mean <- "Population mean of Wheat production in Argentina equals that in Australia"
h1_mean <- "Population mean of Wheat production in Argentina is greater than that in Australia"
questo è un Test della coda superiore, quindi la regione di rifiuto è: t > tα,ν
e utilizzando la formula sopra riportata e utilizzando lo stesso livello di significatività (0,05):
# Calculate sample means
sample_mean_argentina <- mean(wasde_argentina$value)
sample_mean_oz <- mean(wasde_oz$value)# Welch's t-test (unequal variances)
s1 <- sample_var_argentina
s2 <- sample_var_oz
t_calculated <- (sample_mean_argentina - sample_mean_oz) / sqrt(s1/n1 + s2/n2)
df <- (s1/n1 + s2/n2)^2 / ((s1^2/(n1^2 * (n1-1))) + (s2^2/(n2^2 * (n2-1))))
t_value <- qt(1 - alpha, df)
# Mean comparison result
if (t_calculated > t_value) {
cat("Reject H0: ", h1_mean, "\n")
} else {
cat("Fail to Reject H0: ", h0_mean, "\n")
}
il risultato è non riusciamo a rifiutare H0 al livello di significatività del 5%, allora la media della popolazione della produzione di grano in Argentina è uguale a quella dell’Australia.
Ecco come condurre il Welch t-Test. Adesso è il tuo turno. Buona sperimentazione!
Parte 5: Conclusione
Quando si confrontano le medie di due popolazioni durante la verifica delle ipotesi, è davvero importante iniziare controllando se le varianze sono uguali. Questo passaggio iniziale è fondamentale in quanto aiuta a decidere quale test statistico utilizzare, garantendo risultati precisi e affidabili. Se risulta che le varianze sono effettivamente uguali, puoi procedere e applicare il test t standard con le varianze raggruppate. Tuttavia, nei casi in cui le varianze non sono uguali, si consiglia di utilizzare il test t di Welch.
Il test t di Welch fornisce una soluzione efficace per confrontare le medie quando l'ipotesi di varianze uguali non è vera. Regolando i gradi di libertà per tenere conto delle varianze irregolari, il test t di Welch fornisce una valutazione più precisa e affidabile dell'importanza statistica della differenza tra due medie campionarie. Questa adattabilità lo rende una scelta popolare in varie situazioni pratiche in cui le dimensioni e le varianze del campione possono variare in modo significativo.
In conclusione, il controllo dell'uguaglianza delle varianze e l'utilizzo del test t di Welch quando necessario garantiscono l'accuratezza della verifica delle ipotesi. Questo approccio riduce le possibilità di errori di tipo I e di tipo II, portando a conclusioni più affidabili. Selezionando il test appropriato in base all'uguaglianza delle varianze, possiamo analizzare con sicurezza i risultati e prendere decisioni ben informate e basate su prove empiriche.
Risorse
Fonte: towardsdatascience.com
