Sottocampionare i dati alla risoluzione corretta con i panda
Nel primo anno della pandemia di COVID-19, il bilancio della mortalità della malattia è stato oggetto di molte controversie. Tra i problemi c’erano la sottovalutazione precoce dovuta alla mancanza di test, la mortalità non registrata al di fuori degli ospedali e la distinzione dei decessi Di COVID-19 dai decessi con COVID-19 (1)(2).
Oltre a tutto, e con grande sfortuna di tutti, la pandemia si è rapidamente politicizzata. Gli esperti partigiani si sono lanciati su ogni dato, cercando modi per distorcerlo a proprio vantaggio. Il bias di conferma era dilagante. Se in quel momento eri sui social media, probabilmente hai visto post che mettevano in discussione la veridicità delle tabelle e dei grafici ufficiali.
In questo Scienza dei dati di successo rapido progetto, esamineremo un grafico particolare che apparve sulla mia bacheca di Facebook in quel momento. Il grafico registra la mortalità da COVID-19 negli Stati Uniti per il primo anno di pandemia e mostra una natura chiaramente seghettata o “a dente di sega”.
Le oscillazioni della curva hanno una frequenza elevata ed è dubbio che la malattia sia progredita in questo modo. Mentre alcuni consideravano questa prova che i conteggi della mortalità da COVID erano chiaramente sbagliati e non ci si poteva fidare, quelli di noi dotati di competenze di scienza dei dati hanno rapidamente risolto questo mistero esagerato.
I dati che utilizzeremo sono stati raccolti come parte di “Il progetto di monitoraggio del COVID” A L’Atlantico (3). Include le statistiche sul COVID-19 dal 3 marzo 2020 al 7 marzo 2021. Per ridurre le dimensioni del set di dati, ho scaricato i dati solo per lo stato del Texas e li ho salvati come file CSV in questo Il succo.
È possibile trovare il set di dati originale Qui e la licenza per i dati Qui.
Oltre a Python, avremo bisogno della libreria pandas. Puoi installarlo utilizzando:
conda install pandas
O
pip install pandas
Fonte: towardsdatascience.com
