Chi è un ingegnere analitico e cosa dovrebbe fare
Tradizionalmente, i team di dati erano formati da ingegneri e analisti di dati.
I Data Engineer sono responsabili della creazione dell’infrastruttura per supportare le operazioni sui dati. Ciò includerebbe la configurazione di database e l’implementazione di processi ETL utilizzati per inserire dati da fonti esterne in un sistema di destinazione (forse un altro database). Inoltre, i Data Engineer sono generalmente responsabili di garantire l’integrità, l’aggiornamento e la sicurezza dei dati in modo che gli analisti possano quindi interrogarli. Una serie di competenze tipiche per un ingegnere dei dati include Python (o Java), SQL, orchestrazione (utilizzando strumenti come Apache Airflow) e modellazione dei dati.
D’altra parte, gli analisti di dati dovrebbero creare dashboard e report utilizzando Excel o SQL per fornire approfondimenti aziendali a utenti e dipartimenti interni.
Per elaborare i dati e ottenere informazioni preziose dobbiamo prima estrarli, giusto? 🤯
L’inserimento dei dati viene eseguito utilizzando i processi ETL (e più recentemente con ELT). Entrambi i paradigmi ETL ed ELT prevedono tre fasi principali; Estrai, trasforma e carica. Per ora, ignoriamo la sequenza di esecuzione di questi passaggi e concentriamoci su cosa fa ogni passaggio in modo indipendente.
Estratto
Questo passaggio si riferisce al processo di estrazione dei dati da un’origine persistente. Questa origine dati potrebbe essere un database, un endpoint API, un file o una coda di messaggi.
Trasformare
Nella fase di trasformazione, è previsto che la pipeline esegua alcune modifiche nella struttura e/o nel formato dei dati per raggiungere un determinato obiettivo. Una trasformazione potrebbe essere una modifica (ad esempio mapping “United States” A “US”), una selezione di attributi, un calcolo numerico o un’unione.
Fonte: towardsdatascience.com
