Conoscenze fondamentali e tendenze future nel moderno stack di dati
Ho dedicato il 2024 affinché fosse l’anno dell’apprendimento e dell’investimento nella mia crescita. Sebbene sia importante farlo ogni anno, a volte lo mettiamo nel dimenticatoio e ci concentriamo invece sul progresso nella nostra carriera, o forse nelle nostre attività.
Sfortunatamente, molte persone non si rendono conto di quanto sia importante imparare cose nuove per crescere nella propria carriera, soprattutto nel campo dei dati. È facile rimanere indietro nelle tue conoscenze, poiché lo spazio cambia costantemente.
Gli ingegneri analitici devono ritagliarsi il tempo necessario ogni settimana per assicurarsi di espandere le proprie conoscenze sui diversi elementi dello stack di dati, sui fondamenti chiave dell’ingegneria analitica e su tutti i nuovi strumenti sul mercato.
Utilizza questo elenco come guida su cosa concentrarsi come ingegnere di analisi. Scegli uno diverso di questi argomenti da studiare ogni settimana o mese e guarda il tuo successo nel tuo ruolo salire alle stelle.
I contratti relativi ai dati sono stati di gran moda negli ultimi anni e c’è una buona ragione per cui. È un problema che esiste da sempre tra gli ingegneri analitici e gli ingegneri del software!
Molti di noi l’hanno semplicemente accettata come norma, invece di cercare di cambiarla, ecco perché ci è voluto così tanto tempo prima che si facessero progressi.
Se non hai familiarità con i contratti dati, questi sono i accordi e aspettative stabiliti tra produttori e consumatori di dati su come appariranno i dati.
È normale che i produttori di dati modifichino un tipo di dati o un nome di campo senza che il consumatore a valle (nel nostro caso, gli ingegneri di analisi) lo sappia. Quindi, poiché uno dei nostri modelli di dati dipende dal campo modificato, qualcosa a valle si rompe.
Il team dati è quindi costretto ad entrare in modalità antincendio, modificando quel campo nel livello di staging dei suoi modelli dati, garantendo che le sue dipendenze a valle possano utilizzare questo campo modificato.
Anche se un campo potrebbe non sembrare un grosso problema, se i produttori apportano costantemente modifiche senza…
Fonte: towardsdatascience.com
