Automatico, scalabile e potente
In precedenzaHo condiviso la mia esperienza nello sviluppo di una pipeline di dati utilizzando la tecnologia AWS CloudFormation. Non è un approccio ottimale, tuttavia, perché lascia dietro di sé altri 3 problemi in attesa di risoluzione:
- La distribuzione deve essere imposta manualmente, il che potrebbe aumentare le possibilità di errori;
- Tutte le risorse vengono create in un unico stack, senza confini e livelli adeguati; man mano che il ciclo di sviluppo va avanti, lo stack di risorse sarà più pesante e gestirlo sarà un disastro;
- Molte risorse dovrebbero essere sostenute e riutilizzate in altri progetti.
In breve, aumenteremo la gestibilità e la riusabilità di questo progetto, in modo agile.
AWS consente agli utenti di implementare 2 tipi di modelli strutturali CloudFormation: riferimento cross-stack e stacking nidificato. Il riferimento cross-stack indica uno stile di progettazione che prevede lo sviluppo di stack cloud separatamente e solitamente in modo indipendente, mentre le risorse tra tutti gli stack possono essere correlate in base alla relazione di riferimento. Impilamento annidato indica uno stack CloudFormation composto da altri stack. Si ottiene utilizzando il AWS::CloudFormation::Stack risorsa.
Poiché una delle nostre missioni che miriamo a raggiungere è quella di elaborare una migliore gestione del progetto, il progetto verrà suddiviso mediante separazione a strati e l’impilamento annidato sarà quello che aiuterà. Tuttavia, per quanto riguarda l’interrelazione intrinseca tra gli artefatti dello stack esistente, dovremmo anche prendere una goccia di riferimento cross-stack.
Abbiamo creato 3 funzioni Lambda, 3 tabelle DynamoDB, 1 ruolo IAM con le relative policy allegate, diverse code SQS e diversi allarmi Cloudwatch. A causa della complessità delle funzioni stesse, in questa versione verranno definite in modelli separati, con i servizi utilizzati solo da soli, inclusi allarmi e code di messaggi non recapitati. Oltre a questi, le risorse IAM saranno…
