Una guida pratica all’implementazione degli abbonamenti BigQuery in Pub/Sub per una semplice importazione di messaggi e flussi
In passato ho riscontrato molte situazioni in cui volevo inserire messaggi Pub/Sub in una tabella BigQuery, ma non sono mai riuscito a trovare un modo particolarmente semplice per farlo.
Potresti impostare un file pipeline del flusso di datima ciò richiede un’infrastruttura aggiuntiva per comprendere, configurare, gestire ed eseguire il debug. Inoltre Dataflow (che è un servizio Apache Beam gestito) è progettato per lo streaming ad alto rendimento, quindi è sempre sembrato eccessivo per un semplice sistema di registrazione o monitoraggio dei messaggi.
Ed è Java. Ma Pitone 😀! E Java… 😫!
public static string args void main... public static string args void main... public static string args void main... public static string args void main... public static string args void main... arrrrrrrrrrrrgh
Mi dispiace, ricevo ancora flashback dei miei primi tentativi di imparare a programmare (il secolo scorso) in Java. Per favore non tentare di utilizzare quello snippet di codice… allontanati dallo snippet di codice.
Poi mi sono imbattuto in Questoil quale, pur promettendo semplicità, sembra essere ancora più complicato del metodo precedente (Debezium wtf?)!
È anche possibile distribuire una funzione Cloud leggera per attivarsi alla ricezione di un messaggio Pub/Sub e trasmetterlo in streaming o caricarlo in BigQuery, ma questo sembrava ancora un po’ troppo complesso per qualcosa che sembrava avrebbe dovuto e avrebbe potuto essere una funzionalità nativa.
E ora lo è!
Le persone gentili di Google Cloud annunciato una connessione diretta da Pub/Sub a BigQuery qualche tempo fa, fantastico! Tuttavia, dopo aver provato (e fallito) a impostare rapidamente un test un paio di volte, ho finalmente avuto un caso d’uso reale che mi richiedeva di farlo funzionare per un cliente.
Si scopre che ci sono un paio di sfumature, quindi questo articolo ha lo scopo di aiutarti a renderlo operativo il più rapidamente possibile.
Pub/Sub è un servizio incredibilmente utile, potente e scalabile nell’ecosistema Google Cloud, con due casi d’uso principali: streaming…
Fonte: towardsdatascience.com
