Olá,
Tudo bem contigo?
O Sonho de várias empresas é ter uma plataforma de dados atualizando quase que em tempo real, mas a pergunta que fica, é a seguinte…
Será que a tua empresa precisa de uma plataforma assim?? Será que um ETL padrão com os dados atualizando D -1 não resolveria…
Mas caso a tua empresa realmente necessite de uma estrutura assim, esse artigo é pra você.
Na imagem acima temos a arquitetura que utilizamos em alguns dos nossos projetos e também faz parte do nosso Treinamento de Pentaho + Google Cloud.
Porém se você preferir fazer isso no Python o conceito é exatamente o mesmo.
Segue o vídeo abaixo com uma rápida demonstração.
[embedpress]https://www.loom.com/share/799f1b864b0a404da696e50ed268d2a9?sid=13094f1b-c791-471b-8348-3f48495460d9[/embedpress]
O mais interessante é que você pode utilizar a Google Cloud tanto com Pentaho por exemplo quanto com uma linguagem de programação como Python.
Muito Obrigado e até o próximo artigo!!