Skip to content

Varios Projetos de Engenharia de Dados usando principais ferramentas como: Airflow, Snowflake, dbt, Postrgres, Looker Studio, Power BI

Notifications You must be signed in to change notification settings

ewertondrigues02/Engenharia-de-Dados

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

15 Commits
 
 
 
 

Repository files navigation

Engenharia de Dados

O projeto de Engenharia de Dados proposto visa implementar uma infraestrutura robusta e escalável para processamento e análise de dados em várias fontes e formatos. Utilizando as principais ferramentas do mercado, como Airflow, Snowflake, dbt, PostgreSQL, Looker Studio e Power BI, objetivo é fornecer uma solução completa para as necessidades de análise de dados da organização.

O fluxo de trabalho será gerenciado pelo Airflow, permitindo agendar e executar tarefas de forma automática e programada. Com o Airflow, podemos orquestrar fluxos de trabalho complexos, garantindo a execução de tarefas na ordem correta e lidando com possíveis falhas de forma eficiente.

Os dados serão armazenados no Snowflake, um data warehouse moderno e altamente escalável. O Snowflake oferece desempenho excepcional e suporta cargas de trabalho analíticas de grande escala. Além disso, sua arquitetura em nuvem permite escalabilidade automática e gerenciamento simplificado.

Para transformação de dados e modelagem dimensional, faremos uso do dbt (data build tool). O dbt simplifica o processo de transformação de dados, permitindo aos analistas escreverem consultas SQL e transformações de dados de forma modular e fácil de manter. Isso nos permitirá criar modelos de dados consistentes e atualizados automaticamente.

O PostgreSQL será utilizado para armazenamento de dados transacionais e como fonte de dados para alimentar o Snowflake. Sua confiabilidade e capacidade de manipulação de transações serão fundamentais para garantir a integridade dos dados.

Para visualização e análise de dados, faremos uso do Looker Studio e do Power BI. Essas ferramentas nos permitirão criar dashboards interativos e relatórios personalizados, fornecendo insights acionáveis para os usuários finais em toda a organização.

Em resumo, este projeto de Engenharia de Dados busca fornecer uma solução completa e integrada para captura, armazenamento, transformação, análise e visualização de dados, capacitando a organização a tomar decisões informadas e impulsionar o crescimento e a inovação.

About

Varios Projetos de Engenharia de Dados usando principais ferramentas como: Airflow, Snowflake, dbt, Postrgres, Looker Studio, Power BI

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages