• Engenharia de Dados
  • ETL para grandes quantidades de dados: consolidação de vários arquivos XLSX
  • Data Pipeline em Cloud da AWS: ingestão, integração, processamento e serving (S3, RDS, DMS)

Curso profissionalizante na área de engenharia de dados oferecido pela Ada Tech, com apoio do banco Santander. Carga horária de 324 horas no total ao longo de 5 meses, com aulas síncronas e entrega de um projeto de conclusão para cada um dos 6 módulos (54 horas).

Conheça o meu repositório de resumo do curso: Santander Code 2023 - Data Engineering

Os temas abordados foram:

• Lógica de programação (Python)

• Programação orientada a objetos (OOP)

• Técnicas de programação para dados

• Extração automatizada de dados

• Analytics Engineering

  • PROJETO FINAL - Data Pipeline de especialização de dados com Python, DBT e Data Quality
    • 
    • Solução de dados para especializar dados do AirBnB em camadas de um Data Warehouse. Para a construção da camada RAW (BRONZE), os dados em arquivo CSV foram adquiridos na web e ingeridos em uma instância PostgreSQL na AWS RDS (ou um container Docker) através de uma aplicação Python. Na camada de Data Quality, os dados da RAW foram validados com o Great Expectations. Identificado e documentado as falhas de qualidades, os dados foram tratados com Pandas e persistidos na camada TRUSTED. Neste camada, novamente outra validação de qualidade foi realizada. Para disponibilizar informações de negócios, os dados foram harmonizados e especializados utilizando o DBT.

• Big Data

  • PROJETO FINAL - Desenvolvimento e Avaliação da Performance de uma Arquitura Distribuída usando Databricks, Apache Hive, Python
    • Arquitetura de solução de Big Data de dados do Cadastro Ambiental Rural (CAR). O projeto é um estudo sobre o desempenho de uma proposta de particionamento do Banco de Dados. Ele compreende o desenho da arquitetura, implementação, modelagem dos dados e avaliação da efetividade do particionamento segundo alguns testes de consultas.

Link da página oficial do curso:

Curso profissionalizante na área de ciência de dados oferecido pelo Grupo Boticário junto da escola de programação Alura. Carga horária de 625 horas no total ao longo de 10 meses.

Conheça o meu repositório de resumo do curso: Desenvolve 2022 - Ciência de Dados

Os temas abordados foram:

• Engenharia de software e Computação
• Análise de Dados
• Estatística
• Algorítmos de Machine Learning: supervisionados e não-supervisionados
• Deploy de modelos
• Validação de modelos de ML
• Deep Learning
• NLP
• Visão Computacional
• Urban Data Science
• Metodologia Ágil