Notas de aulas do Programa Desenvolve na trilha de Dados. A formação é composta dos seguintes temas e carga horária prevista:
- Ciência de dados: 310 h
- Business Intelligence: 250 h
- Soft Skills: 65 h
- Metodologia Ágil: 50 h
A seguir seguem os repositórios do portfólio organizados por temas (EM CONSTRUÇÃO):
O que é Data Science? É o conjunto de metodologias e processos para extração de informações dos dados, abrangendo todas as etapas de limpeza dos dados, exploração, formulação de modelos. É comum compreender este campo de estudo como a intersecção dos campos da estatística, da ciência da computação e do conhecimento do negócio.
É o campo de estudo de técnicas, metodologias e instrumentos de aplicação da tecnologia na informatização dos processos e processamento de dados baseados na computador. Aqui são usadas técnicas de estruturas dados dentro dos computadores (como os Bancos de Dados ou estruturas no Python, como os dicionários), ferramentas para operacionalizá-los (as linguagens de programação) e de formas de comunicação entre máquinas (os acessos através APIs).
- Entendo a virtualização de Containers com Docker
- Fundamentos em Python e NumPy
- Fundamentos em Pandas - Estruturas de dados e operações para análises
- IO - Formatos diferentes de entrada e saída de dados com Pandas
- API - Acesso por requisições (API de CEP)
- Scraping com Python: Coleta de dados na web
- SQL: construção de Bancos de Dados no BigQuery
- SQL: funções do BigQuery
- Estruturação de Data Warehouse no Google BigQuery a partir do MySQL
- GOOGLE CLOUD: uso de linguagem programática (python) na manipulação com BigQuery
A análise de dados objetiva obter informações e até mesmo conhecimento a partir dos dados brutos. Ela é composta por diversas ferramentas e estratégias que auxiliam a obter insights/informações do comportamento para auxiliar a tomada de decisões, ou seja, é a base da estratégia de negócio data-driven. Basicamente fazem parte deste campo a análise exploratória dos dados, análise estatística e visualização.
- Fundamentos em Análise de dados com Pandas
- Introdução à análise de series temporais
- Data Visualization: visualização no Google Sheet
- Data Visualization: criação de gráficos com o Matplotlib
- Data Visualization: Explorando com Seaborn
- Data Visualization: Explorando com Rawgraphs
- Data Visualization: Explorando o Dash - visualizações interativas
- Fundamentos de estatística: frequências e medidas
- Fundamentos de estatística: probabilidade e amostragem
- Testes de Hipótese: os principais testes paramétricos e não-paramétricos
- Fundamentos da Correlação e Regressão (StatsModels e SciPy)
- Análise de Experimentos: testes, mapas de cores e análise de dados
Machine Learning é o termo usado para a capacidade de um equipamento de usar dados passados para realizar análises preditivas através da identificação de padrões nos dados. Um modelo de ML é um algorítmo, já treinado com dados, preparado para realizar predições para futuros eventos/registros. A qualidade do modelo é a resultado do conjunto de: da qualidade dos dados usados para treinamento, das transformações dos dados e da estratégia de aprendizagem estatística. As principais etapas são: entedimento dos dados, pré-processamento/tratamento, construção do modelo, validação do modelo e deploy (disponibilização).
- Detecção de Fraudes: resolvendo um problema com modelos de classificação
- Classificação Multilabel: conhecendo algorítmos de Relevância Binária, em Cadeia e KNN adaptado (scikit-learn e scikit-multilearn)
- PySpark: Modelos de Classificação, Técnicas de Validação e Tunning
- Regressão Linear: testando relações e prevendo resultados (modelo preditivo)
- Regressão Linear: técnicas avançadas de modelagem (transformações)
A etapa de deploy é o momento de transformação do modelo de desenvolvimento para o modelo de operação. Então o foco deixa de ser a exploração invetigativa e passa a ser a disponibilização do modelo por outros usuários. Este campo, pela relação com a cultura DevOps, chama-se de MLOps.
- MLOps: Machine Learning e APIs - contrução de uma API para acesso ao modelo
- MLOPs: Deploy da API de ML no Google Compute Engine, App Engine e Cloud Run com Container. Atualização com Github Actions.
- Etapas do Projeto de Machine Learning
- Fullstack Data Scientist: arquitetura de uma solução DS da infra até o deploy [Docker, Airflow, MinIO, Scikit-learn, Streamlit]
- Sistema de Recomendação: eloboração de algorítmo de KNN para recomendação baseada em filtragem colaborativa
- Fundamentos em Deep Learning - Redes neurais com Keras (camadas, épocas e validação)
- Fundamentos em Deep Learning - Parâmetros das redes (pesos, vieses, funções, propagação e retropropagação)
- Fundamentos em Deep Learning - Teorema da Aproximação Universal com Redes Neurais
- Fundamentos em Deep Learning - implementação de uma rede neural de regressão com numpy
- Séries Temporais - Previsões com Keras
Processamento de Linguagem Natural (PLN) ou, do inglês, Natural Language Processing (NLP), é uma área de estudo que combina ciência da computação, linguística e inteligência artificial para possibilitar que uma máquina possa compreender automaticamente frases escritas ou faladas por humanos, esta são chamadas de Linguagem Natural.
- Linguagem Natural: NLP com análise de sentimento (parte 1 - principais conceitos de NLP)
- Linguagem Natural: Otimização de PLN (parte 2)
- NLP: interpretação com o contexto das palavras (introdução em Word Embedding - Word2Vec - CBOW e Skip Gram)
- NLP: construção de um modelo Word2Vec (CBOW e Skip-Gram) - treinamento de modelo com vocabulário próprio
A Visão Computacional é uma área de estudo da inteligência artificial destinada que as imagens consigam compreender imagens ou vídeos, possibilitando a identificação de objetos, a descrição da imagem e de seus objetos, atribuição de tags pertinentes, a segmentação etc. Costumam realizar a aprendizagem através de Deep Learning e Redes Neurais Convolucionais.
- Aplicação da Visão Computacional para caracterização de imagens (API do Twitter e MS Azure CV
- Visão computacionala para análise e classificação de faces: OpenCV
- Análise de dados geográficos com Python: dados do Censo do IBGE (GeoPandas e Folium)
- Análise de registros de queimadas na Amazônia
- Análise de Adequação: obtenção de dados urbanos através de API e cálculo de rotas através de grafos.
O método Ágil é uma metodologia de gestão de projetos que surge como uma alternativa método clássico Waterfall.
- Scrum: Manifesto Ágil, iniciação, planejamento, execução, revisão, retrospectiva e encerramento de projetos com Agile
- Lean Kanban: gestão do fluxo de trabalho