Pós-Graduação em Data Science:

Machine Learning em Big Data com Pyspark! 🗃️

Notebooks 📓

• Aula 1 - Conhecendo o Spark
• Aula 2 - Operações Básicas no Pyspark
• Aula 3 - Consultas e Seleções
• Aula 4 - Operações entre DataFrames e Armazenamento
• Aula 5 - Introdução aos Sistemas de Recomendação
• Aula 6 - Recomendações com o Algoritmo ALS

Dados 🎲

Os dados foram obtidos no Kaggle e contém informações sobre animes e a preferência de milhares de usuários diferentes, coletadas entre 26 de fevereiro e 20 de março de 2020.

Neste módulo vamos trabalhar com os seguintes datasets:

• animelist.csv
• anime_with_synopsis.csv

Os datasets estão disponíveis aqui: dados para download

Não se esqueça de fazer o download dos arquivos e criar uma pasta no seu Google drive com esses arquivos!

Objetivo 🎯

Analisar os dados com o Pyspark e criar recomendações baseadas em Collaborative Filtering.

Vamos lá!!!