Trabalho Prático - Análise e Data Mining

[guilmour]

Consulta e Análise dos Dados

A compreensão de diversos padrões e tendências presentes nos dados é um fator importante para a competitividade das empresas, fabricação de produtos de qualidade, definição de políticas públicas, etc. Tais práticas estão associadas às áreas de análise de dados e data mining. No nosso caso, imaginem que vocês são contratados por uma empresa de distribuição de mídia audiovisual (e.g. Netflix, Amazon, Apple) que precisa saber mais detalhes sobre o comportamento da nossa rede social para identificar oportunidades de negócio.

Desenvolva uma aplicação para exibição de estatísticas da nossa rede social. Ao ser executada, a aplicação deve mostrar todas as informações requisitadas abaixo, de preferência usando SQL. A aplicação pode ser feita usando o terminal de texto, mas as informações devem estar bem organizadas e bem apresentadas. As informações devem ser calculadas dinamicamente, ou seja, se houver inclusão ou exclusão de dados na base, as estatísticas devem refletir o novo estado dos dados. A aplicação pode ser desenvolvida com conexão no banco de preferência do aluno (seja no PostgreSQL do RLE ou num HS2 local).

Informações:

• Qual é a média e desvio padrão dos ratings para artistas musicais e filmes?

• Quais são os artistas e filmes com o maior rating médio curtidos por pelo menos duas pessoas? Ordenados por rating médio.

• Quais são os 10 artistas musicais e filmes mais populares? Ordenados por popularidade.

• Crie uma view chamada ConheceNormalizada que represente simetricamente os relacionamentos de comnhecidos da turma. Por exemplo, se a conhece b mas b não declarou conhecer a, a view criada deve conter o relacionamento (b,a) além de (a,b).

• Quais são os conhecidos (duas pessoas ligadas na view ConheceNormalizada) que compartilham o maior numero de filmes curtidos?

• Qual o número de conhecidos dos conhecidos (usando ConheceNormalizada) para cada integrante do grupo?

• Construa um gráfico para a função f(x) = número de pessoas que curtiram exatamente x filmes.

• Construa um gráfico para a função f(x) = número de filmes curtidos por exatamente x pessoas.

• Defina duas outras informações (como as anteriores) que seriam úteis para compreender melhor a rede. Agregue estas informações à sua aplicação.

Para as questões com gráficos, os alunos são encorajados a fazer o uso de alguma biblioteca ou framework gráfico suportado pela linguagem de implementação. Para implementações em Java, recomenda-se o uso da biblioteca GRAL (http://trac.erichseifert.de/gral/) para composição dos gráficos (exemplo disponível no moodle). Para implementações em Python, recomenda-se o Matplotlib (http://matplotlib.org/users/pyplot_tutorial.html).

Submissão

A submissão será corrigida usando o GitLab. Implemente sua solução e faça o commit/push para o repositório do grupo que foi informado para o Professor. Certifique-se de que o arquivo README.md esteja atualizado com os nomes, RAs e logins GitLab dos integrantes do grupo. Implemente sua solução no diretório "06 - Análise e Data Mining” que foi criado automaticamente no seu repositório após a clonagem do repositório do professor. Na raiz deste diretório, crie um arquivo chamado readme.txt que descreva a localização dos arquivos fontes da sua solução. Submeta também um PDF com os resultados das consultas e os gráficos gerados (adicione o PDF na raiz do diretório "06 - Análise e Data Mining”). Submeta abaixo um texto com o link para o repositório do grupo e o resultado do comando "git log HEAD -20 origin/master”. Submissões que não atendem às especificações não serão consideradas.

http://moodle.dainf.ct.utfpr.edu.br/mod/assign/view.php?id=22322