billboard_top_100.Rmd

---
title: "billboard Top 100 Project"
author: "Christoph Potempa"
date: "06.05.2021"
output: html_document
---

```{r setup, include=FALSE}
knitr::opts_chunk$set(echo = TRUE)
```

### dplyr, tidyr und ggplot und gganimate vllt

In diesem Projekt werde ich mich einem sehr bekannten Datensatz widmen, in dem es vorrangig darum geht, einen sehr unordentlichen Datensatz zu bereinigen und in eine tidy Form zu bekommen. Anschließend sollen paar interessante Auswertungen und Analysen durchgeführt werden. 

Hauptziel ist ein `Cleveland Dotplot` aller Nummer 1 Songs im Zeitverlauf zwischen Woche 1 und Woche 52.

### Datenaufbereitung

Zunächst einmal werden die benötigten Pakete geladen.

```{r, message=FALSE, warning=FALSE}
library(tidyverse)
library(reactable)
library(highcharter)
library(viridis)
```

Als laden wir den Datensatz, der im Paket `tidyr` integriert ist. Der Datensatz `billboard`enthält die Platzierungen in den Billboard Top 100 Charts aus dem Jahre 2000 und alle Platzierungen jedes aufgeführten Songs.

```{r}
billboard
```

Wir sehen: Der Datensatz ist in einem schrecklichen Zustand. Die ersten drei Spalten `artist`, `track` und `date.entered` sehen auf den ersten Blick noch ganz gut aus. Danach beginnt jedoch das Chaos. 

```{r}
billboard_long <- billboard %>% 
  pivot_longer(
    cols = starts_with("wk"),
    names_to = "Woche",
    values_to = "Rang",
    names_prefix = "wk",
    values_drop_na = TRUE
    )
billboard_long 
```

```{r}
billboard_long_d <- billboard_long %>% 
  rename(Interpret = artist,
         Song = track,
         Einstiegsdatum = date.entered,
         Folgewoche = Woche,
         Platzierung = Rang
        )
billboard_long_d
```

```{r}
billboard_long_d$Folgewoche <- as.double(billboard_long_d$Folgewoche)

billboard_long_d_1 <- billboard_long_d %>% 
        mutate(Datum = Einstiegsdatum + (Folgewoche - 1) * 7)
billboard_long_d_1
```

Schon sehr nah am Datenziel des Projektes

```{r, message=FALSE}
billboard_long_d_final <- billboard_long_d_1 %>% 
        group_by(Interpret, Song, Datum, Platzierung) %>%
        summarize(Anzahl = n()) %>% 
        filter(Datum >= as.Date("2000-01-01"), Datum <= as.Date("2000-12-31") & Platzierung == 1) %>% 
        select(- Anzahl, -Platzierung)
billboard_long_d_final
```

```{r}
billboard_long_d_final <- billboard_long_d_final %>% 
    group_by(Song) %>%
    mutate(
        first = first(Datum),
        last =last(Datum)) %>% 
    group_by(Interpret, Song, first, last) %>% 
    summarise(Anzahl = n())

billboard_long_d_final
```

Ich denke das ist der Output den wir wollten.

### Visualisierung

Interaktive Tabelle mit allen 2000 veröffentlichten Songs die in diesem Jahr Platz 1 der Billboard Top 100 erreicht haben

```{r}
reactable(
  billboard_long_d_final,
      defaultPageSize = 60,
      height = 465,
      filterable = FALSE,
      striped = TRUE,
      highlight = TRUE,
      bordered = TRUE,
  theme = reactableTheme(
    stripedColor = "whitesmoke",
    highlightColor = "#c5c7c7"
  )
  )
```

Für den Plot habe ich an folgendes gedacht:

https://rpubs.com/ben_weiher/647149

```{r}
billboard_long_final <- billboard_long_d_final %>% 
  pivot_longer(
    cols = first:last,
    names_to = "Datum"
  ) 
billboard_long_final
```


```{r}
billboard_long_d_final<- billboard_long_d_final %>% 
mutate(Gesamt = paste(Interpret, Song, sep = " - ")) %>% 
   mutate(pos = Anzahl - 0.5)
  
ggplot(billboard_long_d_final, aes(x= reorder(Gesamt, Anzahl), y=Anzahl)) + 
  geom_bar(stat = "identity") +
   ggtitle(" Nummer 1 der Billboard Charts im Jahre 2000") +
  ylab("Anzahl Wochen auf Nummer 1") + 
  xlab("Interpret und Song") +
  theme_classic() +
scale_y_continuous(limits = c(0, 10), breaks = c(1:10)) +
  geom_text(aes(label = Anzahl, y=0.5), size = 3, color="White") +
  coord_flip() 

```

```{r echo = FALSE,fig.width = 10}
#Füge ausgedachtet Genre hinzu
billboard_long_d_final$genre <- c("R&B", "Pop", "Pop", "Pop", "Rock", "R&B", "R&B", "Pop", "R&B", "Rock", "Pop", "Rock", "Pop", "Pop", "Rock", "R&B", "Rock")
billboard_long_d_final$genre <- factor(billboard_long_d_final$genre, levels=c("R&B", "Pop", "Rock"))

ggplot(billboard_long_d_final, 
    aes(x= reorder(Gesamt, Anzahl), y=Anzahl, fill=genre)) + 
        geom_bar(stat = "identity") +
        ggtitle(" Nummer 1 der Billboard Charts im Jahre 2000") +
        ylab("Anzahl Wochen auf Nummer 1") + 
        xlab("Interpret und Song") +
        theme_classic() +
        scale_fill_viridis(discrete = TRUE)  +
        scale_y_continuous(limits = c(0, 10), breaks = c(1:10)) +
        geom_text(aes(label = Anzahl, y=pos), size = 3, color="White") +
        coord_flip() 

```   

```{r echo = FALSE,fig.width = 10}
billboard_long_final<- billboard_long_final %>% 
mutate(Gesamt = paste(Interpret, Song, sep = " - ")) %>% 
   mutate(pos = Anzahl - 0.5) %>% 
  arrange(value)

ggplot(billboard_long_final, 
    aes(x=value, y=reorder(Gesamt, desc(value)), color=Datum)) + 
        geom_point()  + 
theme_bw() +
    ggtitle("Zeitverlauf Nummer 1 der Billboard Charts im Jahre 2000") +
  theme(panel.grid.major.x = element_blank(),
        panel.grid.major.y = element_line(size=0.5),
        panel.grid.minor.x = element_blank()) +
        ylab("Interpret und Song") + 
        xlab("Datum") +
        theme_classic() +
        scale_fill_viridis(discrete = TRUE)  
```

```{r echo = FALSE}
#Etwas Händisches Aufbereiten der Namen. Teilweise waren die Songnamen einfach abgeschnitten.

billboard_long_final$Gesamt[billboard_long_final$Gesamt == "Aguilera, Christina - What A Girl Wants"] <- "Christina Aguilera - What A Girl Wants"

billboard_long_final$Gesamt[billboard_long_final$Gesamt == "Carey, Mariah - Thank God I Found Yo..."] <- "Mariah Carey - Thank God I Found You"

billboard_long_final$Gesamt[billboard_long_final$Gesamt == "Iglesias, Enrique - Be With You"] <- "Enrique Iglesias - Be with You"

billboard_long_final$Gesamt[billboard_long_final$Gesamt == "Janet - Doesn't Really Matte..."] <- "Janet - Doesn't Really Matter"

billboard_long_final$Gesamt[billboard_long_final$Gesamt == "Aguilera, Christina - Come On Over Baby (A..."] <- "Christina Aguilera - Come On Over Baby"

billboard_long_final$Gesamt[billboard_long_final$Gesamt == "Destiny's Child - Independent Women Pa..."] <- "Destiny's Child - Independent Women Part 1"

```

Der finale Plot. Fast genau so wie wir ihn haben wollten. Wehrmutstropfen ist der Konflikt zwischen Savage Garden und Mariah Carey. Aber sowas kann ich auch später noch klären.

```{r echo = FALSE,fig.width = 12, fig.height=5.5}

ggplot(billboard_long_final, aes(x=value, y=reorder(Gesamt, desc(value)), color=Datum)) +
        geom_line(aes(group = Gesamt)) + 
        geom_point(aes(color = Datum, size = Anzahl))  +
        theme_classic() +
        ggtitle("Zeitverlauf Nummer 1 der Billboard Charts im Jahre 2000") +
        theme(panel.grid.major.x = element_blank(),
        panel.grid.major.y = element_line(size=0.5),
        panel.grid.minor.x = element_blank(),
        legend.position="bottom")+
        ylab("Interpret und Song") + 
        xlab("Datum") +
        labs(subtitle = "Carlos Santana und Destiny's Child standen im Jahre 2000 gemeinsam 20 Wochen auf Platz 1 der  Billboard Top 100 Charts") +
         scale_colour_manual(name = 'Status',
         values = c('first'='blue', 'last'='purple'),
         labels = c('Platz 1 erstmalig erreicht','Platz 1 letztmalig erreicht')) +
        scale_x_date(breaks = as.Date(c("2000-01-01","2000-07-01", "2000-12-31")),
                     date_labels = "%d.%m") 
```