notebooks/0 Uvod.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "0b5d3ec4",
   "metadata": {},
   "source": [
    "# Uvod"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "15560cd2",
   "metadata": {},
   "source": [
    "> Pred vama je praktikum za predmet __Primenjena nauka o podacima__ na fakultetu [FEFA](https://www.fefa.edu.rs/) u Beogradu. Ukoliko se ne prepoznajete u studentima koji pohađaju ovaj predmet, zaboravite na ovu formalnu napomenu i čitajte materijal onako kako vama najviše odgovara. _Jupyter_ sveske u ovom praktikumu sadrže uputstvo za pisanje programa za obradu i analizu podataka u Pajtonu sa nizom, nadam se, zanimljivih i inspirativnih primera. Prvo izdanje ove publikacije je dostupno na web prezentaciji fakulteta, ali bi materijal trebalo i dalje da se razvija. Ažurna verzija ovog praktikuma sa novim temama i primerima trebalo bi da uvek bude dostupna na lokaciji https://sverbic.github.io/skriptna-obrada-podataka/. Ukoliko imate sugestije za poboljšanje teksta ili kôda, \"forkujte\" materijal koji se nalazi na [GitHub-u](https://github.com/sverbic/skriptna-obrada-podataka) i predložite izmene. Bilo bi sjajno da novi ljudi i nove ideje ovaj materijal učine boljim i savremenijim.  \n",
    ">\n",
    "> Za skriptnu obradu i analizu podataka u Pajtonu vam nije potrebno posebno predznanje. Dovoljno je da vladate osnovnoškolskom matematikom i elementarnom statistikom, kao i da ispunite tehničke preduslove za pokretanje Jupyter sveski. Čak iako se nikada ranije niste sreli sa Pajtonom, ovi programi ne bi trebalo da predstavljaju posebnu teškoću. Potrebno je samo da posvetite neko vreme da razumete i primenite ono što je u sveskama opisano. Ništa od toga nije previše zahtevno. U ovoj \"nultoj\" svesci dato je uputstvo kako da prevaziđemo početne tehničke izazove."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "bec6ae84",
   "metadata": {},
   "source": [
    "## Skriptna obrada podataka"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "64131e9c",
   "metadata": {},
   "source": [
    "Internet i društvene mreže su drastično podigli nivo količine podataka koji obrađujemo svaki dan. Dok je internet još bio samo za imejl i pretragu na Yahoo! svi podaci koje smo uopšte mogli da obrađujemo su bili na računaru. Tada je i Eksel (_Microsoft Excel_) bio više nego dovoljan za ljude čiji je posao da prikupljaju, obrađuju i predstavljaju podatke. Danas su _speadsheet_ programi još mnogo bolji, ali i dalje imaju jednu kritičnu karakteristiku –  svaka obrada podrazumeva da mi, pomoću miša i tastature, svaki put ponavljamo manje-više isti postupak. Možda vremenom postajemo brži i efikasniji, ali i dalje smo mi ljudi neophodni da se obradi novi fajl sa podacima.\n",
    "\n",
    "Količina podataka sa kojom se danas susrećemo zahteva drugačiji pristup – da mašini prepustimo taj manuelni posao obrade podataka. To možemo da uradimo tako što napišemo jednostavan program (skriptu) koji isti postupak ponavlja tačno onoliko puta koliko mi to želimo. Takva analiza se naziva skriptnom analizom podataka. Nju možete da izvedete i pomoću makroa ili skripta u Ekselu, ali to, na duge staze, nije dobro rešenje jer smo i dalje ograničeni na Ekselov repertoar funkcija i tipova promenljivih. Pre ili kasnije ćemo morati da pređemo na \"pravi\" programski jezik i okruženje sa neograničenim mogućnostima za obradu i analizu podataka.\n",
    "\n",
    "Dva programska jezika se danas prepoznaju kao veoma dobra rešenja za skriptnu analizu podataka: [R](https://cran.r-project.org/) i Pajton (_Python_). Mi ćemo u ovom praktikumu koristiti Pajton jer je pogodniji za korišćenje u Džupiter sveskama ([_Jupyter Notebook_](https://jupyter.org/)), interaktivnom okruženju u kom je napisan ceo ovaj praktikum."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "25ee39b8",
   "metadata": {},
   "source": [
    "Praktikum je namenjen svima koje interesuje kako da automatizuju obradu i analizu podataka. Poželjno je da korisnici imaju osnovno znanje iz oblasti statistike i programiranja, kao i rada sa Ekselom. Za korišćenje ovih svezaka nije potrebno aktivno programiranje, ali je poželjno da korisnici znaju kako se pišu programi, koja im je osnovna struktura, šta su promenljive i funkcije. Džupiter sveske mogu da se koriste bez dopisivanja bilo kakvog kôda, dovoljno je da budete u stanju da jedan argument funkcije zamenite drugim ili da varirate parametre."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c669a4f0",
   "metadata": {},
   "source": [
    "Ovaj praktikum može da se koristi na dva načina: da čitate sadržaj svezaka gde sav kôd i grafikone posmatrate kao ilustracije ili da sveske koristite interaktivno tako što pokrećete kôd i eksperimentišete menjajući ga po malo. Preporučujemo da praktikum čitate u dve faze, prvo samo pročitate, a onda \"zavrnete rukave\" i probate da koristite sveske interaktivno."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "1813e564",
   "metadata": {},
   "source": [
    "Imajte u vidu da ovo nije udžbenik za obradu podataka ili nauku o podacima. Objašnjeni su samo neki koncepti potrebni za razumevanje navedenih primera skriptne obrade i analize podataka. Pošto je praktikum priređen kao hipertekst, većina važnih koncepata ima hiperlinkove ka definicijama ili objašnjenjima u drugoj literaturi dostupnoj onlajn. Takođe, za sve sveske postoje važne reference koje treba konsultovati za dalje i dublje učenje ili primene."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "5eaf947a",
   "metadata": {},
   "source": [
    "Jedan od većih problema u kulturi rada sa podacima i njihovog korišćenja je loša komunikacija rezultata. Iako se menažeri uspešnih kompanija uvek slažu da je donošenje odluka zasnovanih na podacima neophodno, retko ko od njih direktno koristi podatke. Mnogo je češći slučaj da čitaju kratke izveštaje koji uglavnom podržavaju već utvrđen stav. Razlog za to je da podaci nikada ne govore sami za sebe. Oni su dosadno i teško razumljivo štivo ukoliko su lišeni konteksta i dobrog narativa. Današnjim analitičarima nisu dovoljni statistika i domensko znanje, oni moraju da vladaju veštinom atraktivnog pripovedanja sa podacima. Publiku privlače zanimljive priče. Ukoliko su one bazirane na pravim podacima, komunikacija će biti bolja, uverljivija i svrsihodnija. Zbog toga su sve Džupiter sveske u ovom praktikumu zamišljene kao priče o nekim podacima."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "a22a1f5e",
   "metadata": {},
   "source": [
    "## O Džupiter sveskama"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "0dd031af",
   "metadata": {},
   "source": [
    "Džupiter sveske (_Jupyter Notebook_) su _open-source_ aplikacija koja omogućava da pravimo i delimo dokumente koji sadrže programski kôd sa pratećim tekstom, jednačinama i vizuelizacijama. Ova aplikacija radi u Džupiter okruženju, odnosno na Džupiter serveru koji može biti podignut lokalno na vašem računaru ili dostupan kao onlajn servis. Iako je Džupiter zamišljen kao platforma za tri jezika (**Ju**lia, **Pyt**hon i __R__), najveći broj svezaka je urađen u Pajtonu. Za Džupiter sveske ne postoji poseban editor, one se edituju i pokreću iz veb-brauzera."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "246b573f",
   "metadata": {},
   "source": [
    "Ovde se nećemo upuštati u detalje rada sa Džupiter sveskama. Ako samo čitate sadržaj, nikakvo uputstvo vam nije potrebno. Kada radite interaktivno, najvažnije je da primetite da se sveska sastoji iz \"In\" (_input_) i \"Out\" (_output_) polja. U _input_ polja mi unosimo instrukcije ili prateći tekst. U _output_ poljima je izlaz koji generiše mašina. Kada unesmo kôd u _input_ polje, izvršavamo ga tako što istovremeno pritiskamo _Ctrl_ i _Enter_ na tastaturi. Tada se u polju ispod pojavljuje rezultat. Kada izvršimo instrukcije date u nekom \"In\" polju, broj u uglastim zagradama pored oba polja se povećava za jedan. Pošto instrukcije ne moraju da se izvršavaju redom kojim su ispisane na ekranu, numeracija nam govori kojim su redom izvršavane."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "65a0d0cc",
   "metadata": {},
   "source": [
    "```{image} /figures/in&out.png\n",
    ":alt: in&out\n",
    ":class: bg-primary mb-1\n",
    ":width: 320px\n",
    ":align: center\n",
    "```"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "5433cc2f",
   "metadata": {},
   "source": [
    "## O Pajtonu"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "740babd1",
   "metadata": {},
   "source": [
    "U ovom praktikumu nećemo davati uputstvo za rad u Pajtonu. Čitajući ove Džupiter sveske videćete da mnogo toga u Pajtonu može da se uradi sa svega par linija koda. Zato verujemo da je primena Pajtona za obradu i analizu podataka moguća i bez posebnog znanja programiranja. Pajton je programski jezik opšte namene koji ima mnoštvo svojih specifičnosti. Mi, međutim, ne planiramo da pišemo softver od hiljadu linija kôda niti da pravimo nove biblioteke. Ideja je da koristimo prednosti interpretera koji dozvoljava da podatke obrađujemo korak po korak kao iz komandne linije. Sintaksa Pajtona je, srećom kao i kod većine jezika interpretera, jednostavna. \n",
    "\n",
    "Sam Pajton, u svojoj osnovnoj verziji, nema dovoljno funkcija za rad sa podacima. Zato je potrebno da koristimo specifične biblioteke koje imaju za to namenjene funkcije. To je takođe jednostavno i vrlo brzo ćete videti da skoro uvek koristimo iste 2-3 biblioteke. Zaista mislimo da niko ne treba da uzima kurs programiranja u Pajtonu kako bi mogao da ga koristi za (ne previše složenu) obradu i analizu podataka.\n",
    "\n",
    "Ukoliko procenite da vam je potreban postupniji i lakši pristup Pajtonu, možete da pogledate onlajn kurs Fondacije Petlja na ovu temu. Pogledajte preporuke na kraju ove sveske."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "54fad97f",
   "metadata": {},
   "source": [
    "## Kako da pokrenete interaktivnu verziju Džupiter sveski"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "44a60db6",
   "metadata": {},
   "source": [
    "Za interaktivni rad sa Džupiter sveskama potrebno je da otvorite odgovarajuće `.ipynb` fajlove. Te fajlove može da čita samo aplikacija Jupyter Notebook koja može da bude ili servis na internetu ili aplikacija instalirana na vašem računaru. \n",
    "\n",
    "Najjednostavniji način da otvorite .ipynb fajlove jeste da ih postavite u neki onlajn Git repozitorijum (npr. GitHub) i da onda link na sveske, odnosno te fajlove unesete u odgovarajuće polje portala [Binder](https://mybinder.org/) i kliknete na \"launch\". Ovaj servis će otvoriti interaktivnu verziju na kojoj ćete moći da radite dok ste onlajn. Binder vam neće trajno sačuvati ono što radite, ali možete uvek ponovo na mu pristupite.\n",
    "\n",
    "Drugi način da pokrenete .ipynb fajlove je da koristite neki od od servisa na kojima je potrebno da otvorite nalog (a možda i da platite korišćenje) poput [Google Colab](https://colab.research.google.com/) ili [CoCalc](https://cocalc.com/). Ovo je rešenje, pre svega, za profesionalce koji ne žele samo onlajn servis već i platformu za saradnju sa drugim programerima.\n",
    "\n",
    "Treći način je da podignete server za Džupiter sveske na svom računaru. Srećom, to nije tako komplikovano kao što zvuči. Potrebno je da preuzmete sa interneta instalaciju programskog okruženja [Anaconda](https://www.anaconda.com/products/individual) i da je instalirate. Izaberite verziju za Pajton 3.8 i vaš operativni sistem. Imajte u vidu da je ova instalacija velika i zahtevna u pogledu memorije. Kad pokrenete okruženje Anaconda dobićete mogućnost da izaberete neku od ponuđenih aplikacija. Izaberite Jupyter Notebook. Tada će vaš brauzer otvoriti Pajtonov radni direktorijum. Postarajte se da u taj direktorijum unesete potrebne Džupiter sveske, odnosno .ipynb fajlove. Biće dovoljno da kliknete na ime fajla i on će se u novom tabu brauzera otvoriti kao interaktivna sveska."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "652790db",
   "metadata": {},
   "source": [
    "```{image} /figures/jupyter_notebook2.png\n",
    ":alt: in&out\n",
    ":class: bg-primary mb-1\n",
    ":align: center\n",
    "```"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "159ec3e2",
   "metadata": {},
   "source": [
    "Kada završimo sa tehničkim podešavanjima, bićemo spremni da se pozabavimo suštinom, tj. obradom i analizom podataka u Pajtonu."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "566ebc43",
   "metadata": {},
   "source": [
    "```{admonition} Preporučena literatura\n",
    ":class: tip\n",
    "Ovaj praktikum nema klasične reference jer ne bi imale mnogo smisla. Tamo gde se sveske oslanjaju na poznate skupove podataka ili kôd koji je javno dostupan, u tekstu postoje hiperlinkovi na originalni materijal. U svakom slučaju, postoje onlajn knjige i priručnici koje biste mogli da pogledate jer na sličan način obrađuju slične teme. Bez obzira što vam je tema poznata, pristup može da bude nov i inspirativan. Evo nekih preporuka: \n",
    "\n",
    "- [Анализа и презентација података у Џупајтеру](https://petlja.org/biblioteka/r/kursevi/jupyter-prirucnik) Dragan Mašulović. 2019. Fondacija Petlja. _Ovaj priručnik je uvod u analizu podataka prilagođenu učenicima osnovne škole. Kako je Pajton nova tema i za osnovce i za starije, ovakav priručnik svakome od nas može da bude koristan. Sintaksa je ista za sve._\n",
    "- [Анализа (отворених) података](https://petlja.org/biblioteka/r/kursevi/jupyterRadneSveske_srb) Aleksandra Alorić. 2020. Fondacija Petlja. _Ovaj kurs je namenjen nešto starijoj publici. Naglasak nije na Pajtonu - jer se pretpostavlja da osnove Pajtona već znate - nego na korišćenju otvorenih podataka iz različitih izvora._\n",
    "- [Computational and Inferential Thinking: The Foundations of Data Science](https://inferentialthinking.com/chapters/intro.html)  Ani Adhikari, John DeNero, David Wagner. 2021. _Ova knjiga obiluje primerima tumačenja podataka i izvođenja zaključaka na osnovu njih. Autori su se potrudili da izbegnu statističke testove i da Pajton iskoriste za simuliranje mogućih podataka i njihovih rapodela. Ovaj način analize podataka je svakako intuitivniji i manje formalan._\n",
    "- [Python Data Science Handbook: Essential Tools for Working with Data](https://jakevdp.github.io/PythonDataScienceHandbook) VanderPlas Jake. 2016. O'Reilly Media. _Ovaj knjga nudi sistematičan i detaljan pregled svih važnih tema vezanih za obradu podataka u Pajtonu. Posebno je interesantan i inspirativan deo sa naprednom vizuelizacijom podataka._\n",
    "```\n"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.13"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}