Sector Scanner.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "de0b94ac",
   "metadata": {},
   "source": [
    "## Seoul Sector"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "61fbcd18",
   "metadata": {},
   "outputs": [],
   "source": [
    "#import custom module\n",
    "import nre.classes as nc\n",
    "import nre.util as nu\n",
    "import pickle\n",
    "from tqdm import tqdm_notebook\n",
    "\n",
    "nu.IS_LOGGING = False"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "6c47d3a0",
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0 서울시 1100000000 loc(37.566427 | 126.977872)\n",
      "1 경기도 4100000000 loc(37.274939 | 127.008689)\n",
      "2 인천시 2800000000 loc(37.456054 | 126.705151)\n",
      "3 부산시 2600000000 loc(35.180143 | 129.075413)\n",
      "4 대전시 3000000000 loc(36.350465 | 127.384953)\n",
      "5 대구시 2700000000 loc(35.871390 | 128.601763)\n",
      "6 울산시 3100000000 loc(35.538600 | 129.311375)\n",
      "7 세종시 3600000000 loc(36.592907 | 127.292375)\n",
      "8 광주시 2900000000 loc(35.160032 | 126.851338)\n",
      "9 강원도 4200000000 loc(37.885399 | 127.729750)\n",
      "10 충청북도 4300000000 loc(36.636149 | 127.491238)\n",
      "11 충청남도 4400000000 loc(36.636290 | 126.689570)\n",
      "12 경상북도 4700000000 loc(36.518504 | 128.437796)\n",
      "13 경상남도 4800000000 loc(35.238343 | 128.692400)\n",
      "14 전라북도 4500000000 loc(35.820433 | 127.108875)\n",
      "15 전라남도 4600000000 loc(34.816358 | 126.462443)\n",
      "16 제주도 5000000000 loc(33.488976 | 126.498238)\n",
      "원하는 도시 인덱스 : 3\n",
      "부산시 2600000000 loc(35.180143 | 129.075413)\n",
      "Found 192\n",
      "강동동\n",
      "구랑동\n",
      "녹산동\n",
      "눌차동\n",
      "대저1동\n",
      "대저2동\n",
      "대항동\n",
      "동선동\n",
      "명지동\n",
      "미음동\n",
      "범방동\n",
      "봉림동\n",
      "생곡동\n",
      "성북동\n",
      "송정동\n",
      "식만동\n",
      "신호동\n",
      "죽동동\n",
      "죽림동\n",
      "지사동\n",
      "천성동\n",
      "화전동\n",
      "구서동\n",
      "금사동\n",
      "금성동\n",
      "남산동\n",
      "노포동\n",
      "두구동\n",
      "부곡동\n",
      "서동\n",
      "선동\n",
      "오륜동\n",
      "장전동\n",
      "청룡동\n",
      "회동동\n",
      "기장읍\n",
      "일광읍\n",
      "장안읍\n",
      "정관읍\n",
      "철마면\n",
      "감만동\n",
      "대연동\n",
      "문현동\n",
      "용당동\n",
      "용호동\n",
      "우암동\n",
      "범일동\n",
      "수정동\n",
      "좌천동\n",
      "초량동\n",
      "낙민동\n",
      "명륜동\n",
      "명장동\n",
      "복천동\n",
      "사직동\n",
      "수안동\n",
      "안락동\n",
      "온천동\n",
      "칠산동\n",
      "가야동\n",
      "개금동\n",
      "당감동\n",
      "범전동\n",
      "범천동\n",
      "부암동\n",
      "부전동\n",
      "양정동\n",
      "연지동\n",
      "전포동\n",
      "초읍동\n",
      "구포동\n",
      "금곡동\n",
      "덕천동\n",
      "만덕동\n",
      "화명동\n",
      "감전동\n",
      "괘법동\n",
      "덕포동\n",
      "모라동\n",
      "삼락동\n",
      "엄궁동\n",
      "주례동\n",
      "학장동\n",
      "감천동\n",
      "괴정동\n",
      "구평동\n",
      "다대동\n",
      "당리동\n",
      "신평동\n",
      "장림동\n",
      "하단동\n",
      "남부민동\n",
      "동대신동1가\n",
      "동대신동2가\n",
      "동대신동3가\n",
      "부민동1가\n",
      "부민동2가\n",
      "부민동3가\n",
      "부용동1가\n",
      "부용동2가\n",
      "서대신동1가\n",
      "서대신동2가\n",
      "서대신동3가\n",
      "아미동1가\n",
      "아미동2가\n",
      "암남동\n",
      "초장동\n",
      "충무동1가\n",
      "충무동2가\n",
      "충무동3가\n",
      "토성동1가\n",
      "토성동2가\n",
      "토성동3가\n",
      "토성동4가\n",
      "토성동5가\n",
      "광안동\n",
      "남천동\n",
      "망미동\n",
      "민락동\n",
      "수영동\n",
      "거제동\n",
      "연산동\n",
      "남항동1가\n",
      "남항동2가\n",
      "남항동3가\n",
      "대교동1가\n",
      "대교동2가\n",
      "대평동1가\n",
      "대평동2가\n",
      "동삼동\n",
      "봉래동1가\n",
      "봉래동2가\n",
      "봉래동3가\n",
      "봉래동4가\n",
      "봉래동5가\n",
      "신선동1가\n",
      "신선동2가\n",
      "신선동3가\n",
      "영선동1가\n",
      "영선동2가\n",
      "영선동3가\n",
      "영선동4가\n",
      "청학동\n",
      "광복동1가\n",
      "광복동2가\n",
      "광복동3가\n",
      "남포동1가\n",
      "남포동2가\n",
      "남포동3가\n",
      "남포동4가\n",
      "남포동5가\n",
      "남포동6가\n",
      "대창동1가\n",
      "대창동2가\n",
      "대청동1가\n",
      "대청동2가\n",
      "대청동3가\n",
      "대청동4가\n",
      "동광동1가\n",
      "동광동2가\n",
      "동광동3가\n",
      "동광동4가\n",
      "동광동5가\n",
      "보수동1가\n",
      "보수동2가\n",
      "보수동3가\n",
      "부평동1가\n",
      "부평동2가\n",
      "부평동3가\n",
      "부평동4가\n",
      "신창동1가\n",
      "신창동2가\n",
      "신창동3가\n",
      "신창동4가\n",
      "영주동\n",
      "중앙동1가\n",
      "중앙동2가\n",
      "중앙동3가\n",
      "중앙동4가\n",
      "중앙동5가\n",
      "중앙동6가\n",
      "중앙동7가\n",
      "창선동1가\n",
      "창선동2가\n",
      "반송동\n",
      "반여동\n",
      "석대동\n",
      "송정동\n",
      "우동\n",
      "재송동\n",
      "좌동\n",
      "중동\n"
     ]
    }
   ],
   "source": [
    "regions = nu.get_region_list('0000000000')\n",
    "for i, region in enumerate(regions): \n",
    "    print(i, region)\n",
    "idx = int(input(\"원하는 도시 인덱스 : \"))\n",
    "cur_region = regions[idx]\n",
    "\n",
    "print(cur_region)\n",
    "\n",
    "regions = nu.get_region_list(cur_region.no)\n",
    "\n",
    "region_sector = []\n",
    "\n",
    "for child in regions:\n",
    "    region_sector.extend(nu.get_region_list(child.no))\n",
    "    \n",
    "print('Found', len(region_sector))\n",
    "\n",
    "for se in region_sector:\n",
    "    print(se.name)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "66d0a0c1",
   "metadata": {},
   "source": [
    "## Region To Sector"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "7b374af6",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Sector 465\n"
     ]
    }
   ],
   "source": [
    "# region to sector\n",
    "seq_regions = nu.split_list(region_sector)\n",
    "\n",
    "print(len(seq_regions))\n",
    "\n",
    "sectors = []\n",
    "cancels = []\n",
    "\n",
    "for regs in seq_regions:\n",
    "    nu.get_sleep(50)\n",
    "    se, cn = nu.get_sector_list(regs, loop=tqdm_notebook)\n",
    "    sectors.extend(se)\n",
    "    cancels.extend(cn)\n",
    "\n",
    "with open('%s sectors.data' % cur_region.name, 'wb') as f:\n",
    "    pickle.dump(sectors, f)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "6868c007",
   "metadata": {},
   "outputs": [],
   "source": [
    "sectors = None\n",
    "\n",
    "with open('seoul sectors.data', 'rb') as f:\n",
    "    sectors = pickle.load(f)\n",
    "\n",
    "print('Sector', len(sectors))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "5c358df4",
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "\n",
    "def old_classifier(x): #old 구분\n",
    "    return int(x[0:4])\n",
    "    \n",
    "#     value = abs(int(x[0:4]) - 2022)\n",
    "#     if value <= 5:\n",
    "#         return 'New'\n",
    "#     elif value <= 10:\n",
    "#         return 'Common'\n",
    "#     return 'Old'\n",
    "    \n",
    "def get_df(sector, things, neighbors, standard):\n",
    "    nu.update_things_intersection(things, neighbors, nu.get_distance_standard(standard))\n",
    "    total_df = pd.DataFrame(data=[t.get_list() for t in things], columns=nc.NThing.HEADER)\n",
    "    total_df['Old'] = total_df['Build'].apply(old_classifier)\n",
    "    total_df['sector'] = sector.name\n",
    "    total_df['divisition'] = sector.divisition\n",
    "    total_df['city'] = sector.city\n",
    "    total_df.to_csv('./csv/%s - %s house_price.csv' % (sector.name, sector.city), sep=',', na_rep='NaN', index=False)\n",
    "    "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "3c2e757b",
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/var/folders/y8/ldvzwhm13037mvvt3p2d9n0m0000gn/T/ipykernel_11036/2678372075.py:4: TqdmDeprecationWarning: This function will be removed in tqdm==5.0.0\n",
      "Please use `tqdm.notebook.tqdm` instead of `tqdm.tqdm_notebook`\n",
      "  for sec in tqdm_notebook(sectors):\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "fd735115672341a38b4303f47649551f",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "  0%|          | 0/465 [00:00<?, ?it/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Error 서울시 동대문구 신설동 1123010100 loc(37.573942 | 127.024625)\n",
      "Error 서울시 성북구 보문동2가 1129013100 loc(37.585828 | 127.018186)\n",
      "Error 서울시 성북구 보문동3가 1129013200 loc(37.583874 | 127.015813)\n",
      "Error 서울시 성북구 보문동4가 1129012600 loc(37.582882 | 127.021332)\n",
      "Error 서울시 성북구 보문동5가 1129012700 loc(37.582588 | 127.020107)\n",
      "Error 서울시 성북구 보문동6가 1129012800 loc(37.580475 | 127.018825)\n",
      "Error 서울시 성북구 보문동7가 1129012900 loc(37.579733 | 127.022225)\n",
      "Error 서울시 성북구 삼선동1가 1129011100 loc(37.584500 | 127.008200)\n",
      "Error 서울시 성북구 삼선동2가 1129011200 loc(37.584000 | 127.011400)\n",
      "Error 서울시 성북구 안암동3가 1129012300 loc(37.583882 | 127.023100)\n",
      "Error 서울시 성북구 안암동4가 1129012400 loc(37.580392 | 127.024663)\n",
      "Error 서울시 종로구 궁정동 1111010300 loc(37.584886 | 126.972359)\n",
      "Error 서울시 종로구 내자동 1111011400 loc(37.575400 | 126.971600)\n",
      "Error 서울시 종로구 누상동 1111010900 loc(37.580400 | 126.962300)\n",
      "Error 서울시 종로구 누하동 1111011000 loc(37.579183 | 126.968175)\n",
      "Error 서울시 종로구 동숭동 1111016800 loc(37.581300 | 127.005000)\n",
      "Error 서울시 종로구 무악동 1111018700 loc(37.576008 | 126.958098)\n",
      "Error 서울시 종로구 사간동 1111014400 loc(37.577215 | 126.980529)\n",
      "Error 서울시 종로구 사직동 1111011500 loc(37.575363 | 126.965777)\n",
      "Error 서울시 종로구 세종로 1111011900 loc(37.579500 | 126.976800)\n",
      "Error 서울시 종로구 소격동 1111014200 loc(37.579500 | 126.980775)\n",
      "Error 서울시 종로구 송현동 1111014500 loc(37.576800 | 126.981700)\n",
      "Error 서울시 종로구 숭인동 1111017500 loc(37.576200 | 127.019300)\n",
      "Error 서울시 종로구 신교동 1111010200 loc(37.584500 | 126.967800)\n",
      "Error 서울시 종로구 안국동 1111014100 loc(37.577300 | 126.982900)\n",
      "Error 서울시 종로구 옥인동 1111011100 loc(37.583600 | 126.962500)\n",
      "Error 서울시 종로구 이화동 1111016500 loc(37.577008 | 127.004338)\n",
      "Error 서울시 종로구 적선동 1111010700 loc(37.575264 | 126.973889)\n",
      "Error 서울시 종로구 중학동 1111012500 loc(37.575174 | 126.979904)\n",
      "Error 서울시 종로구 창성동 1111010500 loc(37.580600 | 126.972100)\n",
      "Error 서울시 종로구 창신동 1111017400 loc(37.575800 | 127.012063)\n",
      "Error 서울시 종로구 체부동 1111011200 loc(37.578000 | 126.970700)\n",
      "Error 서울시 종로구 충신동 1111016700 loc(37.574842 | 127.006125)\n",
      "Error 서울시 종로구 통의동 1111010600 loc(37.578400 | 126.972638)\n",
      "Error 서울시 종로구 통인동 1111010800 loc(37.579797 | 126.970016)\n",
      "Error 서울시 종로구 팔판동 1111013900 loc(37.582817 | 126.980400)\n",
      "Error 서울시 종로구 사직동 1111011500 loc(37.575363 | 126.965777)\n",
      "Error 서울시 종로구 화동 1111014300 loc(37.580600 | 126.982800)\n",
      "Error 서울시 종로구 효자동 1111010400 loc(37.582683 | 126.971848)\n",
      "Error 서울시 종로구 효제동 1111016200 loc(37.573267 | 127.003013)\n"
     ]
    }
   ],
   "source": [
    "error_sector = []\n",
    "infos = []\n",
    "\n",
    "for sec in tqdm_notebook(sectors):\n",
    "    try:\n",
    "        bundle = nu.get_all_on_sector(sec)\n",
    "        infos.append(bundle)\n",
    "    except:\n",
    "        error_sector.append(sec)\n",
    "        print('Error', sec)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "072fc15a",
   "metadata": {},
   "outputs": [],
   "source": [
    "with open('sectors bundles.data', 'wb') as f:\n",
    "    pickle.dump(infos, f)\n",
    "    \n",
    "with open('fail sectors.data', 'wb') as f:\n",
    "    pickle.dump(error_sector, f)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "da826984",
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/var/folders/y8/ldvzwhm13037mvvt3p2d9n0m0000gn/T/ipykernel_79290/1892170672.py:8: TqdmDeprecationWarning: This function will be removed in tqdm==5.0.0\n",
      "Please use `tqdm.notebook.tqdm` instead of `tqdm.tqdm_notebook`\n",
      "  for info in tqdm_notebook(infos):\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "b02ef3668d1d4d4b8e75689b7802d81d",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "  0%|          | 0/425 [00:00<?, ?it/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "s = 500\n",
    "\n",
    "infos = None\n",
    "\n",
    "with open('./sector data/nsectors bundles.data', 'rb') as f:\n",
    "    infos = pickle.load(f)\n",
    "\n",
    "for info in tqdm_notebook(infos):\n",
    "    get_df(info[0], info[1], info[2],  {\n",
    "        'BUS': s,\n",
    "        'METRO' : s,\n",
    "        'INFANT' : s,\n",
    "        'PRESCHOOL' : s,\n",
    "        'PRI_SCHOOL' : s,\n",
    "        'PUB_SCHOOL' : s,\n",
    "        'HOSPITAL' : s,\n",
    "        'PARKING' : s, \n",
    "        'MART' : s,\n",
    "        'CONVENIENCE': s,\n",
    "        'WASHING': s,\n",
    "        'BANK' : s,\n",
    "        'OFFICE' : s\n",
    "    })"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "3d056249",
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.7"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}