hanviet-same-sound.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "1800946a-bb85-45b4-b9e6-d18f817706e1",
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import unicodedata\n",
    "import re\n",
    "\n",
    "from tqdm import tqdm\n",
    "tqdm.pandas(desc=\"Progress\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "1c4c43da-58d8-4c22-b00b-c53083024620",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'/Users/ryanphung/Projects/Linguistics/chinese-hanviet'"
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import os\n",
    "path = os.getcwd()\n",
    "path"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 78,
   "id": "5d5f526a-4276-463c-b367-31fb6c09adcf",
   "metadata": {
    "tags": []
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>chinese word ranking</th>\n",
       "      <th>frequency</th>\n",
       "      <th>word</th>\n",
       "      <th>traditional</th>\n",
       "      <th>pinyin</th>\n",
       "      <th>hanviet</th>\n",
       "      <th>meaning</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>5</td>\n",
       "      <td>1332.15</td>\n",
       "      <td>可以</td>\n",
       "      <td>可以</td>\n",
       "      <td>kěyǐ</td>\n",
       "      <td>khả dĩ</td>\n",
       "      <td>có thể/khả dĩ/có khả năng/có năng lực/cho phép...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>8</td>\n",
       "      <td>1106.78</td>\n",
       "      <td>中国</td>\n",
       "      <td>中國</td>\n",
       "      <td>zhōngguó</td>\n",
       "      <td>trung quốc</td>\n",
       "      <td>Trung Quốc/Trung Hoa Trung Quốc/China/nước cộn...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>13</td>\n",
       "      <td>916.48</td>\n",
       "      <td>现在</td>\n",
       "      <td>現在</td>\n",
       "      <td>xiànzài</td>\n",
       "      <td>hiện tại</td>\n",
       "      <td>hiện tại/hiện nay/bây giờ</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>16</td>\n",
       "      <td>831.20</td>\n",
       "      <td>时间</td>\n",
       "      <td>時間</td>\n",
       "      <td>shíjiān</td>\n",
       "      <td>thời gian</td>\n",
       "      <td>thời gian/giờ/khoảng thời gian/thời điểm</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>18</td>\n",
       "      <td>775.81</td>\n",
       "      <td>问题</td>\n",
       "      <td>問題</td>\n",
       "      <td>wèntí</td>\n",
       "      <td>vấn đề</td>\n",
       "      <td>vấn đề/câu hỏi/đề hỏi/quan trọng/mấu chốt/chuy...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5013</th>\n",
       "      <td>28899</td>\n",
       "      <td>0.63</td>\n",
       "      <td>先王</td>\n",
       "      <td>先王</td>\n",
       "      <td>xiānwáng</td>\n",
       "      <td>tiên vương</td>\n",
       "      <td>tiên vương/tiên đế</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5014</th>\n",
       "      <td>28906</td>\n",
       "      <td>0.63</td>\n",
       "      <td>精气</td>\n",
       "      <td>精氣</td>\n",
       "      <td>jīngqì</td>\n",
       "      <td>tinh khí</td>\n",
       "      <td>tinh khí</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5015</th>\n",
       "      <td>28912</td>\n",
       "      <td>0.63</td>\n",
       "      <td>家奴</td>\n",
       "      <td>家奴</td>\n",
       "      <td>jiānú</td>\n",
       "      <td>gia nô</td>\n",
       "      <td>gia nô/đầy tớ/tôi tớ</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5016</th>\n",
       "      <td>28926</td>\n",
       "      <td>0.63</td>\n",
       "      <td>安神</td>\n",
       "      <td>安神</td>\n",
       "      <td>ānshén</td>\n",
       "      <td>an thần</td>\n",
       "      <td>an thần/làm yên tâm</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5017</th>\n",
       "      <td>28954</td>\n",
       "      <td>0.63</td>\n",
       "      <td>交合</td>\n",
       "      <td>交合</td>\n",
       "      <td>jiāohé</td>\n",
       "      <td>giao hợp</td>\n",
       "      <td>giao hợp/tính giao/giao cấu</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>5018 rows × 7 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "      chinese word ranking  frequency word traditional    pinyin     hanviet  \\\n",
       "0                        5    1332.15   可以          可以      kěyǐ      khả dĩ   \n",
       "1                        8    1106.78   中国          中國  zhōngguó  trung quốc   \n",
       "2                       13     916.48   现在          現在   xiànzài    hiện tại   \n",
       "3                       16     831.20   时间          時間   shíjiān   thời gian   \n",
       "4                       18     775.81   问题          問題     wèntí      vấn đề   \n",
       "...                    ...        ...  ...         ...       ...         ...   \n",
       "5013                 28899       0.63   先王          先王  xiānwáng  tiên vương   \n",
       "5014                 28906       0.63   精气          精氣    jīngqì    tinh khí   \n",
       "5015                 28912       0.63   家奴          家奴     jiānú      gia nô   \n",
       "5016                 28926       0.63   安神          安神    ānshén     an thần   \n",
       "5017                 28954       0.63   交合          交合    jiāohé    giao hợp   \n",
       "\n",
       "                                                meaning  \n",
       "0     có thể/khả dĩ/có khả năng/có năng lực/cho phép...  \n",
       "1     Trung Quốc/Trung Hoa Trung Quốc/China/nước cộn...  \n",
       "2                             hiện tại/hiện nay/bây giờ  \n",
       "3              thời gian/giờ/khoảng thời gian/thời điểm  \n",
       "4     vấn đề/câu hỏi/đề hỏi/quan trọng/mấu chốt/chuy...  \n",
       "...                                                 ...  \n",
       "5013                                 tiên vương/tiên đế  \n",
       "5014                                           tinh khí  \n",
       "5015                               gia nô/đầy tớ/tôi tớ  \n",
       "5016                                an thần/làm yên tâm  \n",
       "5017                        giao hợp/tính giao/giao cấu  \n",
       "\n",
       "[5018 rows x 7 columns]"
      ]
     },
     "execution_count": 78,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Step 1: read Han Viet\n",
    "df_hanviet = pd.read_csv('outputs/chinese-hanviet-cognates.tsv', sep='\\t')\n",
    "df_hanviet"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 89,
   "id": "7014439f-1f93-4ef2-86a6-284b0ab575eb",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>chinese word ranking_1</th>\n",
       "      <th>frequency_1</th>\n",
       "      <th>word_1</th>\n",
       "      <th>traditional_1</th>\n",
       "      <th>pinyin_1</th>\n",
       "      <th>hanviet</th>\n",
       "      <th>meaning_1</th>\n",
       "      <th>chinese word ranking_2</th>\n",
       "      <th>frequency_2</th>\n",
       "      <th>word_2</th>\n",
       "      <th>traditional_2</th>\n",
       "      <th>pinyin_2</th>\n",
       "      <th>meaning_2</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>10</th>\n",
       "      <td>36</td>\n",
       "      <td>523.07</td>\n",
       "      <td>大家</td>\n",
       "      <td>大家</td>\n",
       "      <td>dàjiā</td>\n",
       "      <td>đại gia</td>\n",
       "      <td>mọi người/đại gia/chuyên gia/người nổi tiếng/b...</td>\n",
       "      <td>4449</td>\n",
       "      <td>11.88</td>\n",
       "      <td>大爷</td>\n",
       "      <td>大爺</td>\n",
       "      <td>dàyé</td>\n",
       "      <td>đại gia/ông lớn/cụ lớn/bác</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>83</th>\n",
       "      <td>172</td>\n",
       "      <td>226.59</td>\n",
       "      <td>声音</td>\n",
       "      <td>聲音</td>\n",
       "      <td>shēngyīn</td>\n",
       "      <td>thanh âm</td>\n",
       "      <td>thanh âm/âm thanh/tiếng tăm/tiếng động</td>\n",
       "      <td>22388</td>\n",
       "      <td>1.16</td>\n",
       "      <td>清音</td>\n",
       "      <td>清音</td>\n",
       "      <td>qīngyīn</td>\n",
       "      <td>thanh âm/nhạc</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>110</th>\n",
       "      <td>232</td>\n",
       "      <td>185.58</td>\n",
       "      <td>精神</td>\n",
       "      <td>精神</td>\n",
       "      <td>jīngshén</td>\n",
       "      <td>tinh thần</td>\n",
       "      <td>tinh thần/nghị lực/sinh lực/tôn chỉ/ý nghĩa ch...</td>\n",
       "      <td>12740</td>\n",
       "      <td>3.02</td>\n",
       "      <td>星辰</td>\n",
       "      <td>星辰</td>\n",
       "      <td>xīngchén</td>\n",
       "      <td>tinh thần/ngôi sao/sao</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>207</th>\n",
       "      <td>448</td>\n",
       "      <td>115.09</td>\n",
       "      <td>中心</td>\n",
       "      <td>中心</td>\n",
       "      <td>zhōngxīn</td>\n",
       "      <td>trung tâm</td>\n",
       "      <td>trung tâm/giữa/ở giữa/giữa ruột</td>\n",
       "      <td>15687</td>\n",
       "      <td>2.21</td>\n",
       "      <td>忠心</td>\n",
       "      <td>忠心</td>\n",
       "      <td>zhōngxīn</td>\n",
       "      <td>trung tâm/lòng trung/lòng trung thành/trung thành</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>235</th>\n",
       "      <td>501</td>\n",
       "      <td>105.92</td>\n",
       "      <td>感情</td>\n",
       "      <td>感情</td>\n",
       "      <td>gǎnqíng</td>\n",
       "      <td>cảm tình</td>\n",
       "      <td>cảm tình/lòng yêu mến/tình cảm yêu mến/tình cảm</td>\n",
       "      <td>12808</td>\n",
       "      <td>3.00</td>\n",
       "      <td>敢情</td>\n",
       "      <td>敢情</td>\n",
       "      <td>gǎnqíng</td>\n",
       "      <td>cảm tình/thì ra/hoá ra/té ra/tất nhiên/đương n...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4121</th>\n",
       "      <td>17757</td>\n",
       "      <td>1.80</td>\n",
       "      <td>主攻</td>\n",
       "      <td>主攻</td>\n",
       "      <td>zhǔgōng</td>\n",
       "      <td>chủ công</td>\n",
       "      <td>chủ công/mũi tiến công chính</td>\n",
       "      <td>26199</td>\n",
       "      <td>0.81</td>\n",
       "      <td>主公</td>\n",
       "      <td>主公</td>\n",
       "      <td>zhǔgōng</td>\n",
       "      <td>chủ công</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4346</th>\n",
       "      <td>19790</td>\n",
       "      <td>1.47</td>\n",
       "      <td>文风</td>\n",
       "      <td>文風</td>\n",
       "      <td>wénfēng</td>\n",
       "      <td>văn phong</td>\n",
       "      <td>văn phong</td>\n",
       "      <td>25580</td>\n",
       "      <td>0.86</td>\n",
       "      <td>闻风</td>\n",
       "      <td>聞風</td>\n",
       "      <td>wénfēng</td>\n",
       "      <td>văn phong</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4545</th>\n",
       "      <td>21750</td>\n",
       "      <td>1.22</td>\n",
       "      <td>守信</td>\n",
       "      <td>守信</td>\n",
       "      <td>shǒuxìn</td>\n",
       "      <td>thủ tín</td>\n",
       "      <td>thủ tín/giữ chữ tín</td>\n",
       "      <td>27334</td>\n",
       "      <td>0.73</td>\n",
       "      <td>取信</td>\n",
       "      <td>取信</td>\n",
       "      <td>qǔxìn</td>\n",
       "      <td>thủ tín/lấy tín nhiệm</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4684</th>\n",
       "      <td>23140</td>\n",
       "      <td>1.08</td>\n",
       "      <td>花旗</td>\n",
       "      <td>花旗</td>\n",
       "      <td>huāqí</td>\n",
       "      <td>hoa kì/hoa kỳ</td>\n",
       "      <td>Hoa Kỳ/cờ Mỹ/Mỹ</td>\n",
       "      <td>28515</td>\n",
       "      <td>0.65</td>\n",
       "      <td>花期</td>\n",
       "      <td>花期</td>\n",
       "      <td>huāqī</td>\n",
       "      <td>hoa kỳ/thời kỳ ra hoa/thời kỳ nở hoa</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4838</th>\n",
       "      <td>24890</td>\n",
       "      <td>0.92</td>\n",
       "      <td>盟主</td>\n",
       "      <td>盟主</td>\n",
       "      <td>méngzhǔ</td>\n",
       "      <td>minh chủ</td>\n",
       "      <td>minh chủ</td>\n",
       "      <td>26001</td>\n",
       "      <td>0.82</td>\n",
       "      <td>明主</td>\n",
       "      <td>明主</td>\n",
       "      <td>míngzhǔ</td>\n",
       "      <td>minh chủ/minh quân/anh quân</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>72 rows × 13 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "      chinese word ranking_1  frequency_1 word_1 traditional_1  pinyin_1  \\\n",
       "10                        36       523.07     大家            大家     dàjiā   \n",
       "83                       172       226.59     声音            聲音  shēngyīn   \n",
       "110                      232       185.58     精神            精神  jīngshén   \n",
       "207                      448       115.09     中心            中心  zhōngxīn   \n",
       "235                      501       105.92     感情            感情   gǎnqíng   \n",
       "...                      ...          ...    ...           ...       ...   \n",
       "4121                   17757         1.80     主攻            主攻   zhǔgōng   \n",
       "4346                   19790         1.47     文风            文風   wénfēng   \n",
       "4545                   21750         1.22     守信            守信   shǒuxìn   \n",
       "4684                   23140         1.08     花旗            花旗     huāqí   \n",
       "4838                   24890         0.92     盟主            盟主   méngzhǔ   \n",
       "\n",
       "            hanviet                                          meaning_1  \\\n",
       "10          đại gia  mọi người/đại gia/chuyên gia/người nổi tiếng/b...   \n",
       "83         thanh âm             thanh âm/âm thanh/tiếng tăm/tiếng động   \n",
       "110       tinh thần  tinh thần/nghị lực/sinh lực/tôn chỉ/ý nghĩa ch...   \n",
       "207       trung tâm                    trung tâm/giữa/ở giữa/giữa ruột   \n",
       "235        cảm tình    cảm tình/lòng yêu mến/tình cảm yêu mến/tình cảm   \n",
       "...             ...                                                ...   \n",
       "4121       chủ công                       chủ công/mũi tiến công chính   \n",
       "4346      văn phong                                          văn phong   \n",
       "4545        thủ tín                                thủ tín/giữ chữ tín   \n",
       "4684  hoa kì/hoa kỳ                                    Hoa Kỳ/cờ Mỹ/Mỹ   \n",
       "4838       minh chủ                                           minh chủ   \n",
       "\n",
       "      chinese word ranking_2  frequency_2 word_2 traditional_2  pinyin_2  \\\n",
       "10                      4449        11.88     大爷            大爺      dàyé   \n",
       "83                     22388         1.16     清音            清音   qīngyīn   \n",
       "110                    12740         3.02     星辰            星辰  xīngchén   \n",
       "207                    15687         2.21     忠心            忠心  zhōngxīn   \n",
       "235                    12808         3.00     敢情            敢情   gǎnqíng   \n",
       "...                      ...          ...    ...           ...       ...   \n",
       "4121                   26199         0.81     主公            主公   zhǔgōng   \n",
       "4346                   25580         0.86     闻风            聞風   wénfēng   \n",
       "4545                   27334         0.73     取信            取信     qǔxìn   \n",
       "4684                   28515         0.65     花期            花期     huāqī   \n",
       "4838                   26001         0.82     明主            明主   míngzhǔ   \n",
       "\n",
       "                                              meaning_2  \n",
       "10                           đại gia/ông lớn/cụ lớn/bác  \n",
       "83                                        thanh âm/nhạc  \n",
       "110                              tinh thần/ngôi sao/sao  \n",
       "207   trung tâm/lòng trung/lòng trung thành/trung thành  \n",
       "235   cảm tình/thì ra/hoá ra/té ra/tất nhiên/đương n...  \n",
       "...                                                 ...  \n",
       "4121                                           chủ công  \n",
       "4346                                          văn phong  \n",
       "4545                              thủ tín/lấy tín nhiệm  \n",
       "4684               hoa kỳ/thời kỳ ra hoa/thời kỳ nở hoa  \n",
       "4838                        minh chủ/minh quân/anh quân  \n",
       "\n",
       "[72 rows x 13 columns]"
      ]
     },
     "execution_count": 89,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_merged = df_hanviet.merge(df_hanviet, on='hanviet', how='inner', suffixes=('_1', '_2'))\n",
    "\n",
    "df_merged = df_merged[df_merged.apply(lambda x:x['chinese word ranking_1'] < x['chinese word ranking_2'], axis=1)]\n",
    "\n",
    "df_merged.to_csv('outputs/hanviet-same-sound.tsv', sep='\\t', index=False,\n",
    "    columns=[\n",
    "        'hanviet',\n",
    "        'word_1', 'word_2', 'pinyin_1', 'pinyin_2', 'meaning_1', 'meaning_2'\n",
    "    ])\n",
    "\n",
    "df_merged"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "ee8e2130-4af7-4c6f-989b-ef21fae9137e",
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.0"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}