lectures/lecture7/lecture7.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "# Лекция 7\n",
    "\n",
    "## Часть 1. Итерационные методы и предобуславливатели\n",
    "## Часть 2. Итерационные методы для поиска собственных значений"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## На прошлой лекции\n",
    "\n",
    "- Процесс Арнольди для ортогонализации Крыловского подпространства\n",
    "- Процесс Ланцоша в симметричном случае\n",
    "- Функционал энергии и метод сопряжённых градиентов\n",
    "- Анализ сходимости\n",
    "- Случай несимметричной системы: идея метода GMRES"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## План на сегодня\n",
    "\n",
    "### Часть 1\n",
    "- Другие итерационные методы: MINRES, BiCG и BiCGStab \n",
    "- Концепция предобуславливателей"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Какой метод использовать?\n",
    "\n",
    "- Если матрица симметричная (эрмитова) и положительно определённая, используйте метод сопряжённых градиентов.\n",
    "- Если матрица симметричная, но не определённая, можем использовать метод MINRES (идея GMRES, применённая к симметричной системе, подробности далее)\n",
    "- Если матрица несимметричная и не очень большая, используйте GMRES\n",
    "- Если матрица несимметричная и мы можем хранить только ограниченное число векторов, используем либо GMRES с рестартами, либо BiCGStab (требуется также функция умножения на $A^{\\top}$)."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Более детальный план по выбору метода из [этой книги](http://www.netlib.org/templates/templates.pdf)\n",
    "<img src=\"./flowchart_iterative_methods.png\">"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## MINRES\n",
    "\n",
    "Метод MINRES – это GMRES, применённый к симметричной матрице системы. Мы минимизируем\n",
    "\n",
    "$$\\Vert A Q_j x_j - f \\Vert_2 = \\Vert Q_j \\widehat{x}_j + h_{j, j-1} q_j \\widehat{x}_j - f \\Vert_2 = \\Vert Q_{j+1} \\widehat{H}_{j+1}  \\widehat{x}_j - f \\Vert_2 \\rightarrow \\min$$\n",
    "\n",
    "что эквивалентно линейной задаче наименьших квадратов с **почти трёхдиагональной** матрицей\n",
    "\n",
    "$$\\Vert \\widehat{H}_{j+1} x_{j} - \\gamma e_0 \\Vert_2 \\rightarrow \\min.$$\n",
    "\n",
    "- По аналогии с GMRES мы можем получить короткие рекуррентные соотношения\n",
    "\n",
    "- Аккуратная реализация MINRES требует хранить не более $5$ векторов"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Отличия между MINRES и CG\n",
    "\n",
    "- MINRES минимизирует $\\Vert Ax_k - f \\Vert_2$ на Крыловском подпространстве\n",
    "- CG минимизирует $(Ax, x) - 2(f, x)$ на Крыловском подпространстве\n",
    "- MINRES применим к неопределённым (то есть не положительно определённым) задачам.\n",
    "- CG хранит меньше векторов ($3$ вместо $5$). \n",
    "\n",
    "Теперь перейдём к обсуждению несимметричных систем."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Несимметричные системы\n",
    "\n",
    "- Основной недостаток GMRES: нам нужно хранить все вектора, поэтому с каждой итерацией нужно всё больше и больше памяти\n",
    "\n",
    "- Мы можем делать  **рестарты** (то есть вычислить новый вектор невязки и строить новое Крыловское подпространство на его основе): мы нашли некоторое приближённое решение $x$ и теперь решаем новую линейную систему на вектор коррекции:\n",
    "\n",
    "$$A(x + e) = f, \\quad Ae = f - Ax,$$\n",
    "\n",
    "и генерируем новое **Крыловское подпространство** из данного вектора невязки. Это замедляет сходимость, что мы покажем далее."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<matplotlib.legend.Legend at 0xa1806a748>"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAakAAAEcCAYAAAB9K0udAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADl0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uIDMuMC4yLCBodHRwOi8vbWF0cGxvdGxpYi5vcmcvOIA7rQAAIABJREFUeJzt3V9sY9d9J/DvT5o/sd0ZXzGTRZzNTuyruMYkjeGQGqBGF9nMmkwboEjQlpxxHxps2g7ZPBQJ0C0ZtU1Sx9hOKPchQB8CSsY+BC1Si9xkkUWBYKXJdLOB/SBRNoImbtqKcRykySa2SHvSJPaM9NuHcy91eXn5/9+90vcDEJIuL889V1fij+ec3z1HVBVERERhNDfrChAREXXCIEVERKHFIEVERKHFIEVERKHFIEVERKHFIEVERKHFIEVERKHFIEVERKHFIEVERKF1YtYViLpz587pvffeO+tqEBFFSrVafUlV39RrPwapEd17773Y3t6edTWIiCJFRL7bz37s7iMiotBikCIiotBikCIiotBikCIiotBikCIiotBikJq2lRXgxo3WbTdumO1ERNSCKejTdvEicPkyvvmpT+HLN2/iA2fO4J2PPQasr8+6ZkREocMgNW2XLuGbn/oU/v0f/iF+GcC/A/DNv/orvPPSpVnXjIgodNjdNwP/7+/+Dt8FcAnA3wL48s2b7PIjIgrAIDUD991/P94F4ADA7wH4Tzs7wOXLwIkTDFRERB4MUtN24wbu+8IX8K33vAcC4CSAX65U8A/veAdw7RoDFRGRB4PUtG1tAevr+F+/9mt4GiZI/RzAvV/7Gp5+73sZqIiIPBikpi2fBy5dwgfOnMEvAtgDcCeAfQD3VyoMVEREHgxSPiKyMfGD3LiBdz72GP45ncY+gJ8CuBuABeAd/kCVyzFYEdGxJao66zqEgogkAdgASqoq/b5uaWlJB16qY2XFBKBr1/D0e9+L+ysV/AKAOwAogFsAagsLuP9nP8P86dPAJz8JfPvb5rWLi6Y1RkQUYSJSVdWlnvuFPUiJSBpAQ1U3A56LA1gCUIMJMLWg/QY8nk48SAGBgeoEgAWYQOV64Y478Naf/xxzJ05g/s47GbCI6Eg4EkHKad2UAWT8wUdE3FZPyrOtDKCgqrURjjmdIAUEBqp/A3CvZ5eOAWt+Hvjwh4H9ffPk4qKZzWJri4GLiEIv0kHKCUAFAFXnay4gSBUBbKlqxbMt6eybGeHY0wtSQFugekelgjthsv78lfBeqa8vLOA/1us4EIGK4KcXLuDs974HfOpThy0tgK0tIgqlSAcpLxHZRXCQ2gWQ8raaRMQCUHeDjIhkASx2KX4joNzpBingMFA99hhuHxzg8297G377m9/EG5ynDwDM+16izvY5ALed5w9EAM/1vH3iBH7wkY/gvtdeO3whgxYRhcCRDlJuMAKwoKoN3/4KYHHYLr+ZBCnABKrdXeCBB4DHHsP+66/j9u3b+NcTJ3Dvz3/e3C0oYAGtrSzXbeerezIqgl3Lwl23bmF+fh5veOc7EfulX2p9EYMYEU3BUQ9SNoDdoGDiBKnUsAkUMwtSLjdYAYcB62c/g+7v43unTrUELLcF9a8A3uorJuiqvg7glG/bvvc1InjxTW/CPXfcgTvvuKN7Pd/+duAtb2ndxgBHRH3qN0hFdRZ0a9wFOpmCSef7IgK6Aj37ZgFkAeD8+fPjrYj3TX5lBXj0UdNyeuAB3PfYY9jf34fu7+Nf77wT/+EnP8HtuTm85eAAt3B4MTu1tk6jPXh597ulCvtHPwIC9mvzj//YFuB2LQt3Pf445ufnYVlW70Dnx8BHRD5RbUnFAVQn0ZIa1NhbUp14W1iPPmqy+F54AXjySRzs72MfTnA6OGgLUJ2CVpBh/xpuwSR7jMoNfPsiEBF879w5xObm8LOf/Qw35+bw6qlTePO//VtfZf3wrruw5wuUP7zrLvzP++8HALz5zW/Ghz70ITz88MNjqDkRDeKod/fFYTL/Oo1JHb0gFcQbuADTPfjJTwJOosSBKg7293sGqH1Mpkk96l/W/wHwHhyOqQV1V/ay76nHAcwfjb8ZfvrUKZPS7xJpzawUwQ/uvBP1N7wB4gRPiLQEvFG8+c1vxrvf/W48++yz+OEPfzhyeYMem4GaZuGoByk3caIlQaLT9kmaaZDy6xG0cHBgHjh84x61BTRIK21Uo/6ljnqu/QS8QewCeBOAs56f/y+ALQCPerY9McIx+iEieNe73oWzZ89ibm6uGYi9j7k5M4Oa/3l3m1uO93vXLIPwtHQ7R34QCHakg5Rne0ZVdzzbbJhuwIVp1S9UQcrPH7QA4PvfP9xmWUC1epi2fnAAdYJYP8bVxefnb9n9E4BfHGP54/iLH9e5+1uH3wRwP8ytBf0Ewl2YxBn/tkkHNhqMiODBBx/E3Xff3fzZH+yDtvmDvv+DgP/1kxQUiEcJwMchSJVgAtKqZ1sawJVRbuYdVKiDVC+9glg3AQHO30obhv/N370XbH9uDvMDBFAvxfRmUh7m3N1zdL+6+u3e7KeFx2BGk3L69GncuHFj4EB1lLL7Ygj+MFmAmTJp1bMt5zyoH6Nkza2sAA8+2LrNCXBDf56zLJxyA9/cHLC4iPnnnwcAnDg4AE6eBG7dGqzMkychHV4zbEDp1r05zLnP+766grIxu70eAG6L4OGAD54X0H67wbd/4RfwX27ebNmPwYwG9frrr+Pv//7vJ9adGcqWlDO2tAwzaWwaZgLZTZi0cO80SHEAV2C68W0AO9NKmHBFuiUVNkEZjF/72uG2s2eBN72pv5Ye0LW1N5RhguQg5Z44Ady+DfhmDpkI55hBRwm8tcBz3r2yJv2O85jU3t4evv71r+NglL+7kJt0SyqUQSpKGKRCbJTuTL9xBzyXP/B94APAl788eDmTCmydAvPcnHm4x04kgIYn0Zb3vDU988wz+PznPx/5AM0xqYhikDomxhnwXG9/O/CjHwGvvmp+tizguefM97dv9x8IB2nhzc2NJ7j2c/yTzuii6mEgOzgwrWERBrFjjkFqShikaGyGCYSDtPAGCWbjapm5QdE9trcOnVpjbIUdCwxSU8IgRTPVb2CbRDAbZ6vMf8xu3YkMYkcCg9SUMEhRJIw7mPUbyNwWmWW1jlkNIuhYHBOLPAapKWGQoiOln2A2aCCbnzcrSLtfvcbRrThocgcDWCgwSE0JgxQdO/0GsueeAx56yAS0/f3WsSmgd2tsVt2J/WKwGwmD1JQwSBEFWFkBLl4097q5wev73wd+/GOT3ffyy91bY/10J44ruWOU+9+6ZTDu7jKQdcEgNSUMUkRD6NYa66c7cdAxsUnqlsHoPu+22k6fBj79aeDb3z58/pgGLQapKWGQIhqzISZGHiq5YxL3jPVy4sRhq+vECRO0PvnJw6B1jAIWg9SUMEgRTdk4kjvGOcWV21q75x7gBz8Y7LUXLgD/8i8mqeSYBSwGqSlhkCIKoVG7E/vVTwYj0F+3oxuwVI9FtyCD1JQwSBFFzLimuOongxEIbrX1ClrHoFuQQWpKGKSIjqleGYxBrTbAfO9tbR3TVhaD1JQwSBFRR/5W2wMPmBbRa68110yDs2YagP4ClreVBUQ2aDFITQmDFBH1zRu0HngAeOwx4PXXTTehP2ABgwWtkyfNmNiJE4ddgyEOVgxSU8IgRURD6RSwbt8224bpFjxxAlhaMl2MAPD7v9+eyBGSwMUgNSUMUkQ0skG7BYHeQctN2PBPARWSwMUgNSBnKfoYAAtACkBRVWu9XscgRURjN2grC+ivpRWiwMUgNSARqQO4T1UbIpIFkFPVRK/XMUgR0UR1a2W5goJWv/yBa0op70cmSIlIGkBDVTcDnosDWAJQA2ADqAXt1+dxLFVteI65zCBFRKHTKWjdugXE48D29mGLyzXoHIYXLgDf/e7hfVoTSMQ4EkFKRJIAygAy/uAjIjaAkqqmPNvKAAr9dNP1OO4GTHdfz4DHIEVEM+UGLbdbcH/fPNyswW7rbfWaaePkSeDaNZPiLmKC1e3bYwlUkQ5STgAqAKg6X3MBQaoIYEtVK55tSWffzAjHTQOAqq708xoGKSIKhaCZNObngSefbJ8CatDAdeYM8Od/bgLW8vJYAlWkg5SXiOwiOEjtAkh5W00iYgGoq6o4P2cBLHYpfqNDN2IWpvWWCnhNCwYpIgqtUQKXt4twfh44exb4sz8zgWp9Hbh0aaSqHekg5QYjAAvuOJLnOQWwOEiXn9uCcltPnvJ7lsMgRUSR0itwdUp5n5sz0zxVKiZA3bhhpoQaskXVb5A6MVTpsxcDAH+A8rBhkin6ZQN4o+/nxqhjW0REoRMUVFZWgA9/2Hzvjm3ddRfwrncBOzuH41v7+4cB6vJl06KasJGClIg8BCdg+KnqV0cpuwdrnIWp6qaIWE43H2Duk3qk0/7OflkAOH/+/DirQkQ0fd7AtbICPPqoCVbXrh0mTvz858Arr5hJdV944TBAraxM9H6qoYKUiPwWADeESsAuCmB+2ErNgjcBA8Bqj31X3X2WlpbC3V9KRDQIN+CsrJgkiWvXgC99ydyX9f73mxT33/kds88UWlNzQ76uCOA7AC4DSAQ8evYzjoMzdkREROOWz5ssPjdJ4vRpk1wBAF/4AvAbvzGWBIpehu3ucxMNvjjOygzAHSuKAWiOS3mCFseSiIhG5baq3DGov/xL4KMfNcHr9denUoVhW1Kb6DAWNQ1OwkQN7WNTMTDhgYhovLa2TKvp/vvNz+95D3DqFPC3fzvxQw8bpHIAciLyRyLykIjc63+Mr4odbaK9WzHubCcionFxW1Qf+hDw1rcC586ZcaovftG0siZolO6+RQDdZmUYV+KEOzO5XwFmyiRvkkPOeRAR0ThtbQG/+Zvm/qlvfMOMRa2vm9bUCPdL9TJskCo6X58AsNttx2E4Y0vLMMHQAlAUkRTMDBEVwHT5iUjBnR7J2bev5TWIiGhA+bxpNf36rwM//Snwk5+Y7V/84kQz/IaacUJEDgBkVfXJ8VcpWjjjBBEdK48/biaa/d3fBb785aEz/PqdcWLYMakdAHtDvpaIiKLq/e83X//7fwc+8pGJp6APG6SuwnTBXRKRs+OsEBERhVi1ar5evgx87nMTT5wYNkhdh0mc2ARQF5F93+N2j9cTEVHU3LgBfPzj5vvf/m3T1Xf58kQD1bCJE2swUx8REdFxsbUFPPEEcPWqmXDWzfDb2ppYt9+wQeq/qeqrY60JERGFWz4P/MM/mO/dxREvXZrouNSw3X1VEfmjsdaEiIjCT5w5xXstPT8mwwaprwJ4dJwVISKiCJhzwsaUFswdKkipag6AiMhXRORtY64TERGFlRukptSSGnY9KfceqTiAmkjbklKqqlFd9ZeIiDqJQpACs/uIiI6nKAQpVS0AgIj8ZwAZmHnzagDKE142noiIZmnKQWrYxAmIyOdgbua9AuCNztcNEZn8AiNERDQbUcjuE5GrMEtipFQ1pqpLqhqDCVSXmZ5ORHRERSG7DyZA5VX1unejs4zGxwH8wagVIyKiEIpId18cZib0ILswY1RERHTURCRIbQJId3juCjoHMCIiirIoZPfBdOltO/dHrcJk9tkw3YC/BSA1ltoREVG4RKElpao7AC7DTI1UBVCHaT3lAPxBFNPQRaQoIioidRHZEBF2WRIR+U05u2/oWSGcJImKiCQB3AfTmtpW1VfGVbkp21XVtqkziIjIIyLdfU2qujmOinQiImkAjaDjiEgcwBIOuxtrk64PEdGxNuUU9JGCVLel48ex3pTTSluDmdXC/5wNoKiqKc+2sojUVLU2xOEsNyDCjKldU9XGkFUnIjqaotCSEpF3A1hH91Tz+aFqhGYAKsCMd+112C0HoOTbVgJQREBQ68OqG5ScCXSvA0gMUQ4R0dEVhSAF07p5I4AnYO6LGiunJZQDABEpdNgtjfYgtQ1gw/1BRLIAFrscasPtHvS2mlR1R0TiImKxNUVE5BGRIBUHkFXVJ8dZmX6JiAXTimtpZalqQ0QgIraq1lR1tc/y4gDWVLWl5cQARUTkE4W5+2Bu5u3UDTcNMaBrEBk0fbwGT6vMGQurDFc1IqIjLCItqQKAdRFRANfHkSQxIGuchTktsJrTPQiYLsKrnfZ39ssCwPnz58dZFSKicItIdt91mEBRAYCjsDLvIKnrTjfiKgAsLS1x8UciOj4i0pIKxcq8TGwgIpqyKAQpd2XeGXLvg4rB3NcEoJlQ4X2eiIjGKSKJEzPltJ5qaB+bisHMTsEgRUQ0CQxSfduEmRLJK+5sJyKiSZmbY5DyiCE4m6+A9pklcs52IiKalLm50Gf3TZQztrQMc7+TBaAoIimYGSIqQDNtvCAiRQBbzr5FdvUREU3YFFtSoQxSzphTzxaRs64VVwEmIpomdvcREVFoMUgREVFoiTBIERFRSIVpTEpEDjD47BKRmxaJiIj6FLLsvicQgimQiIgoJMLUkgrBFEhERBQmTJwgIqLQClNLqhsR+U10WGBQVf9ylLKJiCikwh6kROQ+ANsAFpxNCsC7qJQCYJAiIjqKIpCCXgLwHQAJVZ0D8ArM5K4xmAlec+OpHhERhc4Us/uGDVJJAHlVfdb5uQY0pzMqgkGKiOjoikDiRAPA3Z6fazhcNsOCaVUREdFRFIEgtQngUc/P6wAKTiJFEZ7VcomI6IiJQJAqwIxJAQCc5TNeAFCBGZe6OnLNiIgonMKe3aeq3wHwcd+2lIjc5zxHRERHVQSy+wIxQBERHQMhm7uvjYic7bWPqr46TNlERBRyYe/ug0mM6BVG54cseyZEpA6TmehVUNWVWdSHiCi0IhCk/gDBQWoJJmkiO3SNZkBELAAZVd30bMszQBERBQh7kFLV1Q5PrYnIvwBYHL5KrUQkDaDhDSCe5+IwgbEGM4dgLWi/fvgCVBomU5GIiPwikILezSaA9DgKEpEkgLUOz9kAiqq6qqqbTuDMOdsH4syU4ZZrAYipam3YehMRHWlRze5zJNFhZvR+iYgtIiWnnL0Ou+Vg5hD0KsHcTDyKZZibk4mIKEgEsvu6LSkvAKpD1wiA04rJOcfqtOhiGu1BahvAhqeeWXTvetwI6B5McqFHIqIuwj4mhe5Lyu9iwi0Rp0uurZWlqg0RgYjYqlrrMnbWqdykv0wiIvIJe5AKQUsj5tSj0xyBNpyZ2QcUB+cdJCLqLuKJE9Pgv59pnJgwQUTUTZhaUv3MLhEkijNO9HtflDPWlQWA8+fPT7ROREShM8Xsvn66+/qZXSLIxGecEBGrS5ffxDhjXasAsLS0NJ0UFyKisAhTSwrBs0tYMKneBbSO4bwdwB8DyI+ldp25XXIx7/GdhArv80RENG5hSkEPypATkc8ByKrqkwHPvQTgjeOpXsc6NUSkhvaxqRjM7BQMUkREkxKBxIkr6JyqvYMxzTjRwyYOl6x3xZ3tREQ0KREIUkDnSWQzcFLExySG4Gy+gnMsr5yznYiIJiVkY1JBPgPgMyLyFZhZH74DE0xyMIFjpKmJnLGlZZj7nSwARRFJwcwQUQGaXX4FESkC2HL2LbKrj4howkKW3ddGVVdEBDBLyL8PJrFCYJIYCqr6xCiVcjL2eraIVHUHpnuRiIimJQItKfeeohVnuYz7YJbJeHZsNSMionAKU3ZfL2zNEBEdM2FKnBCR/y0it33bDkRkv8vjdqfyiIgo4kLW3beJ9klXu82CTkRER1mYglTQfHYhmAWdiIhmJewr84rIvSLykG/bfxWRp0Tk98ZTNSIiCqUwjUl1UIKzci5gxq1g7o1aBLAqIn8xhroREVEYTTG7b9gglYKzTLuIvBtAEub+qCWYm3D9M0EQEdFREYGWFHA403gSJonCnYh2F2b2ByIiOooiEKRqAC47CyJeAbDjWeRw2KXbiYgoCsKU3dfBxwGsw0xdJDCtKVcOQHnEeh1Jr732Gvb29nDz5k3s7+/PujpEx9L8/DzOnDmDWCyG06dPz7o60RSBufsqIrIIZ2kMVX3F83QRJoCRx2uvvYYXX3wRCwsLuPfee3Hy5Ek48x8S0ZSoKm7duoVXX30VL774Is6fP89ANYwIdPcBZhxqCcBTTrcfRORumMDFG3199vb2sLCwgHPnzuHUqVMMUEQzICI4deoUzp07h4WFBeztdVoWj7oKe3afiDwCkyCRch4xAHBaVIswS3mQx82bN3H27NlZV4OIHGfPnsXNmzdnXY1oikBLqgig4qSc+5sEqzDJFOSxv7+PkydPzroaROQ4efIkx4aHFYEgFQfwVIfn6gheSffYYxcfUXjw/3EEEQhSOzDjUUFyMJPSEhHRURSBFPTPAFgX81FEAdztzOVXhElHT4ypfkREFDYRSUG/DDP+JDAtK3f5+Muq+tz4qjgdzgrDSZgbkS8CuOYsY09ERF5hz+4DTKBS1RhMq+kygISqxlT1f4ytdlMiIhaAsqquqGoFZgLd4oyrdWTt7Owgk8lgYWEBIoLFxUVkMhns7Oy07CMiEBFsbnbvPXb3W1k5XFXG+3rvI5FItOzn2tzcDNzf+2g0Dj+zNBoNZDIZLC4uNs8hl8uhVuNkK+Owurra/N0mEglUKpW2fWq1GlKpVNd9aEIi0N3XpKrPAnjWu01EHhpXa0pE0gAaqtr2TuW0fpZgWj82gFrQfn1wW1AAAFWtiUgWnpneaTxWVlZQKBRg2zaWl5dh2za2trZQqVTwyCOPoF6vt72mXC4jmUwGlIaeb0zFYhHpdBqACSzb29soFosolUqoVquwrNYcn2w2i1QqFViWu2+tVsPi4iJs20Yul4NlWdjd3W0Gv1Kp1P2XQF2trq6iUChgeXkZlmWhVCohk8mgVCohm80CMNcykUjAtm2Uy2VsbW0hk8mgXC43rzdN0BSDFFS15wPAWZhsvpcB/DOA3+uy3zqA/X7K7eO4SZhswWTAczaADd+2MgB7yONUfdu0n7ISiYT241vf+lZf+x1lGxsbCkCTyWTH513VarW5r2VZHctMJpOaTCYVgBaLxbbXl0qlttfU63W1LEvT6XRb3YL2DzqmbduB5Var1Z6vn4V8Pq+7u7uRKNeyrJa/BVXVeDze8neQz+fVsiyt1+vNbel0uuvfShD+Xw7pox9VvfvukYoAsK19vD/32923A3PT7nWYsadVEfkj7w4ics0NKDBz+w1NRGwRKcEEok63hOdguuW8huqmU6f15XT7QUTcj+1MpR8jt9WxsbER+HxQaymTyaDRaAR2+bnbM5nBVoaxLAvJZLJnN2In29vbgXW1LAvxeHyoMiep0WhgZWWlpTs1rOU2Gg3Ytt32+11eXkaj0Wgeq1KpIJvNtrSE/fvQBIWpu09E/tj59j515ugTkSqAFRFxb9wtwgSvj6vqE6NWSlVrcLraRKTTUvVptAepbTjrXDmvzcLMgNHJhhugVDUhImkRqeGw648DDGNSqVRQq9UG7gqLxWKIx+MolUptb1zr62aKyE5dgd3s7OwgFosN/Dq3Ttvb20O9lrqzLAvXr18P3A6Yrlbbtptdrl62bVYI2t7eDuWHhSMlZMvHXwHwGW2dRNad/bwBk+G3BhPERg5Q/XBaPG2tLHWy8UTEdn5eVdVCl8em7/UVVXU/htU0otl9zzzzDK5du4Znnnlm1lVp2traAgBcvnx54NdeuXIlcOzJHavqN9i4La9EIoFarYZCodPnn+6KxSJ2dnaQSqWGbo11UigUsLCwAMC0PBcXF5sJG5VKBYlEopko4D12pVJpJhqICFKpFGq1WjNBBTCtUhFp/gygZR/v63rV6YMf/GDXckfhHyd06wmYDyTufHtuUPK/zpvgQhMyxey+fhIn4jAtFK8t5+sqTOvpFUyXO1dgp7/Ggde0EpG6qrr/ZTmYQDwVH/vYx/Dcc+PJ2n/llVfwjW98AwcHB5ibm8ODDz6Iu+++e+RyH3roIXz2s58d+vXum0zQG1Av6XQahUIBm5ubzVaTG3B6tcxyuRxyufb8l2Kx2ByE72f/bDbbPFY6nUapVEIul2sGinQ6jWKx2PbGOaxEItGsj2VZqFQqyGQyyOfzWF5exlNPPYVUKoXd3V0AaD535coV1Go1bGxsoNFoYG1tDblcDqlUKrA16p7T2toaLMtCoVBAIpEITGDx1imbzWJ7e7tjuYNmOhaLxa6tn2KxiGQyCcuyepb78ssv931cGlKYuvscLcFAVV9xphQpzSBAAZMZKyo4mYQxAFtqUtEDOd2IWQA4f/78BKoyvFdeeQUHzh/PwcEBXnnllbEEqVGN8unWtm3Ytt3yZuh29fVqmblv3IB5Q15dXUW9Xu8YLL37++vglc1mkc1msbm5iXK5jPX1dSwuLmJjY2Oo7kevRqOBWCzWMnZ39epV5PN5FItmyDWdTiORSKBUKuHixYsA0MyGi8fjLRlubt1jsVjbebjludbW1prp3N4ygurUrdxxZjiurKxgb2+vbSyTLaYZClN2H4ADAPd22P5QP9kZozxgZltP+rbFTdUD91f//pN8hC277+mnn9Y77rhD5+fn9Y477tCnn356KsftJZ/PK4CWbCxVk7XlXDMF0MyOc7PzyuVyy+tdblafqsmqQx/Zfe5+QRl8g2T3BanX62rb9sDZZX7ueXoz5txzCXokk8nmecXjcS0Wi20Zhru7uy2/y178v8ugOg1T7jDK5XLL34X3uEHXyl/3XpjdN6Q/+RPVEydGKgJjzu77LRH5fe/D+Se57N/ueX7i3Gw8OvTwww/j+vXrePzxx3H9+nU8/PDDs64SADQ/7bstIFe5XEa1Wm37RO/ndsFtbm42u/qCuuW6sSwL+Xx+6LGoXmUXCoWxZZd5WyZu91a1WsXu7m7Lo1wut2RMut11ne71CuJ2JSYSia7jSuPqyuzXzs4Orl69imq12tIV6I5B+ltSo3Qp04BC2N3XKSGiU6q5Anhy8Or0ze2UjsHTFekJWsc6K+/hhx8OTXBypdNp2LbdNhbkvvH1Gmdwu/zK5XLzzWmYmzaXl5ebN4v2CoyDmtSbuLfcTsdIJpOoVqtoNBrN81tZWUE+n+9atpsoUSgUsLRk5ox2x55GMeqYVK1WwyOPPIJyudxb/rHzAAAVRUlEQVQ2VmVZFmzbbo7HudwPB6N2t1IfQjZ3X+gmi1XVhpMq7v/IFIOZneJYB6mwKpVKSKVSSKVSHe+V6iaXy7UkLwzDsiwsLy+3zGgwTD2KxWLba91t405/jsfjzZZa0LiMtx5ua/Gpp55qZlR2yn6s1WrNMTXvrBz96pZVOcqYVKPRQCqVwtraWseAk06nsbq62nKcUqnU/DBDEzbndMKpmoA1QT2DlJppj8JoE2ZKJG/fShxcJiS0kskkisUiCoUCFhcXUSgUEIvFsLW11Vcqt5vlt7q6inK5PHQ98vk8rl27hqtXr7aV0y14uunu6+vrWF1dRTqdxsWLF/Hyyy837wPzlue2UJaXl0cOXGtra8hkMshkMsjlcmg0Gs035UQigWKxiFwu17yHaGdnp9kd6gYx9w29VCphY2MDtm03g5+73yCty07ljsqd7mhvbw+rq6stzyWTyeaUWisrK0ilUsjlcs2/oVH+LmgAUwxSU0kuGOUBM4tFOmC7hfZpkTYwxLRIozzCljgRBdVqtTmFDQC1bVvT6XTgtEj+QXnbtlsSKFT7T5zwKhaLLQPybuJEt4dbl3q9rsVisTlVj2VZmkwm2xIWetUhiD9BxF+eOwWUZVmazWa1Xq9rvV7XfD7f/N3Ytq35fD6wXP9z5XK5eR3i8biWSqWOiRPd6ht0zGG417LTw/u73N3dbf4+bNseKoGD/5dDevxxVUD11q2hi0CfiRNi9g0XZ2xpGeZ+pzTMGNMmTFCqePaLw9xsvOXsu6PDTTA7tKWlJe1n9oHnn38eFy5cmEKNKEwWFxcDx1UoHPh/OaS/+AvgT/8UeO014NSpoYoQkaqqdlo8t2nkWdAnQc1Nuj1TsNTMDsGJuijUGKDoyHG7+6aQPDH0elJE1F2j0Rh7BiFRKLjjUAxSRNFlWRbXNqKjyZs4MelDTfwIRER0tLC7j4iIQotBioiIQotBioiIQotBioiIQovZfUREFFpsSRERUWgxBZ2IiEKLLSkiIgotBikiIgotBikiIgotZvfRUbazs4NMJoOFhQWICBYXF5HJZJrLf7v7iAhEpOeCiO5+Kysrga/3PhKJRMt+rs3NzcD9vQ/vqrWNRgOZTAaLi4vNcxh0yXSiyJpiSyqUS3XQ0bWysoJCodBcXdW2bWxtbaFSqeCRRx5BvV5ve025XO64jHilUgnc7ioWiy1Lo29vb6NYLKJUKqFarbYtAZ/NZpFKpQLLcvet1WpYXFyEbdvI5XKwLAu7u7vN4DfK0ulEkTDF7L6Zr7wb9QdX5u2fu/ptMpns+LzLXdU2mUyqZVkdy0wmk83VWftdmbder6tlWZpOp9vq1s8quslkUm3bDizXvzrvcZLP53V3dzcy5ary/3Jof/3XZmXef/qnoYtAnyvzsruPpsZtdWxsbAQ+H9RaymQyaDQagV1+7vZMJjNQPSzLQjKZ7NmN2Mn29nZgXS3LOrYLHDYaDaysrLR02Ya5XBoREycmS0SC3yV7PBd6KyvAjRut227cMNtnrFKpoFarDbwIYCwWQzweD+xCW19fBxAc3HrZ2dlBLBYb+HVunba3t4d6LdGRwCA1GSKSFJEsgLZ3tW7PRcbFi8Dly4eB6sYN8/PFi7OtF4CtrS0AwOXLlwd+7ZUrVwLHntyxqn6DjdvySiQSqNVqKBQKA9cFMONcOzs7SKVSQ7fGOikUClhYWGiW7yZ7BLUk/Pusrq4OdAzAtG4XFxebSSGVSgWJRKJZpvf8KpVKM1FERJBKpVCr1ZpJMIBp+YpI82cALft4X9erTh/84Ae7lkszdNwSJ0QkDaChqm3/8SISB7AEoAbABlAL2q8f7utEpO1jebfnJu5jHwOee248Zb3lLcCv/ipwzz3AD34AXLgAPPaYeYzioYeAz3526Je7b0r+RIV+pNNpFAoFbG5uNltNbsDplaSQy+WQy+XatheLRWSz2b73z2azzWOl02mUSiXkcrnmm3g6nUaxWIRt2wOfn5+bOVgsFpHJZFAoFJDJZLC7u9vcp1KpIJPJIJvNYmNjAzs7O8jlcqhWq30nbiQSCQCH3bBumfl8HsvLy3jqqaeQSqWax3Wfu3LlCmq1GjY2NtBoNLC2toZcLodUKoVSqdTWsnXrs7a2BsuyUCgUkEgkApNkvHXKZrPY3t7uWC7N0BRT0GcepEQkCWANQNvAgojYAIqqmvJsK4tITVWZ6xtkYcEEqBdfBM6fNz+HgDd9e1C2bcO27ZY3Krerr1fLzH1TBcyb5erqKur1esdg6d3fXwevbDaLbDaLzc1NlMtlrK+vY3FxERsbG2N5M/VmJbqZg41Go1nvq1evtgTOZDKJeDyOVCqFTCbTsw6NRgOxWKxlfPDq1avI5/PNLtl0Oo1EIoFSqYSLTmt8eXm5Ofbm1g84/P3EYrG235W/i3dtbQ2JRAKVSqWljKA6dSuXZug4ZPfBtIpKALIAdgEkA/YpAkj7tiUBlEc8tg7zXNAjdNl9X/2q6rlzqp/4hPn61a9O57g95PN5BaD1er1lezweVwDNh5sd52bnlcvllte73Kw+VZNVhz6y+9z9gjL4BsnuC1Kv19W27a6ZiP0I+j2VSqWWbW5dgzIJLcvSbDbb1zG8GXPu7yvokUwmm7+7eDyuxWKx7di7u7st16sX//UKqtMw5Q6K2X1D+tKXTHbfs88OXQTCnt2nqjVVzalqt470NAB/Z/y2sx0AICJZESl2eRyfPgJ3DGp9Hfj0p81X7xjVDLmfxN0WkKtcLqNarfZMqHC74DY3N5tdfUHdct1YloV8Pj/0WFSvsguFAhqNxlgy0bp1i7pdp0EtC9u2+76h2Pt69zXVahW7u7stj3K53JKV6XbXdbqfLIjblZhIJLqOK7G1FBHHbUwqiIhYMK2tPe92VW04A7e2E+j6Gy0+Dra2TGC6dMn8fOmS+Xlr63DbjKTTadi23TYW5L4p9Xpjdbv8yuVys+vQ21XUr+XlZayurqJQKAycadjLtN5gvb8zf8p7rVbD0tLS0GX6v/dKJpOoVqtoNBrN3+HKygry+XzXst1EiUKh0KybO/ZEEcXsPgBADDBBqcPz/Mjll8+3B6NLl8z2ECiVSqjVagN9AvdyExU2NjaGClCAaaEsLy83x3iGrUfQa4vF4lTulXLf6P0JEpVKpZl0Mah4PN5sDfr5z9Vtkcbj8WbWZqcMy1qths3NzeaHk3g8PlAwH/Y2AZowtqQAAIOngfXgZAomne+LADb0MKuv43MB5WRhxtJw/vz5cVfzyEomkygWiygUClhcXEShUEAsFsPW1lZfqdxult/q6irK5fLQ9cjn87h27RquXr3aVk6nG43d+sdiMayvr2N1dRXpdBoXL17Eyy+/3LwPzFue23pYXl4ea+CyLKuZXbi3t9fMtisUCkin00MnbqytrSGTySCTyTQDcalUgm3bSCQSKBaLyOVyzS5FN6PQrRNwGDhLpRI2NjZg23ZL8LMsa6AWbKdyacammN0382mFzPhZe+IEgDg6JDHADOi2JVrM4hG6xIkIqFarmk6n1bIsBaC2bWs6nQ6cFsk/YG7bdksChWr/iRNexWKxJfnATUbo9nDrUq/XtVgsajweV8uy1LIsTSaTbckEveoQxJ8gotqeOOHa2NhoJp7Ytt1y/oMew1tnd5opNwmjXq9rvV7XfD7f/P3btq35fD6wXP9z5XK5ea3j8XjzfIISJ7rVN+iYo+L/5ZC+8hWTOPH000MXgT4TJ8TsO1sisgsgp56Wi9OyqQJYUF+Xn4gogJQOeb/UOC0tLWk/sw88//zzuHDhwhRqRGGyuLiIcrl8bKdLCjv+Xw5pYwN43/uAr38d+JVfGaoIEamqas8B1DCPSbkj6S2d0k5Chfd5olBjgKIjh4kTzYSJGtrHpmIws1MwSFGoNRqNsWcQEoUCg1TTJsyUSF5xZztRqFmWNXQWIlGoHcMgFUNwNl8B7dMl5ZztREQ0C8dh7j5nbGkZ5n4nC0BRRFIwqd8VoHnjbsFJCd9y9i2yq4+IaIamOHffzIKUM+bUs0WkqjtonxqJiIhm5Rh29xERUVQwSB1NYbgnjYgM/j+OgEHq6Jmfn8etW7dmXQ0icty6dQvz8/Ozrkb0rKwA7kz/bpC6ccNsnwAGqSk5c+YMXn311VlXg4gcr776Ks6cOTPrakTPxYvA8rL5/uDgcIkgZzmecWOQmpJYLIZ6vY6XXnoJr7/+OrsaiGZAVfH666/jpZdeQr1e5yzrw7h0CXBvUv+bvzlcw25CywGFeRb0I+X06dM4f/489vb28MILL2B/f3/WVSI6lubn53HmzBmcP38ep0+fnnV1oul97wMuXDDB6ROfmOh6dQxSU3T69Gncc889uOeee2ZdFSKi4X3nO8CPf2wC1Oc+Z4LUhAIVu/uIiKh/7hjU+jrw6U+br5cvm+0TwCBFRET929pqHYO6dMn87KzSPG6hWE8qyvpdT4qIiA4dhfWkiIjomGOQIiKi0GKQIiKi0GKQIiKi0GKQIiKi0GJ234hE5McAvjvky88BeGmM1Zklnks48VzCiecCvE1V39RrJwapGRKR7X5SMKOA5xJOPJdw4rn0j919REQUWgxSREQUWgxSs7U66wqMEc8lnHgu4cRz6RPHpIiIKLTYkiIiotBikCIiotDiooczICJxAEsAagBsADVV3ZxtrboTEQtAFkAFwB6AGIAcgA1v3cN6biKSBtAIqks/dQ7TeXU6l6hdI+c8bACLzteSqlZ8+0Ti2vQ6lyhdGxFJAkgBeBnmfKqquurbZ3rXRVX5mOLDuVgbvm1lAPas69ZHvdXzqANIR+HcACSd+iaHuR5hOq8+ziUS1whAGkDc87MFYBdANmrXZoBzCf21cf6+kr5tVQD5WV0XdvdNXw5AybetBKA4g7oMKgVgAcCiqi6o71MvQnZuImKLSAnmH2avw2791Hnm59XnuQDRuUa2qu64P6hqw6mDt26RuDbo71yAaFybXMC2Td/26V6XaUVoPpqfJnbh+zQB88lLZ123HvW2EfDpPSrn5tQtqPXRs85hO68u5xKJa+QcrwrACqi/uvWLwrUZ4Fyicm3KAIq+bUWYLr++6znOc2FLaoqcfum2T8JqPnlBROxZ1Gsconhu/dQ5iufVSVjOxTme7TwCReXa9HMu/QjDuTjHy6hqwbc5DeCpfus57nNh4sR0xYDDixXAhhlkDCvbGSAGzLns6WGXRRTPrZ86o499wnRekbhGqroQsDkJkxBSc9/IonBtep2Ltz5RuDZeIpIFsKOqK86mqf/PMEhNlzXrCoxgDwC0NWOpLCLutiieWz91jtJ5Rf0a5QBcc76P+rXxngsQsWvjBNMUYFpXnqemfl3Y3Ud9UdWG+tJQEZ2Ej2MhytfI+cS+5/nEHllB5xK1a6OqFVXNASiISNVJJ58JBqkZcPpsj4IaTBdG83yieG791DmK5+UI/TVyuvZyqpoKeC5S16bbuQQI/bVxuuxKAK57t0/zujBITZfbDxvzbvRczDCNbbQQkXzAZndg1NvHHKVz66fOkTmvCF+jIoBHfNuiem2CziXK1wYwKeiWc5Pv1K8Lg9QUOZ9Kamjvs42hfZA1NJxPh8WArBz3j7AWxXPrp85ROa+oXiPn3q+Cf5A9item07lE5do4mXn1Ll171iyuC4PU9G3CTBXiFXe2h5LzR5UL+ONKwmT+uP+UkTs39Ffn0J9XFK+RM3ZT9NZZRJKeN/PIXJtu5xKha2OhtSXkcq+He8PydK/LqDd/8THwzXIW2qcL2UD4p0VKe+uIw5sY/dPBhPLcEDANTb91Dtt5dTmXyFwjp65Z543LfSRh5ryL1LXp81wicW0A5NF+Y/IGPDf4Tvu6cD2pGXCa01cAbMF8StnREEzC2otnEs03wvwRtnxydPYJzbk5feDLTj3SMJ8QN2H+ebypwD3rPOvzGuBcQn+NnHOpd3i6pqqLnn1DfW0GPJfQXxunDlmYiWV7TTA7levCIEVERKHFMSkiIgotBikiIgotBikiIgotBikiIgotBikiIgotBikiIgotBikiIgotBikiIgotBik6kpx509S5ez60RCQvIhuzrscsiUhRRDirAAVikCKarYsw87wRUQAGKTpWnE/t/iUTZnZcVc2oqky7PkRRwSBFx4YzGWgeZpbqI39coqOAQYqIiEKLQYqOBREp43BJhbKTVFH37ZMWkarzXNVZLtt9rujuLyIlEdkVEctZzbTsrGiqIrLh7dbrddygpAERiTvluPXI+p4vuiuo+vbru6XWbxkd6pd19rc6lNfyO3R+R+4xdp0lK4Lq5Nal7uyX9D0/8PXp9/dB4cUgRcfFVQAp5/sczDo5CfdJ542zDLNGUwZmvaaWgOPsV4VZcbSkZkXVnK/8GMxidn0d18+pR9U5fgrAUwBKztLkXpZT35JTru38PIhxlBFU3jVfee4j4+zX6RhrTl0Kzs/N3/8I14eiblorPvLBxzQfMBlzCiDr2WY724JWta3Ds/qos63qbgNQdF670eO4cf8xehy3aP4NW+pR6nAuSV9d0v5y4FtVtUs9+yrDXz9nW7bTfm4dfdvynm1pZ1u8xzHc31lpnNeHj+g92JKiY8/p4rIA5J2uJHW6uNylwL1ybQV4qOqO8+3AGYRO95UF05rwlrkJoIHDlojLu8rp7qDHG2MZXtsB5XmP4a5EG+tWiJoVazcBLI3z+lD0nJh1BYhCwA0oCZhg4LXn/UF9y30Dza6oK045o6S3u69tO4azraVsHUN31jjK6KO8YY9Rg+m6G+n6ULQxSBF5gsKgb3LObBE2THeT24qodn5FX/WwAez4nrPR2ko5DmyY38nQ14eij919dJzsBW10uugaMIGmRbcMMWfQPgmgoKqrTjlBb6KBxw3gBqGWLiunpeYmJYRBx8SPcXF+70kAm8NeHzoa2JKiY0NVGyICADn3q6q6mXdXYVLE3Ww3CyZY1NBhnENVayLSAFB0ymvgMDOt3+P698vBZPPFYDL73FZaxRmbmrZdwMwxCDNGlIRJnBg753dfwOE5N2AyBYEhrg8dDWxJ0XGzAvNGW4SnS01VKzAtBAvABkw6dA0BQcfnKkwSQNkps1NrJ/C4fqq6CpN67qZv52Baav6kiWlZh6mve25vxOSCwlMwv/sNmNZnwh3jGuH6UMSJKicfJiKicGJLioiIQotBioiIQotBioiIQotBioiIQotBioiIQotBioiIQotBioiIQotBioiIQotBioiIQotBioiIQuv/A1tCKuVaW+F3AAAAAElFTkSuQmCC\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "import scipy.sparse.linalg\n",
    "%matplotlib inline\n",
    "import matplotlib.pyplot as plt\n",
    "plt.rc(\"text\", usetex=True)\n",
    "import numpy as np\n",
    "import scipy as sp\n",
    "\n",
    "n = 300\n",
    "ex = np.ones(n);\n",
    "A = -sp.sparse.spdiags(np.vstack((ex,  -(2 + 1./n)*ex, (1 + 1./n) * ex)), [-1, 0, 1], n, n, 'csr'); \n",
    "rhs = np.random.randn(n)\n",
    "\n",
    "res_gmres_rst = []\n",
    "res_gmres = []\n",
    "def gmres_rst_cl(r):\n",
    "    res_gmres_rst.append(np.linalg.norm(r))\n",
    "    \n",
    "def gmres_rst(r):\n",
    "    res_gmres.append(np.linalg.norm(r))\n",
    "\n",
    "small_restart = 20\n",
    "sol = scipy.sparse.linalg.gmres(A, rhs, restart=small_restart, callback=gmres_rst_cl)\n",
    "sol = scipy.sparse.linalg.gmres(A, rhs, restart=n, callback=gmres_rst)\n",
    "\n",
    "lim = 300\n",
    "plt.semilogy(res_gmres_rst[:lim], marker='.',color='k', label='GMRES, restart={}'.format(small_restart))\n",
    "plt.semilogy(res_gmres[:lim], marker='x',color='r', label='GMRES, no restart')\n",
    "plt.xlabel('Iteration number', fontsize=20)\n",
    "plt.ylabel('Residual norm', fontsize=20)\n",
    "plt.xticks(fontsize=20)\n",
    "plt.yticks(fontsize=20)\n",
    "plt.legend(fontsize=20)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Как избежать такого замедления сходимости?\n",
    "\n",
    "- Метод бисопряжённых градиентов (biconjugate gradient method, название **BiCG** предложено Fletcher'ом, [оригинальная статья](https://link.springer.com/chapter/10.1007%2FBFb0080116)) позволяет избежать замедления сходимости с помощью \"коротких рекуррентных соотношений\" по аналогии с CG."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Идея метода бисопряжённых градиентов\n",
    "\n",
    "- Используем нормальное уравнение:\n",
    "\n",
    "$$A^* A x = A^* f,$$\n",
    "\n",
    "и применяем CG для его решения.\n",
    "\n",
    "- Число обусловленности равно квадрату числа обусловленности для исходной матрицы, поэтому нам нужна процедура **стабилизации**.\n",
    "\n",
    "- Стабилизация приводит к повышению устойчивости (подробности далее)\n",
    "\n",
    "На следующем примере покажем неустойчивость метода бисопряжённывх градиентов для несимметричной матрицы."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<matplotlib.legend.Legend at 0xa14f7b2e8>"
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAakAAAEcCAYAAAB9K0udAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADl0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uIDIuMi4zLCBodHRwOi8vbWF0cGxvdGxpYi5vcmcvIxREBQAAIABJREFUeJzsvXl8Y1d5//8+2r3L8oxntWdGnjV7bE8mgRBCRqYU8m1Y7IRCS79tiU37LS1QsJkC/cK39EU0KV3oAva0/EpZ2oxNKFsJ2CEEyDq2s88kmVizb56xLe+LlvP74y6WLHmTbVn2nPfrdV+S7j333CNZ1uc+z3nO8wgpJQqFQqFQZCKW5R6AQqFQKBTToURKoVAoFBmLEimFQqFQZCxKpBQKhUKRsSiRUigUCkXGokRKoVAoFBmLEimFQqFQZCxKpBQKhUKRsSiRUigUCkXGYlvuAax01qxZI7du3brcw1AoFIoVRUdHxxUp5drZ2imRWiBbt26lvb19uYehUCgUKwohxKm5tFPuPoVCoVBkLEqkFAqFQpGxKJFSKBQKRcaiREqhUCgUGYsSKYVCoVBkLEqkFAqFQpGxqBB0HSFEOVAJuIG9QIOUMrC8o1IoFIqrGyVSgBDCDVRKKZv01z6gFShb1oEpFApFCnRdHuJCcIzbd6xZ7qEsmFUlUkKIaiAopWxLcsywlAKAFwjEtPMCDUCT/rod8Aoh3FLK4NKPXKFQKBaP/V9+HICTD7xrmUeycFaNSOnWzyGgJskxL+CXUlbF7GsWQgSklAEpZacQoirmlEo0sVMCpVAoFMvIig+cEEJ4hRCNaNZQ7zTN6oDGKfsaAb/xYsr8Ux1w/2KOU6FQKNLBpYGx5R7CorLiRUq3hOqM+aRpqAY6p+xr1/fHIYSoBR6SUrYs4jAVCsVVyOhEhA99/Vne6B5M2zVfODPpAApHomm77lKx4kVqNvSgiAQry3Dl6a5Ao60Pba5KCZRCscyEI1E+8s0OfnX88nIPJWXO9I3wy9cv03GqL23XfPFsv/l8LKxEaiXggUlRSoIXzMCKXiOYQg/CUCgUy8T/vHyRR165yD/+/I3lHkrKjExEAM2iShcne4Zjrh9O23WXilUTODED7tka6NbUo4BbCGHsDgBJLSrdJVgLUFpaujijVCgUcRz6pTZNXLY2Z5lHkjqGSIyG0mfRDI5NCtPYhLKkVgX6vFahlFLEbNOukZJSNkkpK6WUlWvXzlqzS6FQzJPBsRAvndPcVkPj6bNCFpuRccOSSp9FMzQ+ea3R0Mr97AyuGpHS56YUCsUKoGdownw+OBZaxpEsjBFdJNIpFoNjIZw2S9qvu1RcDSJlhJZ7YnfGiJZKfaRQZBhXhsbN50NjK3deZdR096VTpMIU5zv16yuRynj0gIkAiXNTHrQFu0qkFIoM44puSW0uzIqbY/n2M6d4KSZ6LdOZDJxI39zQ0FiY4jyXdt3QyhV4g1UvUjptaFkkYinX9ysUigyjZ1izpLatyTHdfZcHx/nM917m9//9yHIObV4YIjWWJksqGpUMTYQpzjMsKRU4kWl4SB7N10BiuqQ6fb9CocgwrgxqltSWomwG9UCAn796CYA818oJSjbcbYa7743uIar+9nEef31p1n4NTYSRkkmRWgVzUivnrz0N+tzSAbT1Tm7Ar+fhazUW5Uopg0KIBiGEHziit/UrV59CkZn0DI9TkGXHk+1gaDxMNCppPdoNwIYC1zKPbu4MG3NSExEmwlE+9G/PcL5/jMde7eatOxc/MtiYv1urRCpz0OecZrWIpJSdJKZGUigUGUjP0ARrch3kumxIqQUDPPHGFQD6R1dOtJ9hSY2EIlweGud8v5ZXLzYwZC680T1EjtPKhoKshGPHLw0yHo5y3aYCc/7OnJNaBYt5V5u7T6FQrAIuD41TlOskz2UH4LkzfYyGIggBwZGVI1LmnNREhOGY9Utn+kbn1c+ffKeTv/rR0YT9fcMTVP3dL7n7H38NwNC49tmszVdzUgqFQrFk9AyNszbXac4/PRXoAeD27WtWlCU1EjMnZYjU+nwXZ3tH5tXPxYExApeHE/Y/+LPX4l4P6JZUQZYdh82yKtx9SqSWiVcvDvD1X59ASrncQ1EoMo6e4QmKch2mJfV0Vw9Zdis3lxYyNB4mtEKyexsh4JpIaYKxe0MePcMTcZaVQSgSTfhNiEQl/aMhTveOJByLTb47FoqY7r58l40suzVtUYVLyYqfk1qp/NezZ/j3J0/yZNcVrt1YwK71eQyNh3nlXD++a9axoziP4jwnFouYvTOFYhUxEY4SHAlRlOMk16n9RL1wtp+KLYUU5TgAGBgNUZTrnLGfsVCESFSS41y+n7lYd5+RrmjX+jx+8dplzgVH2bkuz2wbiUr2f/lx7ttbwv9523Zz/8BoCCm1vnqHJ8z33T8S4kzvKNuLc3mje4iL/WNm4ESu006W3boqFvMqkVom/vLua8jPsvOdZ07z81e7ieo3SDaL4BtPnQLAYbNQUpjFunwX3YPj7Nvm4U/u2k6+y76s/3jzQUrJ+f4xRifClK3NRQjB4FiIXx2/oi06zHcyMBbmfHCUGzYXsHNdHmtm+fFRrD6klHzjyZO8/dr15pzTtrU55MeEm1+/qQB3tmZZfeyh5ynIsvPJt+9i65ocsw8AIQR9wxO896tPIoAf/entZDuW5//FzN0XipjJZveszwfgTO+IKVKf+d5LeHIcnO4d4bnT8WU9+kYmU0T9x1OnePP2NdyyzcMr57VFzb4963ije4gL/WPmmrI8l41sh9VMy7SSWRm/dKsQi0XwiaqdfKJqJ2OhCMcvDTEWjnDNhnyOnOzlTN8oZ3tHCFwZ5tLAGCWFWbR0nOXbz5zGIuA9N2/m6UAPnhwH24tz+Y1r13HX7nX0jUzw1V90MR6O8tzpPk73jnDHjrVcuzGf23es4ebSwrS9x3PBUT793Rf51XEtKqvUk81NJW6eeOMKPcMTSc8RAt51/QYa3rGbPJcNd7YjbeNVLB+vnB/g8z88yhd/fIzP/9a1AFyzId+0pAD27ykmrN/NGd+p8XCUQx/S1un/zr89gyfHyT/+9s18quVFzvWNMhGJ8jc/fZ2//F/XzHj9y4Pj/Ol/PsfgeIgf/sntxFRDWBAjursvHJWm+O5arwnTGX1e6nxwlG8/c9o8Z+rcU19MoMg/PHqcR16+yE8/fgevnB8AwLenmK893sXFgVGGxsNYBGQ7rLh0S+rZE728fmmQ37l1y6K8p3SjRCoDcNmtXL+5wHx9567ipO1OXBnme51nefn8AN/tPEvFlkJynDZ+dfwy33vuHPkuG1GpuUtcdgvXby7gphI3//PSBR555SJfbn2deys382e+nQRHJjjVM8KZ3hEu9I9xzYZ8fuPa9ThsFpw2y4LdjM8Eevijb3cyHopQ/45dFGTZ+ekrl2g/2cvNpYV8+C3b2FDg4vLgOFkOK+vzXbx0rp+nA71848mT/OjFCwD81o0bufuGDbxlx1qyHFaklLx2aZBHj3Wz0e1i57o8Xjk3wEQkyu3b15h31Vcr4UiUH790gWyHDafNgs0qKC8txGW3JrQ9clKrA7p3qyfhWLp5qksLjAhHJf6fvIrLbmHbmpy4if/bvEVmZnQAi4AXz2pl4o5dGOCJN7Q+fHuKaTt2iY/7dvLqxQEeefnCrCJ16FcBMzhjeCISJ44LIdbdZoSdl3qysVkElwa111MLIp7uHSEUiWK3aiEDwZH4G7rXLg1yLjjKy+f72Vjg4pqNmmWmWVJhcp02hBBkOay0HbtE2zFtEfRv31KKdQVOHyiRWkFsW5PDJ96+i0hU8tK5fm7YVIDFIghHovzq+BV+dvQi0Sj84Vu2xfm6H3jfDQyOhfja413882NdHG4/G9evy25hLBSl/rsvArDJncUf3L6N3711Cw7b3GNrxkIRnjnRy2OvdvOtp09R6snm0Eduo2xtLgAf3Jd4J7elaFJU7txVzJ27ivngvlIe7jzHwFiIbz19ih+8cB6HzUK+y46UclorDOBNZUWUlxZyz00b2RHzGUxlaDyMw2ox31+sqyiW8XCEK0MTdJ7qwyIEd+0uJhyNkuey82TXFZ4/E+Qd167Hq7/H5WRwLMTvff1ZOk/H1/fcXJjFp39zN4XZDl48289L54KcC47xwpkgDquF+nfsYt+2orgbpXTzZNcVvGtzWJPj5NmTvdxU4sZqEeQ4NHHdWpSNzWqJs6xrKkp4qP0MlwbG+K9nT+OwWXDZLHzi8As4rBY+eGsph9vP8JOXL9I9OEae006Ww8q3nj7F469f5p8/UG7+/WOtl96hiUUTqZGJiOZ2m4hwZWjctHLW5jnpHtBEqvN0Hy67hbtv2MhoKMKPX7zA6d4R8/+mL0nI/c9f7eaZQC/lW9xkO2zku2zanNR42Aw2yZpyY3Khf5TNhdmL8r7SiRKpFYjVIripZDL7k81q4W27i3nb7uQWGECey86nfmM3vj3rePXiIO4sO6VF2ZR4sslz2ug41ceRk32EI1F+/cYV/upHR/n2M6f44zu389rFAV440487205RrgOnzcqWomyePdHLkZO92CwW1uU7ee3SIGOhKE6bhd+8fgNffPd1FGTZ5/3+SjzZ/JlvBwCf+o1ddJ7q4xevX2ZwLEwkGuWGzW5+49r19AyPc+zCANdsKCDLbuX7z5/j4efO8dXHu/ja412864YN7NtWxJaibEKRKN0D45zvH+XpQA9HTvaRbbeyZ0M++Vk2nj+j3aHfVFJAiSebiXCU45eGeOV8P8Mxd8N2q8AiBNdvKqBdvwP++7bjHPpQJbvX53EuqE1k57vm/75TpeNUH78+foVHXrnI65cG+dt7b6Qw24HVIhgNRXjgJ6/yJ995LubzzaKkMJs/vrOM1qOX+OKPj2G3Cpo+VMnbprHiU2E8HOHRY91UbCmkd3iC5vaznOkb4S/vvoYSTzZPdfXwme+9xDuv38CzJ3p5T/kmbtjs5tmTvaZ1IITgRx+9nS1F2o9r7Pfp3Tdv4qH2Mzz+2mVaOs7yrus38P69JTT9MsBNJW7W5DrZrbvWar72FGOhCN//P7fzTz9/g4sDYzz401f5zLs0C+tM7wgWAVEJvSMTlBYt/MdcSsloKMLmwixGeke5MjRBjkOzcorznHQPagt7O08HuXGzm7+puZHnTvfx4xcvELg8bIqUYUndV1nCljXZ/NezZ/jXXwW4ODBmZq3YUJDFhf4xzvSOUOKJX/C7Z0M+xy4McLp3RInUSkavzluNlpWiHGiaoeT8iuXm0sKk81KVWz1U6m6fP7lrO4+91s0Xf3yMTza/gNUiqCgt5LVLgwyfDjM8HmE0FMGdbadqzzrGw1H6RiZ4/95S3rprLbd5i5K6l1LBZbfypu1reNP2NQnH1uY52a1PQgN8dP8OPrp/B73DE3zl0eN877lzfP/58wnn7VqXR+0dXoIjE5y4MszZvlHKS93YbRa6uod44o0erBbBng15vPvmTVy/qYBSTzYneoZ57eIgQ+Nhjl8a4uO+nbz75o3c/x/t/N7XnzX7t1sFVdes4zeuXQ9od9OvXRyk83QfD7z3BkqLsvn5q90UZtu5ffsa03rrHZ6g8ZddfLfjHDdsLuAz79pj/lAZ9I+G+LvW1xkaDzMejnKub4TO00GEgB3FufzD+2/i7hs2xp2zf3cxz57sJRyRXL+pgMKcSWvkY76dnLgyzCcOP0/tf7TzmXfu4e4bN1KU4zDHFY5E6Z8mmu5C/yjN7Wc5en6AmsrN3Oot4uHOszx3OsjloXFz7gjAabMgJXxRHOWjd+3g977+LFkOK//02Btk2a28t3wzu9bl8fVfn2B/zA3XdZsmLbzYQArD2vrij48yEorwR3eWsXNdHvu8RWYb4/txqkeb//lUywvkumwwAP/57Bn+4p17ADjTN8KNJW6eOx2kd3h+2SCmYywURUrw5Dg50zvKlaFxsp3a/8XaPBdn+0YYC0V45Vw/99/hBcC7Rvt7n7gyBKwDtO+F1SJ44H3XI4R2k/TAT14F4A5DpNwuXjgTpHtwnIZ37AbghTPaz9eHbtvCgYdf0ubApi3lmrkokZqkWUpZASCEaAcOkZiU9qpACMFdu9dx585iXjrXjyfHQYln8g4sHIkyOBYmx2mblzswXXhyHHz+t67lL+++hgsDY5y6MozTbqE4z0VxvhOnbWYBjeiT81P998mEEuCh2tv4n5cvMDoRodSTzTMnevnec+f4n5cumm1sFkGuy8Z7v/oE2Q4bvbrL0renmMJsB693D/HqBW1u7W27innudB/v+ecnaPjN3dyxYy3/8OhxTvdogTTBkQnW5jlx2jT316d/czcf2Fc6rfVms1p4U1nysTtsFnatz+M7H76VP/p2B5//4VE+/8Oj5LtsvGXHWj6wr5RvPnWKnx69yB071vLbt5RQlOvkudN9CARf+skxolL7zB955SIOm4WJcJRcp42h8TB/un8HeU4b2U4r77xuA9959jQP/vQ1Ok4FcWfb+enH7qB7cJxNhVmmi+2Rj90x7d/GZp38vmU5rOzfXczPjl7iPTdvinNxG2wocJHnsjE4Fua6Tfk8e6IXixDYLIKh8TBXhiawCO1G4sbNmkjFFlycD1JKng70cqvXgxDCzNtnhM1fGRw3o3KL87XP8KVz/YSjknL9xrEg205xntMMigDN3VeYbTdvGj502xaafhlgba7TTJP0v27YyC9e09ZM3blLE66iXAeD42HuuWkjn/3vlzndO8LxS4P86vgV/uD2bZzpHeFnRy/xB2/eumiBIkvBqhIpIUQ1Wo2ohBIcQohytHIdAbQEswGjnX6s12irJ6T1pWfUmYvFIrixJDGpvM1qibsbz1QsFsEmdxab3In5zmZivpPLhTmOuPm2t1+7noZ37OaN7iGcdgvZDisFWXZ6h7XIy76RCX5n3xY6T/fx923HcWc72Lkulw/u28IH9pWwvTiPM70jfOyh5/nM914GtHnDm0rc3LKtkN9/87ZFD3YoyLbzrT/cx3NngrxwJshrFwf52dGL/PglLYDlndevp/NUkI98Kz79pW9PMZ+7+xo2urP47+fO8XSgl9++pYSbSws52zcSN+cI8Ie3b6N7YIwfvHCeg/feSGGOY97fpS/X3MiOdZrF0fShSsZCEbMS7VSEEOxZn8/x7kHev7eUz/639nneuWstv3jtMid7hs0ABcOF3jeSmkg99lo3f/Dv7Xzu7mv4rRs3mgtpTZEanmB3niakxXlOeoYnePaE9rNzc+nk/9mt3iKe7OpBSokQguDIRNxcXLbDxr///l4sMcLy7ps38dXHuxgaC5suzm99eB+XBsbIdtjY5M7idO8o33z6FP/x1CnuvmEDX/jhK7Qd6+b6TQVsKcrm4c5zfOStXlOwJsLRjLgJXTUipYtKUutHd+X5pZRVMfuahRABPRO6F5jq2usVQpTriWkVinnhsFnMeRWDbIeNv37P9ebrN21fQ91by8wfyVhKPNm0fOQ2ng708qvjl7n7ho0J/S02FougYkshFVu0u/ovhK7lJy9foH8kxO+9aSuRqOTx17VFqJvcWRw52cfHfDtM125NZQk1lSVmf1MFCjT37RfuuY4v3HNdyuN8X8XmhD5n4sA7dzM0HibbMdnu9u1rNJG6MoxTP3/3hjwcVsuMgTkzYVhgX3u8i7/+sebSBNio3yRNhKPmGIwEsD975SJbi7Lj1ga+eXsRP3jhPMe7h9i5Lo++kQkKs+Ot5Bs2x988Wi2Cr//eXoYnwqbIbC7MNuegSj3ZnO4doW9Y+8nvPN1nhvMfbj/D9uJc/I+8StU169henMsPXzjPR//zOR7/1J1J/47pZMWLlC5ADUAHMdbQFOqAxin7GgE/mqgtfwyu4qokmUAZCCG4rayI28qKpm2zlLjsVt5z86Qg2KyC/XvWma9jn2cyxhxsf0yU3L5tRVgtgpM9w+ZC35LCbApz7PSlKFKGC/eyHlr+/z1xAoBbtk3+vBguTaOUxgtn+3nvzZvi+nmz7lb+9fErmkgNh+YUyDFTmxJPNj95+QLZuiB3nOrjkh5d+KMXz/PO6zYAcLp3mO3Fufzns9q6rRNXhk2RGgtF+MaTJ/ngrVsWLfpxLiy/LbdApJQBKWWdlLJphmZGQEQs7fp+0MQtWXl5hUKxSijItpvisGVNNiWFWZy8MsLRCwNsKHCR47ThyXGaYmNwqmdYm3uLzpxn0/jRNxgYC7OhwBW3ds+ck8qbtJzeuiu+rtTmwmy2F+fyPy9d4HxwlNe7B7lmw8Ks6Os3FRAcCZmlQo6c7OPklWE2ubMYC0V57DWtVpcRYGJ8BtGYXIHNHWf50k9e5eAjry5oLPNlxYvUbOhFEb1MsbKMyD3dEguQRJSUq0+hWF3sKM6lIMtOvsvO1jU5BK4M83RXj2mtFuU4Etx9H/zXZ2h8PEDgytCMfV8aGDOfG+67Gze72ZDvMi0Pw2orzp8UqXdevyGhr/sqS2g/1Yf/kVeREqqnuDjny63eyZ+3zYVZPH8myGgowjuu0yJQjbVYhkgZ2TEGRieT4La0nwHgm0+f4o3uwQWNZz6sepFCF58Zwsm9U8VIF66E4AuFQrGy+eC+Ldz/lm0AXLexgGMXBugZnjCjHwtzHHHuvnAkylm99tOZ3plrQF0cGGPfNg9/d9+NfPZdWmj7DSXagvvr9TD6XCMEPdfJrnV5/PV7rkvq8n1fxWYcVgvff/48t3o9cdG1qbBtTY5pvf3Z/h3m/jt3rY0LOjnVoy1qNoJHjLIob3QP8sLZfu6t3IyU8PqlmQV7MbkaRCoxPC059wsh6vUAjGrg/iUck0KhWAbedcMG/kQPaPj9N281LZzpLKkn9HRNoKUrMpBS8trFQS72T1pPF/vH2OjO4j03b+Ztu4q5ffsac62ckc3DECSb1cJPP35H0iwsoIX0/+MHbubTv7mbB957w4LftzG/CdpnYFC2NteMlLQIONWrrd0aD2ulUAyRMsLbjfFOdYkuJSs+cGKxmFJefkYrSghRC9QClJaWLvHIFArFUlCU6+Rzd+/hV8evmMsU1he4GBwL0z04hlUI/uLhl9hQ4OLiwFicSP381W7+8BvtCAGP/Nkd7FyXS/fgmOnGK8i2860P7zPbby/WhOD0PIodGgK3WPzRnWVUbikk22Gj5SO30dx+lvX5Lnaty+flcwPcVOLm5XMD/OzoJfOcAV2kng70sG1NDnv0ubFUg0tS4WqwpABzbmpRkFI2SSkrpZSVa9eunf2EaRjoP7NYQ1IoFClw395S/ukD5eZrYyHsT166yB9/u5MrQ+M0/m4FO4pz4wTGWN8kpVZ4sHd4glBEsj7flfQ6t+jr2q7ftHz5EXevz+d3b9sKaBlm/NU3YLEIrtuUj0Vo6/smIlH+9D8nU2j1j4YIR6I8E+jlVm8RDpuFPKeN3hTXkqXC1WBJBfRHDzFroWJEK5BwRhr4u+++j5/2v84PPvgkDuf0iVAVCkX62LUuj40FLv7vD14B4O/uu5EbNrsp9WSbpTUAnjsT5KYSN/2jIZ7q6qEoV1tsO51IbV2Tw9MH9pvRhZnEb99SSsWWQvZsyOeGTQWc6Rvh9UtDPPZaNwNjIY5eGGBwPGy6C6fO2y01q96S0gMmAiQPMQ/qi3nTzr4t+zlnhf969M+X4/IKhSIJQgju0dctffZde8x1YiX6YlgpJeFIlJfO9nNTiZtbvR4efbWbjz/0Ap4cR1yewamsL3BlZKkMl93KDZvd2K0W3rR9DfftLeVzd19DUY6D/tEQJ65owRR79EwWhTkOepNkZl8qVr1I6bShpUSKpZxljOB7U+UfcxtZfO3SkwROPLpcw1AoFFP4uG8nrR+/gw+/xWvu21qUw8hEhH/5RRdff+IEo6EIN5YUcKuezNa3p5inDty14Ci8TKIgy07/aJgLenDIBn3ezpOd+oLnVFht7j4PyaP5GoBmIHbBb52+LRt/uf8r/M7PPkzdY3/GV6N/y/ayty/ncBQKBVpKq6m1yN598yZaj17iwZ++BmiZ7vdu9bCxIIv8LC2b/UzZQ1Yi+Vl2jl3QIhjznDYzErIwx5HWEPQVL1L63NIBtAW7bsAvhKgCWqWULWAmjG0QQviBI3pb/3K5+gw2b76Vxtsf4CO//jQf/OUn+PM39vOeu76E3b567sYUitVAQZadb/7hLZzsGcEqBAXZdrO21WLW4Mok8l12BkZDXOgfZYN7cq7Nk+1IOQlvKqx4kdLnnBrm0C42xDxj2LXzbv4zfzOfeeTD/NXFn9P4zVv4wNq9VN/xBQoKVHi7QpEpCCHYtmZ5k62mk4IsO4PjYc4FR1lfMFlJoDDHwchEhLFQZNHqxs3E6rJPVyjr19/Eod99mn/Zcz9eazZ/39vO/offySe/dQePPulnYjx9KUgUCoUCNHcfaNklNsRELXr00iPpsqZWvCW1WrBYbbzllj/lLbf8Ka+9/iOan/sXfjZymp8e/xY5r32TvdZ89q29gX073s1279sRFnV/oVAolg7DnTkRjrK+YFKkCvXaVn3DIbPo4lKiRCoD2bXzbj67824aQiM889y/8WjgRzwzcp5fdD8B3U/g+dUn2WcvYt+6Cm7ZXUNJyW3LPWSFQrHK2Fw4KUAbChItqXSlRlIilcHY7dncfstHuf2WjwJw/nw7zxw7zDMXj/Ds+GV+cr4VzreyKQK3uNZxg3s71625nrINldg9ZZBdBBlcFlqhUGQu+2LqYMUuQs7S56GMysNLjRKpFcTGjZW8Z2Ml7wFkNMqJU4/xzGvf45nLz/Ho+EW+d/kSXH4CxyuSknCIkghstmaz2bWGktxNbC3cwca112DzeMFdClmFy/2WFApFhiKEoOUjt3Hg4ZfMBLkAxkxDRM5cX2uxUCK1QhEWC95t+/Fu289vo2VlPnPlKC+f/TXHLr/IqcEznB27wjPhIUajF2HgIgx0YDspKQ2F2RoKsTVqYWtWMdsKd7B1fTnuzbdA8TXgWtoy5QqFYmVQudVD6yfeGrfPontn5EoQKSHETUxTwVZK+fOF9K2YH0IIStdeS+naa3lnzH4pJT1jPZwZOM3JnmOcvPwyJ4NdnBy5wC/BNO9OAAAgAElEQVQn+gkzAIMdMNiB+9WvsTUUZosli615JWxzl7EtfxslhTuw562HnDXa5rh6wnAVCkU8RmqnSDQ910tJpIQQ7wMOGy+TNJHA0gfQK2ZFCMGarDWsyVrDzevK446Fo2HOD53nZP8JTnS/wMnulzg1cIInx3r4/vgpuHQKLoFNSkpCYbaEQmwOh9koLWyy5bLJ4Wazs4ic7CLI9mjuw6xCyNKfZ3vAVQD2LLBng82lbSoyUaFYsRiWVKa7+/zACbRFtMuatUGROjaLjdL8UkrzS7mjJN6kH5oY4lTPqwQuv0Sg93UCAyc4PXKJZyaCjEqjpHQQZJC8oS48/RGKwmE8kQieSISCaBSnlLiiEoeUOGM3iwOn1YHD6sRhdeC0unDYnDhtLpzWLBz2LBy2LKz2LE3gDHGzu8CWBTbn5H67/tqWpR93Te63OsBiBYsdLDaw2lUgiUKxQAxLKhrNbJHyAtVSyocXczCKzCHXkcu1Gyq5dkN8Xl4pJcHxIOeGznF26CznBs/RPdJN71gvvaM9nBy9QsdYD/0Tg0SZy5c4DAzpGxAFxrXNJiUOCU4pccio/ijJjkqyZZSc6OTz7Kgkx3iMRsmWkmz9MS8a1bZIlBwEFlO0bNpjstczHbPYdPGLeRRWzUI0nxvHrPrr2HbTvBZT+7RMaWebco3YdgsYixJuxTywGpZUhotUG9PMRa1UhBDlaJnS3cBeoGG5c/tlIkIICl2FFLoKuW7NdTO2DUVDTEQmGAuPaY+R+MeJyATjkXHzcTwyTigaMp/HHQ+PMxEeZTw8wkhomJHQCFdCw4yERxkJjzIcGSMkZw+JFUCusJNvsZMrrORgJQuBCwsuBFmAS0KWFGRJSZYM4ZITZEUlrlAUl4zgjEZxRScfXdEozmgEVySCPRpGyAhEoxANg4xoj9HwbENbPsRU4VtMwUyD0AqL1lYYm3XyusISv5n7Fnhe3LnTnbc6xd94W5nu7qsDDgshCoBHiSkmaCClPLmAcaUVPUltpZSySX/tA1qBsmUd2ArHbrFjt9jJsacn0CIUCTESHmEkNMJwaJiRsPY4FBpiaGKIgYkBBicGGQoNMTgxyMD4AKPhUQbDo1wKjzAWHmM0PMpYRHuMSn1mWOjbjFNpVsCKwInL5sJp1R5dVu250+bEZXFq+61OXFY7TosDl9WB02LHabGTpT+6hE3fZ8UlbNpmseLEhlNYcAkrTiHIwopNgiAK0UiMKEaSvzYF0zg29bzwFHGNbRee0naqCBvXmJhlLNOdN6XdqkBMEa6pwmhNIoLJXlsnRS+pGFonj00nstOKrtHvTMIs4sbhnojwMdsp9rz+BGz537B255J+igtx95UBB2dosyiBE0KIarTihAm1n2Ksn4A+pkCydnPAiza/ZpTyaAe8Qgi3nsBWsQKwW+0UWAsocC68RLeUklA0xGh41NzGwmOMR8YZi4wxHtYezX0zHdP3jUfGGRrvTXo8nKKlZREWXfhcmhBaXbhsLuwWOzaLTduEbfK5vpnHzWOuhON2i12fM9TmDl1Wl/naac4nOuP2Ga8tYgHBMVImEdAZhNbYopGY1/rzaDTJvkj8eXH7jEeZuG9O58VeMzLN2GYba7LzZOIx87gx1lDi8YTPYGofMsn7mnrN+PHmyigfs0l4HSh/c8aKlF9/fBDoWqSxJKBbNIeAmiTHjHIbVTH7moUQgfm66aSUnXp5D4NKNGFUAnWVIoTAYXXgsDoWRfRmIxKNmII1Fh6LE7ZURDEUDRGOhglHw4xERsznsfvD0TBhmbhPzmkucWbsFnuCgBkWZrLXxvNsWza5jlxy7Dnk2nPJtmeTa88l167ty3HkkG3PXpgIKhbElcFx9v51K1+85xp+Z+fWJb9eqiJVDtRKKf91MQdjoAtQA9AB9E7TrA5onLKvEU1AE0RtNqYIWx1w/3z7UChSxWqxkm3JJjsDaolFohFNvCKhhDnD2HlCY25xLsfGI+OmmI5HxhmcGDTbGcdGI6Nztihz7DnkOfLId+RT4CxIeCxwFuBxevBkeVifvZ51OeuUsC0SWnSfICItaVlOkqpIdTK9eCwYXTDqAIQQ09WKqiZRpNrR5pLQz61l5nml1qnuQf2ch4yCiQrF1YbVYsWKFafVSS65ab12KBIy5xGHQ8MJz2PnGAcnBhmYGKB/vJ9TA6cYGB+gf6Kf8ch4Qr9Ztiy25m9lR+EOrim6hmuLrmVn4c6MuClYaayU6L770QIn+oAOKeXAIo5pVvRABy9ThFKvwIsQwiulDBiBEPPo10fq81oKhWKB2K123FY3bpc75T7GwmMEx4P0jfXRO9bL+eHzBIIBTvSf4MnzT/KDrh+YbddkraEkr4SSvBI25202n5fklVDoLESs0gi9hWAYpNEMj+57FC1Uuw1I9oeUUsqlzAvo0S8y3ZyRl3kuMtaDMHr1Cr4IIaqVNaVQrDxcNhfrbetZn7M+4ZiUku6Rbo72HOWN4BucGTzDmcEzPHPhmTjxAsiz57G9cDtl7jI2525mc95mNuduZlPuJgqcBVetgBmWVKaL1CFYhNnV1En9NisJ+hzYo4A75osXAJKKlO4SrAUoLVUl3hWKlYIQgnU561iXs463lb4t7th4ZJxzg+dM4To5cJLjfcdpO9VGcDz+fjjHnsOm3E1syNnA+pz15rYuex3F2cWszVq7al2JKyJ3H/DX6XbxLSX6HNic61bobsQmgMrKyuUUa4VCsUg4rU68bi9etzfh2HBomLODZ7VMK/rjuaFzXBy+yPOXn6d/vD/hnFx7Lm6nG7fTTYGrgAJHAWuz1lKcXUxxTjHFWcUUZxfjcXlWlKBZVogl1SGE+JqU8suLOpp5otYxKRSKdJBjz2GXZxe7PLuSHh8JjXBx5CKXRy7TPdJN90g3l0cv0zfWR/94P/1j/ZzsP8mV0StJAztcVhdul5tCZ6EmbC43HpcHt1Pfpx8rdBWyLmcd+Y7lK6czaUlltkj9HHg/sFwiZcw3eYjJdqEHVMQeVygUiiUn256Nt8CLtyDRCotFSsnAxIApZN0j3fSN99E3pm3B8SB9432cvXKW4FiQwdBg0n4KnYVsyd+SsG0t2IrT6kx6zmJhMdIiZbJISSnrhBDtQohHgDop5alFHtds1w8KIQIkzk150BbhKpFSKBQZhxDCXMe1o3DHrO1DkRD9E/30jvUSHAvSO97LxaGLnBw4yamBUzx1/im+3/V9s73D4qB8XTlv3vhmbtt4GzsLdy56gIcWQZ3hRQ+FEEbodzkQWIboPtAiCyvR1mwZlOv7FQqFYsVjt9rNenDTMRIa4fTgaU4OnOTFyy/y1Pmn+HLHl6EDCpwF7CzcaW7eAq8Z2GG32lMel1WIjE8wm87oPg/Jo/kagGYm8+2BtgC4Lh2DUigUikwg257Nbs9udnt2846t7wDg4vBFnjr/FC9cfoHjfcd5+PjDjIZH487zuDxsyt3EbRtvo3pHNRtyN8z5mhaLSFt0n1iIySaEuAstBZGxLql5McrG63NLB/R+q/W+29AyRLTEtCsH7gOO6G07070Qt7KyUra3t6fzkgqFQjEvojLK2cGznBw4qQV3jHZzeeQyXcEunr/8PDZh48G3PshdpXfNqb89n3uE371tC3/xzj0pj0kI0SGlrJytXcouOSHEV9GsliCaiOwFaoUQzVLK96faL5iLdKdLhxTbrpN4d59CoVAopmARFrMK91TOD53nU49/ik/84hN84U1f4J7t98zan9Ui0hY4kVJ2QCHE/WgCVSWl9EgpK6WUHjSr5l4hxJ8v5iAVCoVCsTRszN3IobcfYu/6vXz2ic/y8PHZC64Lkb7ovlRT2NYB9VLKR2N36q64TwMfWejAFAqFQpEesu3Z/PP+f+bNm97M55/8fEKKqKlYLSJt0X2pilQ507vZutDmhxQKhUKxQnBYHfz9nX/PLRtu4XNPfI7vv/H9adumM7ovVZFqQwtoSMZ9qHkihUKhWHG4bC7+8a5/ZN/6fXz2ic/y/576f0kzZKQzui/VwIlPA+36+qgmJsu31wHvA6qmP1WhUCgUmUqWLYt/2v9PfKXzK3zj6Dc4P3Ser9z1FRxWh9nGKgTRTJ6T0qPq7kVLjdQB9KFZT3XARxYjDF2hUCgUy4PD6uCTez/J52/7PE+cf4KvvfC1uOMWQcYv5jWCJFr0QoHb0KypdillYjpghUKhUKw43rfzfXR2d/L1l7/OWza/hZuLbwY0d19GW1KxSCnbpJSHpJSPKoFSKBSK1UXDLQ1syt3Exx/7OEd7jgJadF+6SnUsSKSEEPnTbYs1QIVCoVAsH/mOfL5y11ewCisf+PEHeOz0Y3p0X3qun+pi3puFEMfR5qKm21YsQojG5R6DQqFQZApl7jIevudh9nj20PCrBqK2S2lz9y0kwWwR8CDauqhVgz7HVotKVKtQKBQmBc4CvnLXV7jnv+9hKOdhItH6tFw3VZEqB2qllP+6mINJhhCiGq1GVELiWD3BbCWTIfCBhSSY1RPb9hJTSFGhUCgUGmuz11J3Yx1/0/439Ee7gIolv2aqItWG9mO+pOhWzSG0TOtTj3kBv5SyKmZfsxAisICihz4pZctiFwlTKBSK1ULlei1x+Xia4uRSDZxoAPxCiPcsRZCEEMKrzwt5mV4M64Cpc0eNgD/Fa/pQBRMVCoViRiy6bERlJC3XS9WSehStEGELkKw88YIq8+qWUJ3e93QlO6pJFKl2oNV4IYSoBcpmuFSrlLLNcPPpJUIUCoVCMQ0WYYhU5gdOpKsybwK6qCRYWVLKoBACIYRXShmQUjYl7yEBH+ARQhgFuNy6wLUtwHWoUCgUqw7DKInK9CTvS0mkpJSzFiRcYjz6OKazfIxKwXMittovaCHo8xA4hUKhuGqYdPelR6QWnHFimXAvRadCCLcQol5/Xq8HZyRrVyuEaBdCtF++fHkphqJQKBQZicWiyUZEiVT6kVIGpZQHpZRCf0xqjUkpm/RqxJVr165N9zAVCoVi2TAsKalEanb0uSmFQqFQpAkzcAIlUjNhWDie2J0xoqWCHRQKhWIJmAycWAEJZpcLPWAiQOLclActO4USKYVCoVgCrMIKqMCJudCGlhIplnLUglyFQqFYMibXSSmRMvCQPJqvgcR0SXX6foVCoVAsAQLN3ZeuwImUs0IsJfrc0gG09U5utBRMVWgZIlrAXLjbIITwA0f0tn7l6lMoFIqlI92W1KwiJYSIMv/sEgtNixRkDhaRlLIT6Ez1OgqFQqGYH2bgRJqi++YiJA+yjCmQFAqFQpE5GIETMlNy92VACiSFQqFQZAjpTjC7EgInFAqFQpEhTLr7MrtUBwBCiPeiBSwkIKX8m4X0rVAoFIrMYzItUoa4+5IhhNiGVrupUN8lgdiiUhJQIqVQKBSrjJWyTqoROAFUSCktQD/aQloP2mLausUZnkKhUCgyCUOkZJri6VIVKR9QL6V8Tn8dADN03I8SKYVCoViVTIpUZltSQaAg5nWAyRRFbjSrSqFQKBSrDCNwItNLdbQB7495fRho0AMp/GgiplAoFIpVRrrrSaUa3ddAjEtPStkihKgDWtAE6sOLMLa0I4Sojn09tay8QqFQXO1M1pPK4Og+KeUJ4NNT9lUJIbbpx1Ycetn4gC64buBRNNFVKBQKhY7m7hNpm5Na1ASzSyFQunUTlFImlOAQQpSjzYUF0NZrBZK1m8M13MABKWUhmAEgFQsaeBLGx8fp7e1lcHCQSCQ9C+EUCkU8VquVvLw8PB4PTqdzuYezIhGIjF8nlT9bGynlQCp9T7mODzhEYkkOhBBG1vOqmH3NQohACpnQK4GAIYhogR8ti5lRfXx8nNOnT1NYWMjWrVux2+3mBKRCoUgPUkpCoRADAwOcPn2a0tJSJVQpILBkvCUVZPaks9YU+zYEqAHoAHqnaVaHtl4rlka0wI0EUZsFL3rBRL0ESLt+7bJ59jMtvb29FBYWsmbNmsXqUqFQzBMhBA6Hw/w/7O3tZcOGDcs8qpWHQKQtd1+qIvURkotUJXA/UJvyiADdgqkDEEJMl+C2mkSRagdajRdCiFpmFppW3T0YQHMVBvXrB4UQXiGEd7GsqcHBQbZu3boYXSkUikUgPz+fkydPKpFKBSEQQhKNSiyWpfUIpRo40TTNoUNCiDdYRAskGfockpcpVpYuLhjiMsM4p5JMiBY1jD4SiWC32xezS4VCsQDsdruaG04RLQw9SkRKLCytSC1FFvQ2NCtnKfGAGeCQjKRJb6dDt5aCuvgZIpjK3NaMqDkohSJzUP+PqSOwADItLr+lKB/vY54ikQLuJeizBjgghOhCswSnndfS3Yi1AKWlpUswFIVCochchBAgJNE0xE6kGt03U0l5gRZ0sKLQraY5FXjU3YhNAJWVlapqsUKhuKowLKlIBltSM5WU70JLk7TkCCHcM7j8FAqFQrEECDRLKhJdepFKaU5KStkgpfz0NNshKWX/Yg90CsZckSd2pzGnRPJACMUy0tnZiR7UErdVVFRw8ODBhPYHDx6kqqoqSU9aXzU1NRQWFiKEoLCwkKqqKtrakq/jntq+rKyMmpoaOjs7F/U9KhRXC0Loc1KZKlLLjW49BUicm/KgZadQIpWh+P1+urq66OrqorW1FZ/Px5e+9CXKysoIBieN4iNHjiQVnaamJioqKujs7OTAgQM0Nzdz4MABent7aWycuiJBE7up7aurq+ns7GT//v1L+l4VitVKOt19SCln3ID8VLbZ+p3rhuY+9CXZ3wjUTtlXDTQv1rXnslVUVMi5cPTo0Tm1W610dHRIQDY2NiYc6+rqkoCsra2dsY/W1lYJSJ/Pl/R4X1/fvNq3trbOcfSK1crV/n+ZKrd+661y59//b3lpYDTlPoB2OYff2LnMSc0lu0QyUs44MQUPyaP5GoBm9AAGnTpUwcUVh9frpby8nPb29hnb1dXV4fV6aW1tTXrc7XYntHe73dO29/l8qQ1YobjKsWDRUsxmSHRfsuwSbrT0Qw3EL3rdDnwKqF/IoIyEr2ih7G7AL4SoQssQ0QLmwt0GIYQfOKK39Uvl6ltxBAIBOjs7qa+f/mvT0tJCIBBI6tJbjPYKhWLuGHNSGRHdJ5NkbRBCfBXN1favSY5dAYoWMiipzTnNGg4upewE1Oz3CiUQCNDW1kZDQwM+nw+/328ea2ho4ODBg2am5SNHjgBw7733zqnv+bZXKBRzx4KxTioDRGoa7iMmR94UOoGvoVlCijnwhR++wtHzC04av6RcszGf//u/rl1wP3V1ddTVxXtkGxsbqa2dOd1jIKAZyFNdeovVXqFQzB3TkspgkQIt48LDSfbXMCU0XKEwqK+v57777gO0DNSdnZ00NDTQ3NxMc3PztKISG/k3F+bbXqFQzB2LEBi5+5aaVEXqAeABIcQjaFF2J9CEqQ5NpPwznKuYwmJYKCuFsrIyysvLzdc+n4/a2loqKirYv38/HR3Jk5WUl5fT1tZGMBick3U0XXsjHN2go6MjbjwKhWJ2BBYQZlT1kpLqYt6DaOXjbwG+i5YGqQ2oAhqklMrVp5gzbrcbv99PZ2fntAts9+7dC8Dhw3NLZjJd++bmZjo6OuLmvxQKxfywmO6+NFwr1ROllAellB60GlL3AhVSSo+U8sFFG53iqsGwdnp7k9e4rK6uxuv1zllcpmtvhLt7vUudA1mhWL2kc05qwRknpJSdUsrvSimfW4wBKa5OGhq0YM6Z1i41NjYSCASoqUmeoH6qFWa0ny69kkKhSA0zui8T5qSEED8D7pJS2mL2zZQFHUDGtlcoDILBoBl5FwwGaW9vx+/3EwgEpl10a+Dz+WhubqampoaKigrq6urweDzmue3t7fT19cW19/v9NDQ0UFZWRkNDAx6PZ9qUSwqFYm5YhAVBNGOi+9pIrFI7UxZ0hWJaGhoaTKsJJt1vra2tc3LBVVdX09XVZfZjBEb4fL6kQRf19fVmfkCjvXFNv9+vgiYUihQQQgucSEd0n0hHdMZqprKyUs6Wzgfg2LFj7NmzJw0jUigUc0X9X6bG3d+toetilG/dfYiKLamtOBJCdEgpK2drl2rRw62AW0r5fMy+TwJ7gZ9JKf8tlX6XEyFEOVoQCGipmFpUiiWFQqFIxIIFiKQlui/VeaNGtFIZfwTmvNV+4DmgSQhRJqX8i8UZYtrw6aH1AAghGlHJahUKhSIBbTFvZkf3VaGnRRJC3Az40NZHVaKlQ0oefpUCQohqIUTSkC8hRLkQolYI4TMeF3CpupiiiQqFQqGYBouwgIhmRnTfDBiuMB9aEIWRiLYLLSP5gtFF5xBJRE8IYWQ9r4rZ1yyECKTopvMDJ4QQxqz+rAluFQqF4mrEsgJy9wWAe4UQAbRks51SSiNDqpcFlm/XBagBLZNF8tWdmituah2GRjSxmbclJ6Vs0i0pw8WXLKpRoVAornosaYzuS1WkPg0cRhMSgWZNGdShFSNMGd0SqgOIsWymUk2iSLUTk51dCFELlM1wqVYpZZvetl6fkzqon9c6y7kKhUJxVWJYUumIDk9JpKSULUKIMqAcaJNS9scc9qMJ2JKhWzxeplhZeiFEhBBeKWUgWS2safrzEVOXSreqyoQQ5XrNKoVCoVDoaIt5Mzx3H9o8VCXwkBAiH0AIUYAmXEstrx4wiyMmY75zYr1o445DCZRCoVAkYrNYcDkE2Q7r0l8rlZOEEPuBn6GFnN+MJhoDUsp+3cJ6APjjRRtlIosahSel7BRCeHU3n9H/Q4t5DYVCoVgt5Djt7FyXy5u3r1nya6U6J+VHW+x6n57HL5YmtLmipRSpRUdK2TLXtrqY1QKUlpYu2ZgUCoUiE7EKK1GZBl8fqbv7ypne0uhjkS2d6ViudU1SyiYpZaWUsnLt2rXLMQSFQqFYNoQQyDSlb01VpDqZTCE0lTq08O2lxAhxj0saFSNaKp2RQqFQLBEWLGmzpBZSPv6wEHpuDCgQQtyE5gb0ARWLNL6k6FF8ARItNg8QVDn3FAqFYumwiAwXKT0E/V60+SeBZlkJtMWv98Ymnl1C2tCsudgIvHKW3opTKBSKqxohRMbPSSGlbNHLx1cQXz7+u4s2Og0Pyee4GkjMLFGHSmeU8XR2dlJTU0NhYSFCCMrKyqipqYmrrNvZ2Ym+5m3WAoVGu4MHzfzAcefHbhUVFXHtDNra2pK2j92CwckVD8FgkJqaGsrKysz3UFdXZxZ0VCyMpqYm87OtqKigpSUxrsmoujxTG8XSkM7AiQVXz9XLxseVjhdC3LQQa0qfWzqAtt7JDfiFEFVoGSJa9OsGhRANQgg/cERv61euvszm4MGDNDQ04PV6OXDgAF6vlyNHjtDS0sL+/fvjKusaNDc3T1tWfrYfJr/fT3V1NRBfCbixsZGOjg7c7vj7n9ra2mnLzRttA4EAZWVleL1e6urqcLvddHV1meLX2Dg1EYpiPjQ1NdHQ0MCBAwdwu900NjZSU1NDY2MjtbXaKpFgMEhFRQVer5fm5maOHDlCTU0Nzc3N5t9bsXSkM3ACKeWsG5CPFs3XAxwH/nCGdoeByFz6XQ1bRUWFnAtHjx6dU7vVTGtrqwSkz+eb9rhBR0eH2dbtdk/bp8/nkz6fTwLS7/cnnN/Y2JhwTl9fn3S73bK6ujphbMnaJ7um1+tN2m9HR8es5y8H9fX1squra0X063a7474LUkpZXl4e9z2or6+Xbrdb9vX1mfuqq6tn/K4kQ/1fpkbDLxvkO1resaA+gHY5h9/Yubr7OtHKczyKNvfUJIT489gGQogvoYWf+9By+ykUcRhWR2tra9LjyaylmpoagsFgUpefsb+mZn75hI1y87O5Eaejvb096VjdbndGlqMPBoMcPHgwzp2aqf0Gg0G8Xm/C53vgwAGCwaB5rZaWFmpra+Ms4altFEuHBUvmhKALIT6lP90mpbxXSrkdeB4tEWueEOLDQogetPmgT0ttXurBJRyzYgXS0tJCIBDA7/fP6zyPx0N5eXlSF9rhw1qKyOlcgTPR2dmJx5Na2WuPx0N7e3tK5ypmxu128+ijjybdD5qrNRgMmi7XWLxeLRua+tssPZkWOHEf8ICMTyJrZD8PokX4HUITMSVOiqQcOXIEgHvvvXfe5953331J556Muaq5io1heVVUVBAIBGhoSC3Gxu/309nZSVVVVcrW2HQ0NDRQWFgIaJZnWVmZGbDR0tJCRUWFGSgQe+2WlhYz0EAIQVVVFYFAwAxQAc0qFUKYr4G4NrHnzTame+65Z8Z+F8LUeUJjnKDdkPT2anmlDVGael5sgItiaci0wIlytBIYsRzRH5vQrKd+FKnzk0/DxZeWexQzs/56+M0HUj7d+JFJ9gM0G9XV1TQ0NNDW1mZaTYbgzBakUFdXR11dXcJ+v99vTsLPpX1tba15rerqahobG6mrqzOForq6Gr/fn/DDmSoVFRXmeNxuNy0tLdTU1FBfX8+BAwd46KGHqKqqoqurC8A8dt999xEIBGhtbSUYDHLo0CHq6uqoqqqisbExweo03tOhQ4dwu900NDRQUVGRNIAldky1tbW0t7dP2+98Ix39fv+MrlK/34/P58Ptds/ab09Pz5yvq0gNi7CkpUwHzD26L+7WRGqJZAEalUAp5sJC7m69Xi9erzfux9Bw9c1mmRk/3KD9IDc1NdHX1zetWMa2nzqGWGpra6mtraWtrY3m5mYOHz5MWVkZra2tKbkfYwkGg3g8nri5u/vvv5/6+nrTXVpdXU1FRQWNjY3s3bsXwIyGKy8vj4twM8bu8XgS3sdU9+uhQ4fMcO7YPpKNaaZ+FzPC8eDBg/T29ibMZSqLafkQQhCRkbRca8Eh6IpFYAEWykqhvLyctrY2gsFgnEBUVFTETXR3dHQkvaOurq6OW99kuPrcbveMP1ZlZWVmf36/n6amJg4fPpzUiprafi74fD58PlY9wjgAABgBSURBVB9+v5+KigpqamqSWiHzJfZHvrOz0wxSmLrGy+PxcODAAQD279/Pfffdh8/nSzmAwzgvmbWyHKH1LS0tNDQ00NHRYQqh8f0x3H5TKSoqStv4rlYyKnBC5316gIS5oaVDunfq/pjjCoWJcbdvWEAGzc3NdHR0zBpQYbjgDKFra2tL6pabCbfbTX19fcpzUbP13dDQsGjRZbGWiSEYHR0ddHV1xW3Nzc1xEZOGu266tV7JMFyJFRUVM84rLZYrc650dnZy//33J9y4GHOQU29OFuJSVsyPTEyLNF1AxHSh5hL41/kPR7Faqa6uxuv1JswFGT98s80zGC6/5uZm88cplUWbBw4cMBeLzjfScDaW6kc8tt/pruHz+ejo6CAYDJrv7+DBg9TX18/YtxEo0dDQQGWlljPamHtaCAudkwoEAuzfv5/m5uYEq9DtduP1es35OAPj5mCh7lbF7GSaSC1psljF1UNjYyNVVVVUVVVNu1ZqJurq6uKCF1LB7XZz4MCBuIwGqYzD7/cnnGvsW+y1UuXl5aallmxeJnYchrX40EMPmRGV00U/BgIBc04tNivHXJkpqnIhrsFgMEhVVRWHDh2aVnCqq6tpamqKu05jY6N5M6NYWjIqcEJqaY8UigVjzN00NDRQVlZGQ0MDHo+HI0eOzCmU24jya2pqorm5OeVx1NfX86UvfYn7778/oZ+ZxNMIdz98+DBNTU1UV1ezd+9eenp6zHVgsf0ZFsqBAwcWLFyHDh2ipqaGmpoa6urqCAaD5o9yRUUFfr+furo6vF4vgUCAzs5O0x1qiJjxg97Y2Ehrayter9cUP6PdfKzL6fpdKEa6o97eXpqamuKO+Xw+M6XWwYMHqaqqoq6uzvwOLeR7oZg76QycWPa0QsuxoeUAnLrPC9SjZcyoB9xz6UulRZo/HR0dZgobQHq9XlldXZ00LVJzc3PcuV6vV2pf20n6+vrmlRZJSin9fr8EzDRGRlqkmTZjLH19fdLv95upetxut/T5fAkpkWYbQzLq6+sT3l9sf0YKKLfbLWtra2VfX5/s6+uT9fX15mfj9XplfX190n6nHmtubjb/DuXl5bKxsTHhs5xpTNP1myrG33K6Lfaz7OrqMj8Pr9eb8F2ZC+r/MjUefPZBufdbexfUB3NMiyRkmky2TEAI4UMTo0YppZhyrENKWaE/dwOHpJSz5tuprKyUc1nhfuzYMfbs2ZPawBUrlrKysqTzKorMQP1fpsbfdvwt3zn2Hdp/J/XsHvpv7nTFc00yIgRdCFGNVqwwwecjhChHqxsVQBOYQLJ2c8E4TwgR5zDXr9Eb0y6oC5pCsWCUQClWGyuhMu+ioYvBIRJrQyGEMMpvVMXsaxZCBOTiluTwMmXBMtArhCiXUqpslYqUCAaDix5BqFBkAukMnEi56OFCEUJ4dYvGS4wVM4U6YGqYUCNamfrFJLVMowrFDLjdblXbSLEquSoyTuiWUB2AEGK61ZXVJIpUO2CGEAkhaoEypqd1Du7BXhKr/yrhUigUiiRYhJZxQkqJniJvyVh2d9906MELCVaWPl+EEMIrpQxIKZuS9zAvAiQRJeXqUygUikQsQnPCSSSCpRWpZXP3zQEPaKI0zfFFW7E3VYz0ubDFrcGgUCgUqwSLLh3pCJ7IWEuKRPfbgtGj+Hz6cz/xrsD7hRD1aFWIy4H7Z+inFqgFKC0tXexhKhQKRUZjWlJpCJ7IZJFadHSLqRM4OMMxmMWK0l2MTaCtk1rkYSoUCkVGY8xDRWQEO/YlvVYmu/sAc25KoVAoFBmCYUmlw92XySJlrIOKC2iIEa3FXCelUCgUijliFVaAtNSUyliR0gMmAiQPDQ8u8mJehUKhUMwRI6LvarekQJsbmprbqRwVeadQKBTLxtXo7vOQPJqvgcR0SXX6foVCoVAsA0bgxKoOQdfnlg6grXdyA34hRBVaWHgLmAt3G/Rw8SN6W79y9SkUCsXycVVYUlLKoJSyQUpZI6UUUsoyKWWdIVAx7Tr1di1SyoOpZkBXZA6dnZ3U1NRQWFiIEIKysjJqamrM8t9GGz2zyKwFEY12Bw9OriyIPT92q6ioiGtn0NbWlrR97BZbtTYYDFJTU0NZWZn5HuZbMl2hWKmkM3DiqlonpVh+Dh48SENDg1ld1ev1cuTIEVpaWti/fz99fX0J5zQ3N09bRrylpSXpfgO/3x9XGr29vR2/309jYyMdHR0JJeBra2upqqpK1pXZNhAIUFZWhtfrpa6uDrfbTVdXlyl+CymdrlCsBNLp7lv2KrkrfVOVeeeOUf3W5/NNe9zAqGrr8/mk2+2etk+fz2dWZ51rZd6+vj7pdrtldXV1wtjmUkXX5/NJr9ebtN+p1XmvJurr62VXV9eK6VdK9X+ZKi2vtcjr/v06eWHoQsp9MMfKvJkSOKG4CjCsjtbW1qTHk1lLNTU1BIPBpC4/Y39NzawFlONwu934fL5Z3YjT0d7ennSsbrf7qi1wGAwGOXjwYJzLNpP7VSyMq2JOSnF10dLSQiAQmHcRQI/HQ3l5eVIX2uHDh4Hk4jYbnZ2deDypVWPxeDz/f3tnsNs4cq3hv+I7aNyFG2zlztYDUJsMEGQhdd8XGCmLu5kNNX4CS0AeQISfoMF5A8mbu8miLb2B1ECA7NKWN1lMNhYmg+wmYwneGoOTRVXRFEVJlKwWi9b/AYTtIlV1Do/Fw6o6dQo3N7tvm01I2TnkcB+dFDkInz59AgB89913W3/2/Pw8c+7JzlXldTa251Wv1zGdThGGu61kiKIIt7e3aDabO/fGVhGGId68eRPXb4M9snoS6Wv6/Xy71tg2AN27rVarcVDIcDhEvV6P60zqNxwO40ARpRSazSam02kcBAPonq9SKv4bwMI1yc9tkunbb79dWy8pjjhwgglmj4PobxH+cf+PosVYy+8qv0P4v7svT7MPpXSgQh6CIEAYhhiPx3GvyTqcTUEKnU4HnU5nqTyKIrTb7dzXt9vtuK0gCNDr9dDpdOKHeBAEiKIIvv/8HWRs5GAURWi1WgjDEK1WC3d3d/E1w+EQrVYL7XYbo9EIt7e36HQ6mEwmuQM36vU6gKdhWFtnt9vF5eUlPnz4gGazGbdrz52fn2M6nWI0GmE+n+Pq6gqdTgfNZhO9Xm+pZ2vlubq6gud5CMMQ9Xo9M0gmKVO73cbNzc3KeklxxD0pvOB1UuS4SIZvb4vv+/B9f+FBZYf6NvXM7EMV0A/Lfr+P2Wy20lkmr0/LkKTdbqPdbmM8HmMwGOD6+hrVahWj0WgvD9NkVKKNHJzP57HcFxcXC46z0WigVquh2Wyi1WptlGE+n6NSqSzMD15cXKDb7cZDskEQoF6vo9fr4d27dwCAy8vLeO7Nygc83Z9KpbJ0r9JDvFdXV6jX6xgOhwt1ZMm0rl5SHNxP6sh4Tg+lLNRqNYzH44UHLYCloazJZJIZfBAEwcL6JjvU53neWgdYrVbj+qIoQr/fx/X1dWYvKn19HhqNBhqNBqIoQr1eR6vVyuwhbEvSyVSr1YVz9j6me3z2fqwL2U+S7HHd3t7GQQrpdWSVSgWXl5cAgG+++Qbn5+exU9wF+7msNWUM3y8HDJwgLw77Jm57QJbBYIDJZLIxoMI+kO0DejweZw7LrcPzPHS73Z3nojbVHYYh5vP5XiLR1g2L2od7Vs/C9/3cC4qTn7efmUwmuLu7WzgGg8FCVKYdrlu1niwLO5RYr9fXziuxt1QO6KQ+M0qppRhopVRNKdVWSnWVUgOzhTzZE0EQwPf9JWfk+z5qtdrGh5Md8hsMBgvzQNtiewSfw1Ed6gFr28lyRtPpdCc5kp+x99oe1mE2Gg1MJhPMZjNEUYTxeJyZvSNNs9lEGIZoNpu4urrCx48ft5aPuAWd1GdCKdUwW783UuUegLci0heR7wH0AGQv5iE70+v1MJ1Ot3oDT2IDFUaj0U4OCtA9lMvLy3iOZ1c5sj4bRdFB1kq9fas3BkgPjQ2HwzjoYltqtVrcG0yT1tX2SGu1Why1uSrCcjqdYjwex4EqeV5Ikuy6TIB8XmzgxNGkRVJKBdB7RC3F8yqlatDbdUyhE8xOs67Lg/2cUio98O1DZ1a3Mbw3AHyllCd6XyuyB+zcTRiGqFarCMMQlUoFnz59yhXKbaP8+v0+BoPBznJ0u128f/8eFxcXS/WsWmhs5a9UKri+vka/30cQBHj37h1++eWXeB1Ysj4b5n55eblXx+V5XhxdeH9/H0fbhWGIIAh2Dty4urpCq9VCq9WKHXGv14Pv+6jX64iiCJ1OJx5StBGFVibgyXH2ej2MRqO4J2adn+d5W62VW1UvKZZDBk4UnlYIulczA9DIOOdDZ0VPlg0A+M9sU7LaSsuUpy6mRdqeyWQiQRCI53kCQHzflyAIMtMiDQaDhc/6vi/GfjGz2WyrtEgiIlEUCYA4jZFNi7TusLLMZjOJokhqtZp4niee50mj0VhKibRJhiy63e6Sfr1eTwDIbDZbKB+NRlKr1eJ7mNR/2zaSMts0U57nSbvdltlsJrPZTLrdbnz/fd+XbrebWW/63GAwiG1dq9VifZLyrpNpVb37gN/L3fjLT3+R3///7+XvP/995zqQMy2SkgMsxsrCzPmEACbmZ0dSPSS7RYckMqMrpRrm2u3HNJ7qEBFRa84PAHyQVEb2LN6+fSt5sg/88MMP+Prrr7cTlJSearWKwWBwtOmSXIffy93467/+ij99/BP+/H9/xh++/MNOdSilJiKS3tR2icKG+0TvCdUBAKXUqlnsAHp+KMkNEvNFZo6pitWM0s5vHaa+XA6KkDzQQZGXxiEDJ5yYk8rCBDP4AO6T5aI3QoRSyheRqYjkywWTr80GnjHnRUiS+Xy+da5CQsrAIQMnXI7uqwDaKa04v9d4XxOgcS9PwRW7hY8RYvA8b+coREJchj0pzfZJ3jZgHFHD/B7BDAWa+bGPADz7hgAdTZg55GeGBNsAcHZ2tm8xCSHEaZgW6TMhIrcAbgF8nyqfAsidXtkMMfYBHTixTxkJIcR1uJg3gZmbIoQQ4gh0Uhqb82VhyXnCaeVLUEYIIWSvWCd1iCVMzjopEzAxxfLcVAU6O0XpnFRRa9IIIcvw+7g7h9xPylknZRhDp0RKUjPlpeLk5ASPj49Fi0EIMTw+PuLk5KRoMUrJIQMnXHFSFWRH84UA0pklOqa8VJyenuLh4aFoMQghhoeHB5yenhYtRin5zW+OILrPzC1dQq938gBESqkmdFj4EIgX7oY2PZK5NirjUF+lUsFPP/0EAHj9+jW++OILJMLdCSEHQETw+PiIh4cHzGYzLiHZkaMIQTdzTht7RImw8VLz6tUrnJ2d4f7+Hj/++CN+/fXXokUi5Cg5OTnB6ekpzs7O8OrVq6LFKSWvX73GH7/6I7787y8/e1uFJZh9KeRNMEsIIeSJvAlmXZmTIoQQQpagkyKEEOIsdFKEEEKchU6KEEKIs9BJEUIIcRY6KUIIIc5CJ0UIIcRZ6KQIIYQ4CxfzPhOl1M8A/rnjx/8HwL/3KE6RUBc3oS5uQl2Ar0RkY8oKOqkCUUrd5FlxXQaoi5tQFzehLvnhcB8hhBBnoZMihBDiLHRSxdIvWoA9Ql3chLq4CXXJCeekCCGEOAt7UoQQQpyFTooQQoizFLYz7zGjlKoBeAtgCsAHMBWRcbFSrUcp5QFoAxgCuAdQAdABMErK7qpuSqkAwDxLljwyu6TXKl3KZiOjhw+gan72RGSYuqYUttmkS5lso5RqAGgC+AVan4mI9FPXHM4uIsLjgIcx1ihVNgDgFy1bDrklccwABGXQDUDDyNvYxR4u6ZVDl1LYCEAAoJb42wNwB6BdNttsoYvztjH/X41U2QRAtyi7cLjv8HQA9FJlPQBRAbJsSxPAGwBVEXkjqbdeOKabUspXSvWgvzD3Ky7LI3PheuXUBSiPjXwRubV/iMjcyJCUrRS2QT5dgHLYppNRNk6VH9Yuh/LQPOK3iTuk3iag37ykaNk2yO0j4+29LLoZ2bJ6Hxtldk2vNbqUwkamvQkAL0N+sfKVwTZb6FIW2wwARKmyCHrIL7ec+9SFPakDYsall96ERb95QSnlFyHXPiijbnlkLqNeq3BFF9Oeb45MymKbPLrkwQVdTHstEQlTxQGAD3nl3LcuDJw4LBXgyVgZ+NCTjK7imwliQOtyL09DFmXULY/MyHGNS3qVwkYi8iajuAEdEDK1D7Iy2GaTLkl5ymCbJEqpNoBbEfneFB38O0MndVi8ogV4BvcAIIsRSwOllC0ro255ZC6TXmW3UQfAe/N72W2T1AUomW2MM20CuneVOHVwu3C4j+RCROaSCkNFeQI+joIy28i8sd8n3thLS5YuZbONiAxFpAMgVEpNTDh5IdBJFYAZs30JTKGHMGJ9yqhbHpnLqJfBeRuZob2OiDQzzpXKNut0ycB525ghux6Aj8nyQ9qFTuqw2HHYSrIwYUyX5jYWUEp1M4rtxGhyjLlMuuWRuTR6ldhGEYBvUmVltU2WLmW2DaBD0D2zyPfgdqGTOiDmrWSK5THbCpYnWZ3BvB1GGVE59p9wWkbd8shcFr3KaiOz9itMT7KX0TardCmLbUxk3mzN0J5XhF3opA7PGDpVSJKaKXcS80/VyfjnakBH/tgvZel0Qz6ZnderjDYyczdRUmalVCPxMC+NbdbpUiLbeFjsCVmsPeyC5cPa5bmLv3hsvVjOw3K6kBHcT4sUJGXE0yLGdDoYJ3VDRhqavDK7ptcaXUpjIyNr2zy47NGAznlXKtvk1KUUtgHQxfLC5BESC3wPbRfuJ1UApjt9DuAT9FvKrTiQhHUTiSSav4X+J1x4czTXOKObGQO/NHIE0G+IY+gvTzIUeKPMReu1hS7O28joMltxeioi1cS1TttmS12ct42RoQ2dWHZTgtmD2IVOihBCiLNwTooQQoiz0EkRQghxFjopQgghzkInRQghxFnopAghhDgLnRQhhBBnoZMihBDiLHRShBBCnIVOirxITN40MavnnUUp1VVKjYqWo0iUUpFSilkFSCZ0UoQUyzvoPG+EkAzopMhRYd7a01smFNauiLRERB1aHkLKAp0UORpMMtAudJbqF98uIS8BOilCCCHOQidFjgKl1ABPWyoMTFDFLHVNoJSamHMTs122PRfZ65VSPaXUnVLKM7uZDsyOpqKUGiWH9Ta1mxU0oJSqmXqsHO3U+cjuoJq6LndPLW8dK+Rrm+u9FfUt3ENzj2wbd2bLiiyZrCwzc10jdX5r++S9H8Rd6KTIsXABoGl+70Dvk1O3J82DcwC9R1MLer+mBYdjrptA7zjaE72jaidVfwV6M7tc7aYxckxM+00AHwD0zNbkSTwjb8/U65u/t2EfdWTV9z5Vnz1a5rpVbVwZWULzd3z/n2EfUnYOteMjDx6HPKAj5gRAO1Hmm7KsXW1nSOw+asomtgxAZD472tBuLd3GhnYj/TVckKO3QpdGSpYgXQ9Su6qukTNXHWn5TFl71XVWxlRZN1EWmLLahjbsPevt0z48ynewJ0WOHjPE5QHomqEkMUNcdivwJJ2lChKIyK35desIQjN85UH3JpJ1jgHM8dQTsSR3Ob3btr091pHkJqO+ZBt2J9rKukpE71g7BvB2n/Yh5eO/ihaAEAewDqUO7QyS3Cf/kNR230A8FHVu6nlOeLv97FIbpmyhbtnDcNY+6shR365tTKGH7p5lH1Ju6KQISTiFbR9yJluEDz3cZHsRk9WfyCWHD+A2dc7HYi/lGPCh78nO9iHlh8N95Ji4zyo0Q3RzaEezwLoIMTNp3wAQikjf1JP1EM1sNwPrhBaGrExPzQYluMDKwI99Ye57A8B4V/uQlwF7UuRoEJG5UgoAOvaniNjIuwvoEHEb7eZBO4spVsxziMhUKTUHEJn65niKTMvbbvq6DnQ0XwU6ss/20oZmburQ3AE6xyD0HFEDOnBi75h7H+JJ5zl0pCCwg33Iy4A9KXJsfA/9oI2QGFITkSF0D8EDMIIOh54iw+mkuIAOAhiYOlf1djLbTSMifejQcxu+3YHuqaWDJg7FNbS8Vrff4vM5hQ/Q934E3fus2zmuZ9iHlBwlwuTDhBBC3IQ9KUIIIc5CJ0UIIcRZ6KQIIYQ4C50UIYQQZ6GTIoQQ4ix0UoQQQpyFTooQQoiz0EkRQghxFjopQgghzkInRQghxFn+A1m8NpchYcQKAAAAAElFTkSuQmCC\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "res_all_bicg = []\n",
    "def bicg_cl(x):\n",
    "    res_all_bicg.append(np.linalg.norm(A.dot(x) - rhs))\n",
    "    \n",
    "sol = scipy.sparse.linalg.bicg(A, rhs, x0=np.zeros(n), callback=bicg_cl)\n",
    "plt.semilogy(res_all_bicg, label='BiCG')\n",
    "plt.semilogy(res_gmres_rst[:n], label='GMRES, restart=20')\n",
    "plt.semilogy(res_gmres, label='GMRES, no restart')\n",
    "plt.xlabel('Iteration number', fontsize=20)\n",
    "plt.ylabel('Residual norm', fontsize=20)\n",
    "plt.xticks(fontsize=20)\n",
    "plt.yticks(fontsize=20)\n",
    "plt.legend(fontsize=20)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "##  Бисопряжённые градиенты\n",
    "\n",
    "У нас есть два варианта:\n",
    "\n",
    "1. Использовать $\\mathcal{K}(A^* A, A^* f)$ для генерации подпространства, но это приводит к увеличению числа обусловленности\n",
    "2. Вместо этого можем использовать Крыловские подпространства $\\mathcal{K}(A)$ и $\\mathcal{K}(A^*)$ для генерации двух базисов, которые будут **биортогональны** (так называемый биортогональный процесс Ланцоша).\n",
    "\n",
    "- Цель: вычислить проекцию Петрова-Галёркина исходной матрицы\n",
    "\n",
    "$$W^* A V \\widehat{x} = W^* f$$\n",
    "\n",
    "со столбцами $W$ из Крыловского подпространства для матрицы $A^*$, и $V$ – для матрицы $A$ (сравните с CG). \n",
    "\n",
    "- Это может привести к неустойчивости, если мы будем пересчитывать решение наиболее эффективным образом."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## BiCG метод\n",
    "\n",
    "На практике для реализации метода BiCG используют **двусторонний процесс Ланцоша**: генерирование Крыловского подпространства для $A$ и $A^{\\top}$.\n",
    "\n",
    "В частности,\n",
    "\n",
    "1. $\\alpha_j = \\frac{(r_j, \\hat{r}_j)}{(Ap_j, \\hat{p}_j)}$\n",
    "2. $x_{j+1} = x_j + \\alpha_j p_j $\n",
    "3. $r_{j+1} = r_j - \\alpha_j Ap_j$\n",
    "4. $\\hat{r}_{j+1} = \\hat{r}_j - \\alpha_j A^{\\top}\\hat{p}_j$\n",
    "5. $\\beta_j = \\frac{(r_{j+1}, \\hat{r}_{j+1})}{(r_j, \\hat{r}_j)}$\n",
    "6. $p_{j+1} = r_{j+1} + \\beta_j p_j$\n",
    "7. $\\hat{p}_{j+1} = \\hat{r}_{j+1} - \\beta_j \\hat{p}_j$\n",
    "\n",
    "Далее рассмотрим устойчивую версию метода BiCG."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## BiCGStab\n",
    "\n",
    "- BiCGStab часто используется и представляет из себя **стабилизированную** версию методу BiCG. Он обладает более быстрой и гладкой сходимостью, чем оригинальный метод BiCG.\n",
    "\n",
    "- Формулы можно посмотреть, например, [тут](https://en.wikipedia.org/wiki/Biconjugate_gradient_stabilized_method)\n",
    "\n",
    "- Они являются комбинацией шага метода BiCG с последующим шагом GMRES(1) для сглаживания сходимости.\n",
    "\n",
    "- Более подробно метод описан в книге [\"Iterative Krylov Methods for Large Linear Systems\"](http://www.lmn.pub.ro/~daniel/ElectromagneticModelingDoctoral/Books/Numerical%20Methods/VanDerVorst2003%20Iterative%20Krylov%20Methods%20for%20Large%20Linear%20Systems.pdf) за авторством H. Van-der Vorst.\n",
    "\n",
    "Далее сравним сходимость стабилизированной и нестабилизированной версии метода BiCG"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Dimension of the linear system = 90000\n"
     ]
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAaIAAAEcCAYAAACFy7BqAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADl0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uIDMuMC4yLCBodHRwOi8vbWF0cGxvdGxpYi5vcmcvOIA7rQAAIABJREFUeJzsnXl8VNX5/z9nJhtbGCIIamUJKOIKIUGDCIkEKyoaNICtS0utCbTa+nWZyM99AxMEbdVCgmjLV1tIUFCqliULixM1bKKCWwLar7tCEFSWZJ7fH8+cuffO3FkzW8h5v173NXc599wzd2buM89ynkcQERQKhUKhiBeWeA9AoVAoFJ0bJYgUCoVCEVeUIFIoFApFXFGCSKFQKBRxRQkihUKhUMQVJYgUCoVCEVeUIFIoFApFXFGCSKFQKBRxRQkihUKhUMSVpHgPIJERQkwCMKlHjx43nnrqqfEejkKhUHQotmzZ8h0R9QnUTqgUP4HJzs6mzZs3x3sYCoVC0aEQQmwhouxA7ZRpTqFQKBRxRQkihUKhUMQVJYj8IISYJISo3L9/f7yHolAoFMcsShD5gYhWEVFxz5494z0UhUKhOGZRgkihUCgUcUUJIoVCoYg15eVAXZ1xX10d7++EKEHkB+UjUigUUSEnB5g6VRNGdXW8nZMT33HFCTWPKAjUPCKFQhFxpPDJzQUaGoCqKiA/P96jiihqHpFCoVAkMvn5wMSJwKpVwGWXHXNCKBSUIFIoFIp4UFcHvPIKr69Y4e0z6kQoQaRQKBSxRprlZs3i7XvvNfqMOhlKECkUCkWsaWxkn9CZZ/L22WfzdmNjfMcVJ1T2bYVCoYg1dju/rlrFr04nUFDQaf1ESiPygwrfVigUUcXpNL52UpQg8oNK8aNQKKKKEkQAOqkgEkKsjfcYFAqFQgkiplP5iIQQBQAyARTEeywKhUKhBBHT4QSREKIIQAsRrTM5lgUgG0AzWOA069vJdSFERYyGq1AoFL5pa+NXJYg6Di6NZhGAKSbHMgGUEdEE3b5qIUQzETXHcJgKhUIRHEojAtBBfERCiEyXFpMJYK+PZiUAPDWdCgBl0RybQqFQhI0UQFIz6qR0CEFERM1EVEJElX6aFQHY6rFvs2u/QqFQJB5KIwLQQQRRIIQQNphoS0TU4jqeGY9xKRQKhV+UIALQTh+REGI4gAyzY0RU256+QyTDdc0WH8czwQEMCoVCkTgoQQQgTEEkhLgKQJXcNGlCAKzhDioMbME0ckXVFbjWywCsNYu+UygUipigBBGA8DWiMgC7AZSiA2kaRLQV7EcKWI9XCFEMoBgA+vfvH+WRKRSKTokK3wYQviDKBFBERC9FcjDtRQhh82OeCwkiqhRCfAlgUkpKyshI9KlQKBQGlEYEIPxghXXw4RuKE1IrM4zJFcSgPx4SKtecQqGIKip8G0D4GlEJgCohRE8ANQC8tBAi2tOOcYUEEbUIIZrh7SvKAGdhCEsQCSEmAZg0ZMiQ9g5RoVAovFEaEYDwNaJMAIPBvpYtAJpMllizDpzeR0+Wa39YKI1IoYgBl1wCzJ9v3Dd/Pu8/1lGCCED7ghUAYC5iL3QyYB4lVwqgGoB+0muJawkLpREpFDGgoAC4/XZev/VWFkK33w489lh8xxULlCACEL4gygJQTETPRHIwvnD5emaBNTEbgDIhxARw+PVywG2eK3WFZTe62pa1J88cEa0CsCo7O/vGdr8JhUJhzq23Aq2twG23AeXlwDffsBC69dZ4jyz6qKg5AOELoq3wnfMt4rgi4UqDaCfDsxUKRUdi9Gh+/fprYPjwziGEAKURuQjXR3QjWCvJF0KkR3JAiYQqFa5QxIinntLW33nH22d0rKIEEYDwBVENOFhhHYB9Qog2j6U1ckOMHypYQaGIAfPnA8uWadvTp7OPqDMIIyWIAIRvmlsETuNzTKOCFRSKKFNeDrz4InDOOawJAcAJJwCXXgqsWxecia68HMjJAfLztX11dUBjI2C3R2fcwRDMuNQ8IgDhC6JHiOiHiI4kAVHBCgpFlMnJAebOBXr1As48E3jvPeAvfwFeecX4AA/Ux9SprFWNGwds2MDbVVWBz40mclxVVfxe6uq8x6U0IgDhm+a2CCFui+hIFApF5yM/nwXIJ58AwpU/+frrgxdCso+qKmDSJGDAAOPDP57IcRUVAXffbT4uJYgAhC+IagFcHcmBKBSKTkp2NkAEvPsub594Yuh95OcDgwcDn38OzJwZfyEkOftsoKUFeOQR83Gp8G0AYQoiIioBIIQQ/xFCDIjwmBIGFTWnUMSAda7kJxdfzK/vvx96H3V1wEcfAWlpwIIFvJ0IvP46C5mLLzYfl9KIAIQpiIQQe8ETRi8C0Kyi5hQKRVjU1QE3ulywV10FdO8OrFgRmiCRvpeRIwGrlc1fU6fGXxjV1QF/+hOvjx9vPi4liACEb5pbBE6lUw5O8+O5dILcHAqFot00NnJwAgCkpAA2G5CXx/tD6aOqCujZEzh6VPPNhNJHNGhsBB59lNcPHTIfV6wFUXm5t4Cuq+P9cSSsqDkiKgUAIcSFAKZAK8VdHeMS4QqFoiNjt2umuNRU1oh69Agt7Fq2ffhh4MgR9jfl58ffT2S3A2++yeuHD/Or57hiHb4dTCRfHAhXI4IQYgF4Qus0AMe5XtcKIZZGaGxxR/mIFIoYIB/SqalAt27Ajz+G18+RI/zamkCeAfneDh0yPx5rjUhqZVOmALfckjARhuH6iG4EZ7WeQEQZRJRNRBlgYTT1WAntVj4ihSIG6AVR9+7AwYPt6+fo0ciMKxIEEkTxiJrLzweGDGGTaIJEGIarEZUAsBNRjX6nKxP2nQBmtHdgCoWikxBpjUi+6ikvB0pKjP6RujreF03/iBxLomhEAL/v7dtZ6CdIhGG4gigLvrNcN4F9RgqFQhEY+bCOpkaUkwMsXQpMnswP3ro6oLCQJ9Pm5IR3vVDGlCiCSPqExo4FunZNmAjDcAXROgBFPo5NgyrFoFAogiUWGlF+PrByJV/roou4+qsQHCoeTdNUogkiGWHYpw9fM0EiDMPNNXcngM2CU3JUgiPmMsEmu6sATIjI6BQKxbGPfFi/845RIwo1cWkgH1F+PgcyyOWOO6LvH0k0QSTvZWWl5p9KgAjDcDMrbAUwFZzmZwuAfWAtqATADBXCrVAogkY+rO+4A/juO9aIpAmpqUkzG8k5MPp5L/p1fxqRbCsj6pKSgL/+NfomqUT0EQEshBJoEm3Y4dtEtNwVKfdLcHDCBAC9iGhRpAYXb1T4tkIRA6Qgevpp4OWXWaORYcVXX635MHJy2MdTWMjrUlhJH4/sx0wQSZ+QZOJEnm8kfUbRfm+BBFGsy0A4nQlVeiJsQSQhonVEtIiIaojomHpiq/BthSIGyId1Xh5wwQW8LjNw6zNY/+lPLDyOHgXmzfOeAyMFkJlprrGRUwhJevZkn9G0adH1jyRi+La8bgIJonB9RAAAf2XCE7FekRAiExxksRUc+VdJRC3xHZVC0cmRD+u33wYaGnj92WeByy5jIdPYCBx/PNcquugi9iW9+irnb5NCiMi/RmS3A998Azz3HG8fOBAb34gc03//y5qXZ5G8HTt4PdaCyOns+KY5IcQIIcTHYN+QryURqSaiciJaBw6yOGbMiApFh0U+rG+4QfP33HqrZpJLSgI++ID319UBX3/N642NmlmtrY2FEeA7WEEfjRdqiHi4OdqkULRajWHS0qyYkcHbSiMKi0XgtD5zwfOGYoYQoghAi0uYeB7LApANLYqvWbZzHdsr2xJRixCiIDajVigUPpGCaOlSLhk+YwabzqqqeN9LL3GNoi++MAqZq6/mYngPPgj89JO231ewgl74hCqIws3RJt+bxaKZGCdPZl9YVRXwzDN8vJMHK4QriLIAFBPRM5EcTCBcgmMRONGq57FMAGVENEG3r1oI0UxEUjB5muH2CiGyXFGA0UFft768nKOAhg7l6B27nb/QS5dyUa9QEj0qFMcKhw/zg7qggLWatDTgs8/YJyTnvdx0EwsiPc89x0EH994L/POf2v4XXgAuvND7OlIj6tYtdEGUn8/mwokTOS3O888Hl6NN7yPKzwf27gUWLwbuuYe3Kyv5eLxMc0RaZdw4Eq4gWgeddhFtXEKmFBwq7uu6JQAqPPZVACgDC66MqA3QHzk5mq0bAGpq+Es5bBhHCf33v2x6uOgi/mENGcL//gYP1maDKyGlOJY5coQns8o/aqmpWgBBUxOwcSOXErdYjA/sjAxg1SrgsceAUaO0/Zk+ErtIQdS3L/uIgkX+mVyzhgXLE08A113HYwxFEOlNewsW8LnxDN8GOrwgKgVQJYQgADXRDkxwaTQlACCEKPXRrAjegmgzgLWu9b0AbB7Hoyuc5Bf4oYeA224z/pB27dLaOZ1aJccPPmDBdMopwJ138pdk1CijkNKjhJSio3P4MAufnBwuqX3wIPDGG8Cll/IfN/kwv+gi4NtvgW3bePvrr7nNbbcBb72l9XfaaebXkVpQv36azykYpFlOPrzPP581oseCKLsmx/7TT9yHRKbWGTaMt+MRvi2va2l38HS7CVcQ1YAf6ssBQHhLVCKidkXkhYIQwgY2vRm0JZcfSGpUzTARPFExy+lMcEevvBLVkydjWlISrL7S03t+CVtbNUFltWo1TT74gL80eoH2i1+wZnX22ZqQ+uILjhC66iolpBSJjxREMg3PL3/JvqDXXuPj8vv+0UfAnj1ciXXLFt5f48q7rPfVBApW6NcP2Lw5+PHl57OwmzWLt995h4XQnDnAiBH+tSLpr3I6gX/9C5gwQeuzqgq4+WbteCyJV9i4D9oTrECRHEg7yQBY8Pg4nklE6/QC0yWcvAIeIoLrn92RI0fw5KFD+ONzz8EKvmEhK8GewksfdpmUxLZ0gF/lPxunk4999RULqa5dNW1KCqnhw5U2pUgMpCAC+AE9fbrmOwH4+2yxsBA69VTg009Zk9i1C+jShc1ep52maTm+ghX0prkjR3hJSQlujD/ojD5jxnBU34gRgc1zUiMCgNxc4zFZjuH99+PjIwISJnKuXRVaEwhPk5svbhRC2KHNI7oxKqPJz8f7jzyCQTffDH1hplZoN1x42rsBNsNRCPLdTEjp+5JCCuAfqexfCGDrViA7WzP5AZqAApSQUsQOvSCSwTupqcaHuNMJDBoE/N//8QO8Tx8WRPtcM0X0guLdd82vI01zfftq2xlBWudPOUVb37hRmxMUrI/Ic10Sbx9RB9eIOiQuM5w0xfnVhoQQxQCKAaB///4hX+uVAwfQBcAtru1WAFbX61sAznc6Ne3IamUBEckvhZl5Qgo5IhZiepMfwP86N2/mVyWkFLFCCiKZhqetjSPnZs8Gbr+dv68WC0ecPfQQ8MAD3r8VfUTdJ5+YX0dvmgOCF0R1dawBSaZNC76yqV74mGVXiLcg6sgaUaIihLBFKlMCEVUKIb4EMCklJWVkqOdf3qMHBoDNca0AnADeBnA6gPfBM35HZWSg7/HH88N+9Wo+cehQ4OOPNW3HU3My06Qihf5HoYSUIlYcPswmssZGnhsE8Ou2bSyETjoJ+P57Tv8zZw5w332cZUFmSQB43pHMCZmXZ36dH3/k6/TqxdvBhnA3NgJ33cVJWQE2ccvSCYEEkd5MqBdE0jLhSxDpp31IQs1G7o94CUAfHCuCqNn1mgHdXCFXEIP+eEgQ0SoAq7Kzs0Mz4dXV4Yy77kJbSgpqxo9HU3o6pi1bhtMBPAAgGa4Stnv3YuyZZ2JJ//4YMH06//gaGznQ4fPP+TU9nb+wmzezfVz+25N2c/0XKTk5cJnkUM1/klCE1MaNyh+lCB6pEem/H3V1PNdm3jzWRuQE0lmz+E/as8+yefmdd1h70pvmfP0GDh5k60OTaw6+DOEO9IC323lSrUTOCQomPZAvjai1lX+vvgRCuBNog0VpRJHHFR3XDPPw7BZX+HfICCEmAZg0RP7zDxbXPzvr1VejID8fBQDeHzMG/zdvHpL37MFcXdMNGzYgc9MmXH755bCnpSHX7MdQXs7/BKWQAlhQffst/wB/+okf/Fu2cJCCnKjmKXCsVv9fvHC1LTMhJQWeFFJDh2oCClCRfQoNvY9I0tgI/Pvf2sNeX8DNbgfmz+c8bdddx9Fo+u+6v2CF7t2BsjLePngw+Ae8ft6RrwSmZnz6qfl55eWsZfny1cj3O2UKa4KbNgVnCgyWBNOIQEQdagGnFCow2V8Bzvag31cEzi/XrmuOHDmSIoXdbiewxc5rsVgsVFhYSA6HI/SOy8qIiouNy2mnEfXvz6/nnUeUnExksRAJIcVU8IvFEvo5crFajf3IviwWomHDiC67TBvzZZcRjRrF70fROcjJIfrlL4NvX1tL1LUr0bx5vJ2VZfy+3X+/sX1ZGZ8zdSr/FioquN3ZZxP17s3HAvHkk3xOcjLR738f/FgHDtTG9cYb2vqqVXz8wgt5+5JLzM8/8UQ+/j//E/w1g+HMM7nfL76IbL8eANhMQTxjO6JGlAHzKLlSANXgZKaSEtcSFmFrRH4oc/0bmzt3rhSWbpxOJ1auXImVK1di7NixePTRR5HrGfLpi0BaRXk5zzUCgO3bOeoIYA3LZmOtxd+/JH//nAKZ+/RamGdk365dvFgscBJBEIEsFlgsFqMGJVEmvmMPM43IH57a0uDBbKaTSI1In1Jr6lRuJ+fzAKxRyVQ7gZCmv+OPD00jSk4Gevfmgn8LFmj7R4/mV7PfnPQPAVoQxjPPsEZX4TlnP0wSTCPqEILI5euZBZ60agNQJoSYAGAtES0H3Oa5UiFEGYBGV9syCtMs5+ozPB9RAMrKylBYWIjy8nK88sorcJp8GTZs2IDzzz8fV1xxBex2e/ACyRf+Ht7tFVK+hFAIAop0UYRHnU6kvPkmb8sJvJLsbM08KVHCqWMjU/wEi+dnbfP4Xyp9RDJTgxCcpeSuu/j7+NFHfHzCBC3VTiBhdOAAC5WePUMTRIcPAyecwILo+ee9x2j2u8rJMRbxA3jcy5axHzkS5jnlIwod4ki4gHOXyBiendDk5uZixYoVaGho8CmQiAgrV67EK6+8wj6kSAgkM6IhpAL5ozzQT/SVUwwJgPCsm/Lmm5zORQgWUEIAv/89Z2FW0XuJj2cS4JwcoKVFC8IJJTJMni+j4CQOB7/KTA2XXKJlRQBY6LW2AllZvD+YUOwDB4AePTgwIhhBJMd2+LCWy23MGPb1AFpUrNlvJz+fBc4LL2j7Hn+cv9PBROoFQ4LNIwrGJ+ME0Bbi0hqMXTDRFwCTAFQOGTIkXBNp0DgcDho7dqxP/xEAEkLQ6aefThUVFVEfT1Do/VKjRhFdeikven+Up08qOdnUj+R0LSH7n/T9yeslJRHNnKn8TolIba3ml6mtJerZk78fEycajwXbV9eufK7+OzF6tPGzPvts7djAgUTp6UTHHUf0u99p/QT6blx3HZ87ejRRQUHw7zMtjSglha/dvbs2jn/+k9uNHs3bF17o3cfUqVr7t98O7p4ES2Ym9/vJJ9o+6UvzfB/t+N0gSB+RIH+mEwAuU1fI8b5EdGeo5yQq2dnZtDmU3FTtoLKyEk888QQ++OADLx+SnpB9SLFE2uYl27dr5rUtW7TJux6h52QSdtuuvMCeKY9uvNFbS1OaU+ypq+NosGnT2Fz1ww9sct2zJ/TIsPnzOQ+cJCWFP/fXXtPCnseP5+9cSgqnBLr3Xv7Mc3K0irCBmDyZv9N9+rApcePG4N7nhRfyd6ypCfjjHznlFsBzksrLgfPOYw0/L8+YnbuuDrjiCi1a7y9/4bIYkWLgQI7o++gjLWuEPoLQM2Q8TC1MCLGFiLIDNgxGWnXWBTHUiDxxOBxUWFhIFovFb5Td2LFjacaMGeFF2sUaz8i+UaNYe3JpUEeFoKMAtQajHYUaxSc1JyFYY0pKIurWjTWnUaO0MSmtKTaMGcOfxx13aJ/RPfeE19cvf2n8Xlx0Ee+vrWXtByA691xtu2dPolNPJTr55OCvMX48ay+XXEKUnR3cOU6n8Tt4//3a+q5d3CYnh7fHjtXOk9rUnXdq7Xv2DF5TDIaTTzaOQ3/tXr2IfvOb0LRTHyBIjSjuD/uOsEQyfDtUpEByldzoOGa7UHAJqNdOPpkWArQQoNacHE1gJCUZBY8P817IwkmGlUuTXloahwTrTXoTJ8b77hx71NYSpabyve/alV+LisJ78MmH9jnncD89ehD96lfan57f/Ib3S7OT/GyHDycaNChw//K8UaNY4F15JZvogvnD8vrrfO38fH6dPFn77u3YwW1GjuTt88/3vmZlpdZ+9uzI/kmSYeHvv+/9ftPS+NisWbyvHea5mAgiAFcCuN1saU+/ibbEUxBJpA8pkEACQMOHD+84WpKOcePGud/D/rvu8p4XJf1PngIkVL9SIE1LL/guv9x7HEprCh8pOM46i++v9J8880x4PqLevfnPQ+/e7McBuG957G9/430PPGDs+3/+hzXiYK9x8slEU6awZmSxBB5jbS37oQCeg9StmyZ8AaKtW7ndiBG8nZvr3YecuwQQvfRScPckWPr1MwpEybx52jXT07V7G6ZmFKwgCitqTggxCFx0ToarEIzmfAIQRNUoRbDk5uZi/fr1fqPsJNu3b8f27dtRWVmJMWPG4PTTT8f111+fmP4kHQd1ub8+v+YapMuiYXrKy9nn06cP5yADOEJv0SLvCKRgUh554llm45VXOOrJauXt1FTg178Gzj1XpS4KB1n6u6iIt3v14gJ3X37JlVWvvDL4yLDGRo56mzNH82PU1AA7d/Lxqir2swBcVfXFF/mcpUs5j92PP3JWkrfe4n2A9nlKP+fVV3M/BQU8V2nPHvYzBRpfYyP7da69lqPtevYETj5ZK+DnL3xboo/OCyVkPBjMwrfr6vheypIaxx3HSWcfeyxyGR18EG74dgWA3eAMB9uEEHsBXAhgD4Aq19LhicaE1vaiD/tesmQJdu7ciY0bN0oN1YDT6cSGDRuwYcMGLFy4EMOHD8d5552XsELp4MGD6N69Ow4ePIgffvBR9Ndu937wl5cDv/sdr8sQ8/79eRKgZ8ojs7ByX6mNZIgtEa+3tnIJgQUL+Jxt2zh0vMRjzrQSTr6x2znFjkxQ+vXXXNyxa1cOwV+1KviHnhQYMvXP0qUcSDBkCDB3LguP1FR2+I8Ywec0NXE7+WCfPRt48kn+TiQlAStW8H45B2nZMq6NRMTnWiz8HQpmbO+8w+vduwPduhnnw/kL35YEKiHhi2ASpppdV/5JmDePBdHu3ZxCyVdBz0gSjNrkuYBDui/UbW8GMNy1Ph5AYzj9JuqSCKY5f4RitgMSN8jhpJNOolNPPZUA0Jo1a9rXmVnKo8svN5rf9KmHwjXj6ftLS2MTjD5lkTLjefPyy8b72K8fB5HIlD3hIAMRpLlWftYA952WxosMG5e+KelzNAsGqK3V/CXSjGi1cnsizZej96Ho1zdt4vNWr2af1GmnaX2tX89tzjiDt82eMffco7VfuDC0e6E3p5mZPG027tcsLFz6rU46qd0BC4imjwhcknuybrsKwO9d61cBaAun30RdEl0QSRwOB82YMYPGjh3rN9rOc0kUn5LNZqP8/HwCQMuXL4/8BSZOZD+TFBLz5vGDxjP/XSR8TGlp/HDTBz90dqEkH9zvvut93667rv3919aa/7kYMoRfu3XTHqp2u7HN3Xeb93n88Vqbe+5hHxHAn6ucB5Wergkk/YNbBis4HByM0Lev1te6ddxGCqcRI7yvrR/jX/4S3D3QC8f0dI5O7NmTv396evTgft980/seymCgnJzQ/XYeRFsQVQFYptsuAvAxOHjhEwDfh9Nvoi4dRRDpkUJp+PDhQQskqSkVFhbGXDA5nU5KSkqia665hgDQ4sWLo39Rzwm5M2fyw8ozUs/z4RZs0tgBA/hHLYWSPlS8Mwol+VArK+P7c8op/HrWWREJFSYivrdmn8V112nainxI64MHpDDxHK8Q/D3o0oU/w9/+ltt37Ur05z/zeVYra8Ge76G6mtvu2MEh5TIwAyD6z3+4zamn8vY553i/lz/9SfvulZcH9/7lPV69WrtWly7e761bNz72xhvG/WVlmpY2fLjWZyJGzQEYBOBRj31rXSa7vQCuDKffRFsQx3lEkaSiooJGjRpFw4cPD0lTiqW2dOjQIQJAt99+OwGgxx9/PKrXMyWQOS8lhbOZh6MpDRjAr9IM1Fk1pdpaY4aBCROMkW/tEUaeAkb+YdALOtmmWzf+HGSknfyzoDdnpadzH5dfrm1LU11GBrk1Kb3GpOfZZ3n/7t3G0G1Ay74ttbWzzvJ+PyUlPKcHIHroodDuQ5cu2rXMzI7yfWzc6H2+nNt0xhnBX9MHURVEPjsDBkWyv0RZOqJG5ItwNCVPbSkaGtN3331HAGjevHkEgB544IGI9d0u9Oa8efP4YaRPXxSOUDr+eP6nqzffdaY0RDJkOS+Pt/Vh2OG+f08BI/9AWK0sTGbO5Gvo/2TU1rKvBuCJqvo/BWVlXO4B0MpK1NZqKXn0mpTUaDwF6V//yse+/Zbo2muN561YwW1kqp3TT/d+T7/9LYeNC+HbdOjrXujn2tXUeI9Namf19d7nyzlZp54a/DV9EKwgimjSUyLaHcn+FJEnNzfXHTFXWVmJxYsX48iRI9ixY4fPcHBAi8DTU1FRgQsuuAAZGRkAgH79+oUdkffjjz8CAGw2G7p27eo7ai7WvPaatl5erpWyBjhF/7p1xqgiz9RFZnzzDb+2tQGDBnEkU1sbR1ZNm6ZF4R2L0Xd1dcC77/L6e+/xtmfRu3DQlxkfOpTLO8ycyff1iy+AJUuABx/kz0p/jY8/5terr+YIMYndzuc98wxHSspItPPO05KqAlr0nc3GiUn1KXFkep4ePfiz1RNs1FxaGkf+hRI1t3SpMUKvrc27tLm/pKcytDzUqQ/tINx5ROmB2hBRgjxJFL4oLi5GcXExALjDwb/66ivs2bMH27dvD3g+EZkKpwEDBqB///4hzV+Sc4i6deuG9PR0fPTRR5gzZw7y8vISJ9TcLGxcXy9p6FDOY3aW8NckAAAgAElEQVT4MD8I+vUDPvvMf5+7dmnr/ftzuQKrlR8+9957bAklmbts4kTO8VZVZXxwt2euiv7elJcb6xXJa5sJun79+PWrr7z7/Pprfu3bV6tpdOaZxjbTp3ONoK++MgrU/HyuAJuUxDnuPAVRsPOIUlNDE0R1dVzWvLCQQ88B4Fe/Aqqrje9dXs8sQ76s55TogghACxAwEWoQwfaKREGvKQGhaUt6iAh79uzBnj17sGHDBvek2oyMDL8akxRE3bt3R2trK1atWoV///vfSEtLQ01NTeIIIz1mgumaa3jdauX5RsnJPCE2FKF09Chw0UXAAw9oDwr5UO3IwkjOU6msZA3C88EdKczukS9BJ7WVL7/0PqYXRKNH82Tb//1fY5t0139yKdD015GlI4TwrRH500xkwcBQBJG8x3I+FMBanf4eS6Odr+tKARSL+UMuwhVEM2AuiLIB3AigOOwRKRICX9rS3r17fU6gNcPTpCcn1g4cOBCAZs77+eefAQCffvopvvvuOwAs1A4fPoz6+vrEFESe6B+Al1wCXHopZ38YOpSFSnIy//BPPdWoCZnhmdFh40Z+kHRkDUmOt6xMqyHUXk2oPcjsCT17ahpRXR1rpcOHa1VU+/bVMmN7fu9lNm2XadnAwYP8edfV8aRWPa+8wqbAQKa5UAWRvMeyCi3Amc31hfb0WlBH1oiIqNLHoUVCiE8ADA5/SIpEw1Nb0gsmSSgCSqYgklRUVKB3794AgNraWggh3P1YrVbk5eWFNe6GhgbU19fHx7zny7ck/RcAC5hTTvEtlIi0jA6DBvF5QvB50mzXEQXSvn3exezigcye8OOPQG0tZ8lYsoSF/4cfau3++EcuaPfgg2xm06fbyc8HXn2VhY4nBw6w5jd1KqeF0tO/P78GMs2F4yOS55qte14rQXxEEY8wAzACwMeR7jceC46R8O1YITOFDxs2LKxQcQBktVopNTXVnSViwoQJYUXnORwOdz9dunSJ+2RdN2VlWhFBGYWXlsbzlvr0CRxxZ7FwBJgsZyDnJiVCtF2whdVOOYVo2rTYjcsf+ggzGe7drRt/Nvr9MuqutlbL6A1ooc76khLyPlx0kVZ+Qh9ODRA99RS3lZ95//7eY8vO5qjNM87grN+hoC+q9957xmM//aQde/ll73NlJGCXLqFd0wQEGTVnQeQpAJAZhX5jDhGtIqLinj17xnsoHQKZB2/nzp3Ytm0bNm3ahBkzZqCwsBDDZQnvALS1tWH69Om48sorAQBr167FmDFjUFoasFK8gfr6ehw5cgREhCNHjqC+vj7UtxMd7HZOfPnvf7Omc/XVwPXXs7lKRkklJRmjnvQ4nex7+uknYNw4Xn//fT6npIS1r3jR1MQF5KQZq65OKyinJ1E0IoA1mvPO43Ui9vFZLJzsU2oE117LheSqXCk0X30V+POfeV2WOJemufJy/iymTgU+/5xNctu2aeYuiWfUnJmJLBzTnKQzaETwXz7ciQTPNQdgbSjtj6V5RPFETqyV85HM8uMlJyeTw+Gghx9+2Etbstvthv4cDgfNnj3bVNtxOBxktVoJAKWmpiaORuQLOZn2ssu0uTAzZ7KmFIqGJCfKxkNDknWGunbliaIy/Y1+fpDTye/pzjtjPz4zzPLODR6sbffvr6UG0qe7+eEHoxaVmqr117s30WOP8RymX/yCj+tz1gFEM2bwPZETVk84wVujPPVUnmvVv39w5cn1XHSRdq1Nm4zH9u/Xjpml0tJnEnE6Q7uuB4hyZoUyAI/6WG4E0DOcfqO9gLW1Ypa/ShAlAnpzXmFhoVtgOBwOL9OeEMJd+G/NmjVktVrJYrH4NL3JSbsPPvigX6GVUEiBJM123brxMmyYf4GUnKydI4VYPIr66auQpqR4Z0w4cICPJYIpUV+xVZ9gVC5mk2Hl+3A6vSc0t7Zq/eoFj8ymoW8rE7BKM1jfvt553Y4/ngXcOedwzrhQGDdOE5I1NcZj+/Zp46iqMh5ra9PeO0B09GjIt1VPVAVRpBdwrroCH8eyXMJDChHTdiFej0JprwRRfLDb7V5akRCCCgsLKS8vz+BXmj17ttf5gwYNIgD0xz/+kdLS0shisVBSUlLHqGKrTzekF0r+BJLFogkh+QCN9QP/kUeMY5LahHwvS5fy/srKduUwiwjyHssHv95Hl5ZmzNRglvVBZrCWy/792jEpYAYO1LRCfY5CWW5cpjvq04e3pYY2dSq3v+wyrgybkxPaezv3XG18r75qPPbdd9o4/vUv47FDh3i/HP9PP4V2XQ86jCByCZh9ZgIG7Gta67GvGkBmO69JobRXgih+2O32gOUtrFarl3BpbW2lpKQkAkC5ubmm5r8Og3xgzpypPdxnzjRPMSRNefJffCxNdXpNQP/QnTFDC8qQqWXuuy9yiU4jgTQrWiza2GWiVM/7J01oMn+gXO66i48/9hhvDxtmzKN31VVa23vv5bbSLHjccVr/sk1qKtHNN3O6orPPDu39nHMOC0GA6MUXjce+/lq7xgsvGI9JjVVWcNUL1zCImCACkB7OEkS/meACe8UAmnwIojIARR77CgBUB/Pm/FybQmmvBFF8qaioCBiBZ7FYKCsriyZNmkSTJk2ic889131s2LBhXm3NNKiER+a905vgLr/ct0CKpe+orIzHlpzMfg+930X/D1sKKl9aRjzQm+jmzePXlBTfNZKk1nLCCcb3OGsW32MZIbdggWZuk5ndpQnw17/mvuT96NVL61vf59SpXKJ86NDQ3tPQoVrOOE9h8+WXWv9LlhiPff8975c58L77LrTrehBJQeQvMMHnEszFddfwJYiaPLUfADa9IHEJsjI/i1m/FMr4lCCKPxUVFe7gg/YuHcY85wtPP5I+yafnkpZmbBeth798ONtsmm/IM9AiNVUrMTBmjLE+UDzR3099lm4ZOGI2xnnzzO/1pZcSPf44b69ZY95PcrJWmkFqiDJDdu/exj67duVAhYEDQ3tPAweynwjgLOB6/u//tP7//nfjsa++4v1nnsmvX34Z2nU9iKQgKgYHIOiXO1wC6g6P/WWu/bcHc3HdNbwEkRQ4AGwm7clTQIV4PQqlvRJEiYEMbAhnfpLUhOS6EIKGDx8etWziMUFvspM+oZ49jWUWAM13JB+00QpkWLNGe4hJwad/sMp5ObIWzsyZkR9DmDgcDqq5+GJ678knjQf8+bH00XUA0U038fu94w7efv557yAHIv58ioq4Xymse/Tg7VdeMfZ58cXsHzrhhMDj0dOvn/bn5G9/Mx777DOtf8+6X/LYqFH8+tlnga/lh4gJItOTgAVwVWQ1OXYHgDkh9mcmiDJ9CQzXwyTsoAUliDo2spSFDAEPVzCZCapELKEekIkTjT6h9HRvbUQKhWgGMuzerV2va1fNp2UWgj5yZML4iBwOB6WlpZHVag1+8nNtLft1jjtOe0/SdyRNc2lp3pVRidgMd/PNvC7Nql278rZeW5FC+4oruP5RKNVSbTat1tL8+cZj+s9p0SLjsaYm3p+fz6/NzYGv5YdgBVG4E1qngQvgmbEVHAXXXmwR6MOAECJLCGF3rZcJIQoifQ1F9MnNzcWCBQuwYsUKrF+/3jBxVi5jx47FsGHDYLVquXeTk5MhhPDZr8yLt3DhQuTn56OhoSEWb6f9vPYaT7icNYtz2gnBE2TT0rQ2+/fzsnAhMGMGZ2NOSorsBNiXX+ZXOXn5ueeAefOM6Y4AThD66ac83sbGyF0/TOrr63Ho0CG0tbUFN/lZZhH/f/8P+PlnoE8f3n/33ZzWh//s8oRQfdkQSVISHyPyTvHjmbNu+nRgzRr+7CZN0jKVB+LQIU4vBHhPhtVPYvWcSCsn3nbtqr2HGNCezAq+EptOAZDRjn6jBhFtJaJyIhJEVEpE63y1FUIUCyE2CyE2f/vtt7EcpiJE9IJJLuvXr8fOnTuxceNGzJgxAzNmzMD69etxxx13BNVnQmVjCAa7XcvUcO+9LJBSU7kmT3Iyt5EPlaoqFgJz5kROGNXVaTn0/vlPzkaQkgKMGAFMmKCVT+jbl8cpr5+T0/5rtxN9LsOUlJTAuQ0bG7XxP/QQCyOA7+8VV2iZDPR/BPQkJ/M9kAIL8C2IzjqLBUpbG/cthVBdne/PjYiFj8wI45lZwV/SU/kdkdnCY5VdIRi1yXMBYAf7gv4DYDKA4QAuBLDMtT8Sprks+PcRtXs+URDjUrnmjkHMMjx4mvc6RDYGX3g636U5Th9SLee2RCrEW1/R9MAB3if9GdKx71kWPIZRc4EmNMvPPejPXJ8FYflyb9Pjtdf6NqX178/56o4e1donJfGxGTOM/egrwnbrxiXGA5noDh/m9g8/zBNTr77aePzvf9f69PSJbd7M+3/7W37dti24++EDRHsekUsY7YUWVed0bd8RRl/+ghVMo+Y890dzUT6iYx/pd+rRowd17969Y0fVScrKjD6h3r2NM/67do1MRJ18KP/hD8YwZLlfXkfuj4MQSktLIyGEz4hJKYjCwunUyp9LoSKj4MyCCzIzia65RhMYsuw8EdGjj3oLNTN/nz8/kUzh89hjfO9lhB4Rv8q0QgDRE08Yz21o4P1/+AO/vv12ePfERbCCKGzTHLGJKwPASABTAYwkogwimhtunx79twBohrevKANACxE1R+I6/hBCTBJCVO7fvz/al1LEmdzcXHddpIMHD+KWW27pOD4iX9jtwJ49mk9o1ixOwtmjBx//6SegtJR9SvfeG76pLieHfSbbtgEnn6z5UHJy2Iz1738Dt97KbWUxPM+S3VFE+oCICK2trbjpppsi+9k+/ji/d4DNkamp/P4mT+Z9nu9TmuakOS4pSVsfMsTYNiXF28SXne3fT6Q3DXbvDhQUcD2iP/2JP5e5uke0Z9LTDugjAgAQ0TYiepGItkViQB6sAxfb05Pl2h91SGXf7lTU19e7K9EeOnQIS5YsifOIIoA+kGHOHH5NTQVOOIGPt7Zy8T557IEHvLNlB0IKl7ffZuGmL/9tt3s/NOX+GNHdoyhdW1tb5Px/dXUctJCczIEZ//kP1zMCgAsuMA/GkMEKekEEsI7iWdeotBRYvNi47513tAznZsjghLQ0Xnr1An74AXjySfYZZuseqYF8RDGq0hqNMhDhkAHzKLlScPCDnhLX/qijNKLORV5eHpJcDwUiQmVlJcaNG4eZM2eitLQU5557LiZPntzxNCUZyKAXRj/+qJWa2LmTI9lkxJ1ZpFcg8vP53/snn/DDLl5VVz1oaGjA7bffbtiXmpoadrFFLxobgd/8Bli9mrW+/Hxg5UouJ3HBBebl5A8d4s/DUwi0tWnBCj16cPDHggUcYainqoqFvS9hJDWi1FQWRPoifwsWAG++qW0niEYUjP9mDYBWj32Bsi20BtGvDTwBthpsn20Cp/zxTOmT5WpXBPZLRT1IwXNRPqLOw4wZMwLONxJCmM43SvgM3zJwQO8T0qcHSk727dcIxGuvkXv+SYLMDyLy/jx9BaHI41FF3v+kJJ4w2tJi9P0cPsxBI4CWqLS4mDNS6NuZ5b/Ts2MHt6uuJho0yOhjqq01Jmv1THX18su8/6mn+PX119v1lhHBzAp2AFUe+/yVgXgUwKPBXDzRF6iouU6Hw+FwJ0sNZpEJV2VFWCDBUwiZRdTpH3L6ibHBCiO9A3zJktAmXkYRh8NBKSkphs+qq5w46kFMBJG8LyefTO4oQkDLhPHzz0Tjx/N6W5t2jmcJiUD39u23ud0jj3A9JDnp1mrlz/Tpp7W+Hn7YeG51Ne9/9ll+feWVdr3liAkitSiNqLMRTl47m81m2E74DN967cizaFuowqisjGjuXD63ro73xbvEAxHNnj3bnbldCEEjR44kANQmH/IuWltbYyOIiPi+6AvPAVrxvB9/JLrtNg7T9jxH3371av/X2LiR3NF1Z51l1Hpra4kcDm37gQeM5/7zn7xfluvwzNwdIsEKorB8REKIgUKI4R77bhdCLBNC3BBOnwpFolBcXOyeCDt27FhDdgZfmRlaWloM262trbj//vsT159kt7PvQAgOaLjgAu3Yc8+FNuHUbgeOO47X+/fn1xgHJJiRl5cHi8sPlpaWhtGjRwMADnoEBBzxLOMdTfLzeYIvwD41QPPDOJ0crCADBfTnXHyxtj1ypHe/5eVcKr6uTvMRXXstl5GXfqD0dO5L75tKEB9RuMEKFeCgAQCAEGIN2Fw3GEClEGJ2BMYWd1SwQudFZmtYv349Nm7ciNmzZ8PhcOCNN95wCyh/6YKICGvWrMEFF1yQuAEOgwcDK1bw+q5d2kz85GQWQlVVvO0vnLu8nB9+//0vb590kv9Z/zEkNzcXmZmZOOWUU1BTU4Ozzz4bAPDDDz8Y2h32TIETTebP58CGoUO1h/433/Cr08nBCt26Ge9hXR2weTNw+eW8vWaNd785OcDSpRwy/vbbvO/vfze2kQIulMwKCR41NwHAWgAQQowA1wgqJaJsALPgHenWISEVvq0AP9BmzZqF3Nxcg4BauHCh+x+3xHO7ra0NK1euxLhx4xJPGEmNZepU1oCIePvAAWDYMO2Yv7lFcg7RW29x+h6HQ5tDFGeOHj2K3bt3o1+/fgCA9PR0AN6CKGYakUyD9NhjPLdL4hoXnnxSi5qT972kRAuHv/56PvbHP3pHzOXnc7TjoUPA/ffzvrY2LZQc8M5rJ9flnwlAE467dvFrgmtEAE82BVgIEYBK13YTOHO2QnFMU1xcjE2bNqGwsBDDhg1DYWEhiouLTTWlo0eP4te//jUmT57sXmbOnBl/4aTPm3bffUCXLrx/40ZOshnIRCfnEK1dy+Hg+jlEcaaqqgqtra144403MH78eHz++ecA4iiI5OTe1lZjTjk5YfXuu1lD/ewz7b4D2v2UAuuBB8znJ02cyHOIpPAgMgqi775jgeOpEck/E3V12rkyb2CihG+bLQA+ATAbXI11M4BG3bE7AHwcTr+JuqhgBUWwOBwO6tKlS8Dy5nJJiJx2MnBBRmP17cuOaiH8p6rRIyOz7rknduMOwPXXX2+ImCspKSEAtNrD2d/U1BS7YAUiY6kIgGjIEH6VYdq9eplHxsn0O6+9Zt6vjHTTL7IUBEB0/PH8Ga5ere274w4+V5Yxl4UL//d/+bWwsF1vFVFO8XOna9kHnuejn2BaAmB5mP0mFMpHpAiV3Nxc1NTU4JFHHoHdbvfrRwISJMu3nPAqfUIymzQR+5EA/+a2mhrg+++B887jCZP+Zv3HkJNOOgkAYLVakZKSgjFjxgAAPH/PMfURAazdSPMZADQ3y4HwJNR9+zjow1OrlBrRgQPefdbVATffzOsycCQlRfMBAvx52u3mPqIMV8GE99/nV6mlue5htAlLEBHRcnBgwlQAvYioVndYzjHq8JDyESnCQPqUysrKsHDhQkPUnScWiwXHyQdHPNH7i+67T0s7s3WrVgcH8PYVybxyAHDddYFn/ccQ6RO65557UFNTg7FjxwIIzTS3YcMGPPjgg5E3odrtwIkn8rreZ3P4MAeLbNvGgQ16ZI5Aj/EDYFOdKyoQbW1sWrNYgFNO0dr89BN/LvKz1F9bRslJbnAFPw8cGNLbCpf2+IgInAdumRAiHQCEED2hlW9QKDo9+lBwfeG+U1wPiLa2Ntx8883x9xUBRn+R/h/7kSP8YDTTihobtbaDBmk+owQoePfNN9+gW7duuO+++5CbmxtysEJDQwPy8vJw3333Yfz48ZH9jOrq+L56ahxdunBU3WOPcSJaKdDLy4Ht23ldakT6yDq7HTjnHF7/29+ABx8EHnlEOwfQ8gBKLRdgoVVX553PTvqGEjlqTggxHhyUMMG1ZAAAEe0Ha0rHhEakUEQCs8J9559/vvv4kSNHEiPBqt5E99lnmlYkBHDXXd4VVcvLWTBJs87AgfxQa2yM+xwigAXR8ccf797u4dIo/IVvO3XaSX19vfR7R9aEKrXIWbNYA8rUxXbddhsL81tvBVat0u53Tg7wu9/xukx6Kv8YSIEkzWqTJvHrrbeyQJMQAc8/D5xxhrbP6eRr/Pa32r4TTvCe4xRlwtWIygAsJw7X9jSCV4JLiXd4lI9IES3SPFL7f/XVV2hoaMCcOXPQ0NCAhoYGzJ49O/aakhQgS5dq5pojR/iB9eCDRo1IRlvV1PD2p58mTOg24C2IrFYr0tLSsG7dOsN91WtEbTr/SciVW4NFr3nOmsXRbLKK7uOPa1qQflJwfj5w5ZW8/sILXNahqoo11UmT+J6ffTb3o58Qe+utHE0nOfdc71LhdrvmFwSA888HXnqJ1z/+ODLvORDBRDR4LuCkp1fq1gfqjo0H0BZOv4m6qKg5RaRxOByUnJzsjtYSQpDFYjG8AqC0tLTYR9XJgnaysmpyMkfQXXaZd9vaWk4R1K1bQuSX03POOefQpEmT3NsOh8N9r7t06eK+r6+//rr7c/jpp58Mfcj9Ef8MPBPQyvudlua78F1trZauJymJaNo0cqdkIuIKuf36GSMcZX67Sy7htlVVRMuWaVFzxcXcLj/fO5LOaiXKy2vX20SUo+a2wrtOkKQEMaoXpFB0VHJzc3HDDVo2LCKC0+k0vAJsNop5VJ38F37PPex3OHoUGDeOywfMn28MWMjPB3r35nkxCVT+AWCNqG/fvu5teR+JyGBq05vmjvowReXm5kZ2cNIMevXVHNkmzXGvvQZMm+bbxybnebW2AsuWcbqg6mrWor7/nqPd9CY7Oa9rmstIVVICvPuu1l9bG3+eNl0VnsxMPtdiMU8nFA2CkVaeC7gkgxPAHHDZh3MADAew2rU9PJx+E3VRGpEiGgSb6Tsumbz1ZcbT0ohSUni7Wzfjv/WaGm4zcmRCaUSbNm0iIQSNGDHCrc04HA6yWCwEwKARVVVVue/1999/b+hH7o87+ozmF19Mhnlel16qzUHSl/KYOFH7PGRW7WeeIbr6ak37mT6d2+hLTUycyJpa165Ef/qTdv0wktgimhoRcfj2VLD2I8Aa0lYAOQCmEtF2P6crFArwv+ynn37ab3g3ADzxxBMxzcbQ0NCAFz76CEf/9S/gkkvYp3DkCLBwIfuJAN4/fz4wZQo/vq6/nv0dkybFPXTb4XBgzJgxICJs27YN+fn5aGhoQG5uLs4//3z069cPNS6/1pw5c/C+dPKDk9WaQRTnQODGRs0ntHo1+4GSkjhZ7caNWlXWAQP4depU4I47NA1ValJnncWfnaStjduce662b9MmLdVPa6umWYVTRj5YgpFWnguAdN36CABXARgRTl8dYVEakSKaOBwOmjFjBs2YMYMqKiqosLDQ/c/dbLFYLFRYWBgV35Gs4WMXgn6ZkkLvPfmkVibivPPYpyBLRHTtqtUzKi8PvY5RlLj77rsN90sIQbNdBeCmT59Ov/jFL8jhcFBaWhoJIQy+us8//9zQl9x/6NCheLwVI7W1fM8vvZRo+HCiYcP4nt9wg6bNyPIPnpqpLCVRV0f03HO8brEQXXMNH7/4Yi2jxj33aP7BwYO1zzUMjRfRrEcE4GMAt4VzbkdclCBSxJpgK8VGWiDNnj3b3b/VaqXnb7iBzTRCkFMI+jktjYUTET+UZFG3jIyEMcstWbLEcJ/0aZRuu+026tq1q1etItn2008/NfQl9+/fvz8eb8WIvqhhWhpXWpUVX/WCqEsX3+mBXn2VzXMypdCvfsXHzzyTzXr33KMJnBNP5HZZWWGbXaMtiCqgyy93rC5QFVoVccKzuqi/xWKx0NixY6mwsNCrfHk415X9/jIlhY7YbETFxXRw0CAigH507X/vySf5wThiBD9G7r47gu++fcgouCuuuMLrfjzyyCMEgOrq6tz+Ob322dTUZOhL7v/6669j/TbMkb6ioUP5vuuL7HXvzkIjLU2LhiPiz0nmklu+nKiyktyRd2efrRXrGz1au0Z6Oi/Jydz2uuvCGm5UBRH3j80A/gNgQLh9dJRFaUSKeCBNdoWFhVRYWEhjx44NKplqezQlp9NJFouF+vbtS3v+8Ad3WLHT9bD7EaD3Afo5NZX/jVutbL7p2dP48IsjixcvJgC0e/dur2MLFiwgAPTFF19Qfn4+ARwiL+/dhx9+aGjvS1OKK55JU6Ww6NqVPwdPM5pec73zTqJbbtHOHTuWBdWJJxL9+tda+549OVz/uONYCAnB/YZItDWiva7FCY6S81xaw+k32gs4/VAxADuAagCZwZynBJEiUaioqPDrP2qvL+nAgQMEgE4++WTe4foH/v3o0dQK0H8BagOoNTmZH3wA0W9/a5wPE2cefPBBn36dZcuWEQB67733KDc31+uevf/++4b2cv9HH30Uq+EHx69/rQkTM9+QZ5Tb8uXcRgjNlNerF9HkyXy8b1/tj4RnNnYi3vaMmAyCYAVREsJjkesD6jAIIWwAsomo0rVdAC7uN9jviQpFAlFcXIyzzjoLS5Yswc6dO7Fp0yZDWho9TqcTK1euxKpVq3DbbbfBZrMhLy/P75wYWfLcXfrcFa2VAeDohRfiFwC+HT8efT7/HPjgA26zYgWwcqXWPs5zib744gscd9xxSE1N9TqW4UpHtHfvXjTLrNc6fM0jOiTLbycC8+cD//oXJ5ldulRLw3P55dq9z883fg5XXQVceinw6qta/rhu3bQsCwcPAt2787rdztFx+rpSt94KjBgRvc83GGkV7QU8L6nAxzGpxRTI1zCvkQWgSbdtAwtTW6BzlUakSFSk+S4Ys51nRgEzduzY4W7f2tqqHaitpUPyn7fVyv+OpZ9i3Liw55lEg/PPP5/69etn+j63bNlCAOill14y1Sw3b95saC/3v/3227Eavn9k5Ny8ebzerRu5zXNpab41luJiTYOVS69eRH36EK1bx9v33qtdI0KfJaLtI4rU4hIw+8wEDLjS61qPfUGb1Mz687xuMOcpQaToCOiFkj/z3bBhw6k2zoYAACAASURBVHwGNmzYsMHdbu/evbyztpacvXvTLS6znOFhZrHwA9DfQzCGOBwOt0A2E7q7d+8mAHTuuee6hbP+3rz55puG9nL/xo0bY/k2fCPTL8mAAukTKi72bR6VwksIotNOM35+ffpoRQ3Ly8M2wfkiWEHUnjIQ7UIIkSmEqAALm70+mpWAI/T0VICTroYMEel18RIAN4bTj0KRiMgs3+vXr3eXMDcrzLdr1y6sXLkSCxcuxJgxYzBixAice+65qKys1ExyMJrnDjzzDLYD8DJcnXEGcOiQsSR1HHnqqafkH03TjNmffPIJAOCtt94CAK/742tCa8KY5ux2No01NmrpgW69FaioYPOoWXqgxkbg2mt5Iuvu3dr+tDROC3T66bz94ovA7bfzpOVYm1eDkVbRXsAlJcw0oiZ4aD9wmdR028VgweRrMeu3GEBRsONTGpGioxJKcAMAmj59unt969at7n4+f/55+gagiQC1ec5bue66hDDN6VP4AOZl2GX4tlw8NaL6+npDe7l/1apVPq85e/bs+Jd7DwbPVD6DB7OZVQhe5GcZQRDlYIWo4wou8NKWiKhFCAEhRCYRNZMr+CCEfgsANBORSsyqOOYpLi4GAPzhD38wlDjwhT59kF47cr71Flx1WNHWrRss3boBX3wB9OsHvP46MH16zGoQNTQ0uOs3XX/99e7gi8cff9wduCGEwPTp070CM/Lz8yGEcGtNKSkpSEtLc5cP12tEsg1gXk68oaEB+fn5OHr0KFJTU1FTUxP55KiRJjVVSwe0e7exJES/flz+Yfr0mGtEcTPNBYEsttfi43imj/0+EUJkAdgrhZAQoij84SkUHQOzKrFjx46FxeL98z9FV1paL4g+vOIKAEAVgC8vuAD48kvO/Pz115xvLkblwZ9++mmMGTMGCxcuNJgWBwwYgOrqane7lJQUXH/99V7n67Oep6en489//jMOyIqnAHbs2OFe1wslM9NcfX09Dh8+DKfTiUOHDiVGcUNfyHxxK1cCp53G+/RCKCmJP8vrr49LqfdEFkS2wE2CRwiRCaAGwBYhhFTJffqahBDFQojNQojN3377bSSHolDEHM8qsdKPNGPGDIwdOxZJSUk477zzDIJIXxCypaUFOQBmAzhx7Vqu/LlmDb8uWeJdvTUKVFZW4qabbjKEqzudTmzfvh2fffaZe58vbUhyussncuDAAcyfP9+g+WzXldbWh3KbaUT6QnlEhOeeey4xSr6bIZOmAlyI75prjMe7dePPsro6Jp+lF8HY78wWAAPBZSBWw5UEFUBPAAugS4oaZF9ePiJwuDX5aE+e7aO5KB+R4lhn9OjRZLPZaMCAAWS1WgkAjR492h1Zt2jRIgJAdwD0miycJomBf8jhcLjHFWhJTk7267O5//773W0tFgslJye7+54zZ467XUtLi7vd008/bdqX3sdktVrdyVUTEn0pCSKizEzNX3TPPVqbCH6WiGbUnBBivEt4TACHQUsz2n7wBNFHw+nXx7UiqhmFeG1VKlxxzNPQ0IC33noLLS0t+PTTT92+JIfDgYULF+KCCy7Af/7zHwDAXAAfnniisQN9SesosWTJEi8fl1lEoMViwVNPPeXXV3PRRRehS5cusFqtSE1NxVNPPYWbbroJADBkyBB3u0CmOXk9OZaIlhOPBlIrys9n09t337HPKDkZ+OtfeV8MPkszwjXNlQFYTkTZ4HpEeioBTGvXqBgZap2h36kTTN7ToiMMEa0iouKePXtG+1IKRdyor6/3mZ0BANra2vDiiy+6t2P9x6yhoQHPPvuse9tqtaKiogJvvPGG27Q4bNgwFBYWYtOmTe4ADV/k5uaipqYGDz30EGpqalBcXIwZM2YAMAqfQKa5I0eOuIVjVlZW4gcryNDvujqgsBAQggNNVq9mvWjy5LjVkgo3ai4LbC42Yx8i4N8hjo5rNukrA0ALGecERQUhxCQAk/T/khSKY428vDwkJyfjiCyGFoAlS5bgq6++MkSsRRIZFffVV18BAD766CP32IQQuPHGG93CJtzr5+bmGs5NSuJHoS9BZKYRHTx40L0+dOjQxBZCeuQcpKuv1qLjVq7kdEFxStEUriDaCiAbwEsmx0oARCo0ep3rOlt1+7Ii2L9fiGgVgFXZ2dlq4qvimCU3Nxf19fXuh3+/fv0wYsQI/OUvf8HOnTu92jc3N2PhwoWoqKjAgAED0L9/f3cON4DzuH377bfo06ePYX+gY/K6N998s0+h6Csarr2EI4h+/PFH9/rPP/8c8TFFDTPTm2duuhgTriB6FECVYCMtAegphBgO1wRSACND7C8D5lpUKTilj36uUIlriTpKI1J0Fjw1BAA466yzMG7cOJ+JQIkIe/bswZ49e0yP79q1y+f1fB2zWCx+zYQTJ06MiuaRnJwMIDTTnF4j6lCCKAEJSxAR0XIhxFSwgBBgjUUAaAEwlYi2+zsfcPt6ZoHnA9kAlAkhJoBzyy13XadFCFEqhCgD0OhqWxYLs5zr+kojUnRacnNzsX79eoOZ7NVXX/UpmCKBPyEEAK+//joaGhoiLozMNKJAwQp6jShhUgB1UMLOrOASFsuFECPAAqKZiLaFcH4LWOMJ1G4rjKa5mKE0IkVnx1NTamhoQHl5OV5++WXD/JtoMGzYMAwdOhQffvihW4NqbW1FfX19TARRsD6i5ORkpRG1k7AEkRAinYh+AACX8AlaAHUklEakUBjJzc3FihUr3ALpww8/9PL3hOMjeuONN6CfOG6xWLB48WLk5uaioaEB48ePx5EjR6IWIh1IEG3bts1LE5MaUe/evZUgaifhakQtQojN4EzY1VIoKRSKzoEUSJGisrISJSWa6/f22293P/RluHV9fX3Awn7hIgWRXvjo13fs2IHx48cbQrT1gkiZ5tpHuILoTgBTwZVaK4UQ6wAsJKLIfTMTgHBMc4cPH8bevXtx4MCBoJJMKhSeWK1W9OjRAxkZGaZVRo9FZDj2iy++iKuuusprLpBZMEUkCaQRAXDnk5PjkKa53r17u8tLKMIj3GCFcgDlQohBAKaAhdKLrnQXywEsPRaEUqimucOHD+Ozzz5Dr169MHDgQCQnJ5vO/lYofEFEOHr0KH744Qd89tln6N+/f6cSRoEmo0YLf8EKVqsVbW1tICJUVFRgw4YN+POf/+yOpOvduzfefffd2A/6GKJdSU+JaDcRlbsyLPQCC6TBYGHU6di7dy969eqF3r17IyUlRQkhRcjIVDG9e/dGr169sHevr5qRikgiU/WYaUSTJk1y7yMi7Ny5EyUlJaitrQWgTHORICLZt4UQV4IzxFeBJ5wek8ELgThw4ADS09PjPQzFMUJ6erqhRIEiegghkJyc7FMQSY1JT01NDYQQsNlsKlihnYQtiIQQVwohVgsh2sAa0GCw72iwS0Pq8ISa9LStrc09MU6haC/JycnKzxhDkpKSTAXRyJEj8fTTT3vVbzpw4ACICN9++y3a2tp8lhlXBCbc7NtOcMaDHHBC3sFENISI5hLRbv9ndxzCSXqqzHGKSKG+S7HFlyBKSkpCcXExNm3a5K5lpOfzzz8HoLIrtIdwNaJFALKJKIOI7jyWhI9Coei8NDQ0uIvbSaEkrRy5ubl45plnkJKSYjhH/lFVgih8whJERFQSShYFhUKhSGQaGhpw4MABvPnmmxg/fjwaGhrcGpHe3C4TxBYWFrr3yRIZKmAhfAIKIiHEGiFEq8c+pxCizc9yTBhLVWE8haJzUF9fD4Cj4o4cOYL6+npTQQSwMBo1apTbZyT9eEojCp9gNKJ18C73MDfA8lgExxg3VGG80Ni6dSuEEF7LyJEjUV5e7tW+vLwcEyZM8NnXlClT0KtXLwgh0KtXL0yYMAHr1plXAPFsP3jwYEyZMgVbtxrTFLa0tGDKlCkYPHiwu11JSQmamyObR7e0tFT5eDoQeXl5sFqtAOBOI+RLEMn2qampsFqt7og6JYjCJ+CEVtfkVc99AZOVKjovZWVlKCoqAsC1a9auXYs5c+agoqICW7Zsgc3GFT8aGxtNBYtM95KZmYlZs2YhMzMTzc3NWLZsGSoqKlBQUGBoX15ejtLSUkP7xsZGLF++HOPHj8e+ffvcYxk8eDAyMzNRUlICm82GpqYmt5CsqKiI5m1RJDC5ubm45ppr8Pzzz2P16tXIzc3F22+/DQCmodv6tEOpqam47bbblGmuPRCRWgIsI0eOpGDYuXNnUO2OVbZs2UIAqKKiwutYU1MTAaDi4mK/faxdu5YAUEFBgenxffv2hdR+7dq17vWCggLKzMw07XPLli1e++12OzU1Nfkdry/sdjvxz6t9dPbvVCxZvHgxAXB/5nPnziUAtH//fr/n1dXVEQCqra2NxTA7FAA2UxDP2HDDt78XQgz0cWyNEMJXGXFFJyUzMxNZWVnYvHmz33ZSE1q7dq3pcalN6dvbbDaf7fXa0+bNm720KdlnVlaWYV9LSwvKy8u9THuKY5fBgwcDAB5++GE0NDR4Rc35Ii0tDYAyzbWHcMO3e/k5VgHOP6dQuGlubsbWrVtNBYFk+fLlaG5uRmlpcJZf2b6srCyo9hkZGQEFoaLz0tLSAgD4+9//jvHjx6OpqQlAYEHUpUsXACpqrj0ELYiEEANd2RSudO0aL7f1C4BicKE8RRRpaGjAnDlz3HMeEpXm5mZUVlZi5MiRKCgoMAgNT4d+Y2MjAGDq1KlB9R1q+7KyMmzdutVv0AMAd9CDXJfBEvr3pA+MmDBhgs9gB3m9Xr16YfDgwX6vq4gv77//PgB2V/z888/YsGEDALiDGHwhBdGyZcsS/veYqISSfXsGALtrncCTWn3hHSLVAYlkhdZbbrkF27cHrKAeFPv378eOHTvgdDphsVhw9tlnIxKRfcOHD8cTTzzR7n5KSkoMtWUADgQIlFlZPsw9zW+Ral9UVISKigqUlJS4BUJRURHKysqQman9d1q0aBFKSkowYcIE0+AIGdSwaNEi2Gw2lJaWYuTIke6gCD033ngjZs2ahSlTpqCsrAwTJkxAU1OT4XqKxCA/P9+daRsAPvroIwgh8Oabb/otQSEFWHV1NVatWmWoWaQIjqA1IiK6E2ySywAgAEwA55fTL72IyOJq2+GhBA3f3r9/P5xOJwDA6XQi0eY52e12bNmyBVu2bMHatWtRVlaG0tJSTJgwwW3+MMPfsUi0B7jUABFh7dq1KC4uxrp167w0FZvN5hYUGRkZyMzMNAiOsrIyVFdXo6ioCAUFBVi0aBFaWlqwfLl30vktW7agqKgIxcXFbj9WsKZERWzJzc3FyJEjDfuIyD3B1Rc7duxwt/3555/x+9//HpWVlR3CYpEwBBPR4LmAs2ynh3NuPBdwZvACAEVgX1ZmMOclWtScw+GgLl26kNVqpS5dupDD4YjJdQPhL2pu3759lJmZSVlZWe59npFlctszMs4XvtpnZWURWGsnAKYRcZ7jstlshv0yyq+6ujqosQCgsrIyr7F5UlBQYLgHgVBRc7GloqLC8N0BQBaLhWbPnu3zHIfDQa5abIZFCJFQv894gGhGzRHRVOqY5cFrwDdmOYAt4MStHQ45h+Ghhx7qMGYAm83m9tH4ikTLyckBAFRVVQXVp6/21dXV2LJlS1CahzSttbS0hBQht3z5ckyZMgUjR440+I8CIedEKRKT4uJiQ/oegH1EeXl5Ps/Jzc3FGWec4bWfiHD48GF31gaFb8ItFQ7AXYfI1NhNREFnVxBCFAFoISIvT64QIgtANoBm17WazdoFySAikvacDl1xLNqlk6OB9OX4KvZWVFSEzMxMlJWVBVWp01d7aUYL9oEfqr9GBieUlpYiO5srnniadHzR3Nys/EMJjt1ux+rVq3H48GFYLBY89dRTAX9rN998s5dfFAgsxBQuglGbPBcAgwB8D8DpWtp0604AbSH0VQBgH4ACk2OZANZ67KtGkCa1ANdda3ZNsyXRTHOJij/THJFmMpOYma/kBNWioiKf1zBrbzahtbq62mCaKy4uNjX7FRQUeJnm9u3bZ2qaMzPZybaBTHOynd1uN31vZnT271S8cDgcNHv27JDMahUVFTRs2DCyWCxu89zcuXOjOMrEB0Ga5sLViCoA7HY9yLcJIfYCuBDAHmiVWv0ihMgEUAo2kfnSTkpc1/K8dhnCnKvkum4RWMCpWNoo0NLS4tZGWlpasHnzZpSVlbnT/fijoKAA1dXVbrNXSUkJMjIy3Odu3rzZEJ0mQ8JLS0sxePBglJaWIiMjwyt9UEtLC6qqqlBZWYmioiLk5OTg+++/d89Fqq42Wmml9iYj5CoqKrB27VpkZma6zXmynT8ToIyWkxqUzWbDrFmzQribingQjsWhuLgYxcXFaGhoQEVFBf7xj390OKtF3AhGWnkuYK3nQt32ZgDDXevjATSG2F8TzDWiJnhoPwBsPGz3djFYMPlaTLUe13lrgxmf0oiCQ2pEnktmZiYVFRV5pcvxlwanqamJioqKyGazEQCy2WymfeivrW8vr6lP8bNv3z4qKyujrKwsstlsZLPZqKCgwGcwgxxfZmamQYuprq52XycrK8vt4DbTiKqrqykzM9OttYWaMqizf6c6Kh988AEBoH/84x/xHkpcQZAakeC2oeHSgG4gohWu7SoAa4joGSHEVQCqiMj/LDBjf00ASkinoQghbGCTXS/S/DryGIGrwgbt9ZWaELmSuOr6D9hPdnY2BTMjf9euXRg2bFiwQ1IoAqK+Ux2Tw4cPIy0tDRdeeCEefvjhTqsZCSG2EFF2oHbhmubWAbgawArXdhWAOS4BVQYg9Ake3mQAgKcQ0pEJDmAIlkwAx3lst4QizBQKhSIYZEmU2tpajB07FtOmTcPHH3+MtLQ0nH766TjttNOwceNGfPHFF2hra8MNN9wQVIDOsUq4gqgU7L8BABDRciFECYDlYCH0+wiMLbjp8kFCROuEEDYhhPy0J4DNiKa42hUDQP/+/SM5FIVCcYxTX18vXQBobW3FCy+84D4mUwfpkSUnOqswCnce0W7yyJ5ARBPAZq4MIvIspJcQENFyIqp0LVOIyOfEEVebbCLK7tOnTyyHqVAoOjh5eXmmdYz8sXjx4iiNJvEJN/u2KUS0O5L9AW5fTlxQpcIVCkU45Obm4umnn3aXEw+Gbdu2ddqUQIlcj0j6bjI8+rd5HI8alKC55hQKReJTXFyMBQsWuMtICCFwwgknGNroE/Y6nc5Om4UhYesRuYIUmuHtK8pAjIIMlEakUCjaQ3FxMf5/e+cT21a1rfFvOW3SIHrruA+J3kGf6lRIlElJ0oEFon/i6CKhSlQkZVYh3iNuJQZXiBeTwdUVF9TgPD1RmDTOLULqBNEUgdQB8JLSQKEeNM5lhISeYsFF6kWidUyLaElI1hvsfZzjk2Pn2LHP2U7WTzpKfM723l+WHS/vvddZ6/PPP8fp06fx1Vdf4YMPPkB7eztaWlrQ3t6OVCqF1tZWAKru0WbNwuB5EVPPgOxlLHuJaHXe+/rWI5qCSu9j38vp0ucbDjNfAnCpp6fnBT/GEwRh4+G8Ofby5cuYnp7GoUOHEIvFkM/nMTw8jLGxsU0b5m1KPaII3KPkklApfcZt5xKwRew1knrWIxIEQQBWO6b9+/cDAB566KGgJAWOZ0fEzK8Q0QhULaI8VPizc3ksz8ye1rH0Xs8w1OwpDCBFRH1Q2Q4u6jELRJQkohSA67ptyq97f2RGJAhCo9m2bRsA4O7duwErCY6q4gstJ0NEF6HS+NRcCkLvASU9tJtF6dKcb8iMSBCERmOVGt/MjqjmekQAIkQ0QkSfEtEfAICIdhDRWetxsyNRc4IgNBpxRLWHb/dCJSTtgyrjYKXj+RmqZPgb9RIoCIKwkRFHVHv4dgrARZ3MjhzXxgE8uy5VhiDh24IgNBoTHFEmk8HIyEhgN9TWmmuuC0C5m1bnUec8cUEhwQqCIDSaoB1RJpPB4cOH8fvvv6O1tRWXL1/2PYy81hnRLNT9PW4k4NN9PoJZWBmHnUd3dzdGR1dH9I+OjqKvr69sXwMDA+jo6AARoaOjA319fSXF7iq17+zsxMDAAGZnA4lzEQTPBO2I3nvvPfz2229YWlrCwsJCINkdanVEbwCwwrkZwA4i2k9EnwJ4Bh6i4YSNSyqVwtzcHObm5jA5OYl4PI6RkRF0dnaiUFip6uGsomoxPj6O7u5uzM7OYnh4GBMTExgeHkY+ny9WTLUzOjq6qn1/fz9mZ2fR21s2wbogGIEVvn3v3r1Axt+zZ0/x99bW1mCyO3ipnud2QJXbzkNVa13SP/MAnqm1T9MOAEcBjO/du5e9sNmraVoVWtPp9Kprc3NzDIAHBwcr9jE5OVmsZurG/Px8Ve3tFVqbkc3+ntostLW1lVQBtrh69SoPDw/ztWvXGjb2pUuXGAA/9NBDdR8HHiu01px9m1VJhQiAbgDHAXSzKgHxQa19mgZL+HbdiEaj6OrqwlqVbhOJBKLRKCYnJ12v25NEWu3D4XDZ9vF4vDbBguAj7e3tq5bmMpkMjhw5gpGRERw5cqRhgQS3b6vbQR9++OHAUgytuwwEM/+DmT9g5n9Y54ho/3r7FcowOgpcuVJ67soVdd5gcrkcZmdnKzqGixcvIpfLIZn0trJrtU+lUvWSKQiB4OaIpqensbi4CAAN3bvJ5/MAUEy+GgSeHBER/YGI3tflH/6PiP6jQrsLALJ1VSmscOAAcPz4ijO6ckU9PnAgWF1lyOVyxT2feDxe4jSSySSIVqL/r1+/DgA4fvy4p76rbS8IpuLmiA4dOoSWlhYAQCgUKu7d1DvU2nJE1RbyqydeR56Fuml1Cip0e5yIwsz8P1YDHbgwBOBnAK+49tJk1DXFz5//DHz99fr7AYA//hH405+AXbuAf/0LePhh4NVX1bEe9u8HzpxZt7xEIoFEojQvbTqdXrMMci6nUgg6l9/q1V4QTMXNEcViMRw8eBCfffYZ7r//frz66qu4detWMRJ0y5YteP7553HixIl1LandunULQLD3Ma05IyKi/9K/7mHm48y8F8DXAEaJaDsR/ScR3YIK235F7xP9dwM1+4axe0QdHcoJ/fOf6mdHpfJQ/jM0NIRsNotsNovJyUmkUikkk0n09fWVRM05qXStHu0FwVS2bdvm6gis2UqhUMCnn36KmZkZLC8vY3l5GQsLCxgbG0Nvb++6ZkfWGL/88kvNfawXLzOiZwG8waVZtZMA/hdAASqzwiiAEfaYeXtTUoeZRhFrOe4vfwHOngX++lfg8OH69b9OOjs70dW1UroqHo9jcHAQ3d3d6O3tRTbrvnLb1dWFqakpFAoFT7Occu2tUG6LbDZbokcQTMNtRgQAN27cWPO5v/32G6anp2ueFVkzojt37tT0/HrgZY+oC4Az1Om6/jkOoIOZXxEn5BOWE7pwAfjb39RP+56RoYTDYaRSKczOzpa9yfSA3ue6cOGCpz7LtZ+YmEA2m5UgBqFpKOeIFhYWEAqt/TG9nnt/TJgReY2aK1kDsTmdtDggn7l+XTkfawZ0+LB6fP165ecZgDVrsd74Tvr7+xGNRj07kHLtrVDxaLRehYIFobG4OaKlpSXcvn0bJ06cwMmTJ/H000/j6aefxr59+0ra7dmzZ117RNb/o+kzIsEkhoZWL8MdPqzOG44Vll0phDudTiOXy2FgYMD1unM2ZbUvlypIEJoBN0eUz+exvLyMrq4unD17Fh9++CE+/PBDnDt3Dm1tbcWI07t3765rj+jHH38EAMzPz9f+B6wTr1FzzxCRc+bDAI4TkWvOOWY+ty5lQtNSKBSKEW2FQgEzMzNIpVLI5XJlbzy1iMfjmJiYwMDAALq7u5FIJBCJRIrPnZmZKfmHsULCk8kkOjs7kUwmEYlEyqYPEgQTaW9vL0nxk8lkcEbvKzsdRCwWw5UrV3D+/HmMj4/jxo0b6O3trSlZ6dWrV4szoTt37iCTyQRzU+taqRegUvdUeyx5Setg+gFJ8VMVVoof5xGNRrm/v5/n5uZK2g8NDbF6C65mbm6O+/v7ORwOMwAOh8OufdjHtre3xpQUP0IzcOzYMb7vvvv42rVr/OWXX3IoFCr+/2zdutU19c7p06eZiBgAExEfOXKk6hQ9L730Usn/6muvvVavP4mZvaf48fJh/Ggth5fBm+Xo7u72ZHT50BDqjbynNj7Xrl3jLVu2MABubW3lffv2lTgHIuLTp0+7Pm/btm0lbdvb26tyRqOjo8UxAPDHH39czz+tfrnmWKXwqfrwPicLBiJancZZEATBZ6anp7G0tARARcl98803JdeZGTt37lz1vFgshrfeeqvk3L1793D+/HnPY1sReU8++SQAlW8uCDZlsAIRxQFUvs1fEATBBw4dOoStW7eWvR4KhYr3+jhxnmdmvPvuuyXBC5lMBqdOncKxY8dw8OBB7Nu3D8eOHcP4+DjeeecdtLW14bHHHgMAvPnmm8FUafUybWr0AVVSIl7mWheU07Cch2u7KsYK6z7nvT5HluaEoJD31Obg5MmTrvurRFRxue3atWvc3t5eXFqznnPy5ElmZk6n0yX7TeWOlpYWBsChUKjq5b1KoNFlIOqFnp38vcy1KIAUM48z8xQzjwNI6PO1EmdmKdspCIIxnDhxAu3t7cWQ7FAohNbWViQSiYrRcLFYDJcvX0YikSgmSGVmjI2N4dFHH8WpU6ewvLy85vjW0qCVOsjvKq2BpVvVziQJlanb/Q5Hlb/OuZeTBpAC4H6jSeUx45Ay5oIgGIblUKanp7Fz507cunULhw4d8hRKHYvFEIvFsLy8jPHx8eL5r6tIsrx161YsLi6CiAKp0hqYI2LmHJSjARGVK0DTj9WOaAZA8WYUIhoE0FlhqElmniKiMIA8M0umTEEQjMNyKLXy3HPP4dy5c64zoFAohMcffxwA8P333+OHH35QS2KhLVG70gAAC25JREFUEI4ePYqhoSE89dRT6OzsxNtvv+37vUTBFaBYA+04onDMlpi5QEQgoigz5/RynRfiACK2G3DD2olNaacoCILQtMRiMbz88ssYdRTJJCIMDg7i7NmzxXOZTAbT09Mls65HHnkEoVAokBtajXVEUPWPUGEGEwXg2YEw80X7YyJKV+HEPMPMJcXeBKFW1F6vIHgnlUqhs7MTZ86cwbfffgsAaGtrw4kTJ0rauc2+duzYgStXruDYsWN48MEH113nqBoCD1aoQEOqnRFRmIiG9O9D5QIfiGiQiGaIaOann37y1HdLS0uxtK8grJfFxcXiBrQgeGVwcBDffPMNvvzyS7z++uueUv9kMhl88skn+PXXX/HRRx9hbGwMBw8exKlTp3wJ5zbZETUEZi4w8ygzk/7pOqvSkXo9zNzzwAMPeOp7+/btuH37dl31CpuX27dvY/v27UHLEJqUWCyG4eFhT7Oa6enpVXtLi4uLGBsbwxNPPFESBNEIjHdEeq8oqLGPEtH4zz97q3QRiUQwPz+PmzdvYmFhQZZWhKphZiwsLODmzZuYn59HJBIJWpKwCah0U+3vv/+OF198saEzI5P3iKyZSgS2ekg2x9TwAANmvgTgUk9Pzwte2re1tWH37t3I5/P47rvvirH5glANLS0t2L59O3bv3o22trag5QibgFgshunpaZw/fx5ffPHFqjRDS0tL66oCuxbGOiIdHZfD6r2iCICCH5FuRHQUwNG9e/d6fk5bWxt27dqFXbt2NU6YIAhCnbECGDKZDHp7e3Hv3r1iiHdbW1tD7y0y1hFppgD0ALBnQuiCTzelVjsjEgRBaHbWc3NtrZjiiCJwj5JLApgAYN8pS+ij4dQyIxIEQWh21ntzbbVQUBvqeq9nGOp+oH6oPZ8pqEwIF23tugA8C+C6bjvLzL6m6enp6eGZmRk/hxQEQWh6iCjLzK5VvO0EmeKnADXjWavdLEqX5nxDZkSCIAiNx/jw7SBh5kvMPLhjx46gpQiCIGxYxBEJgiAIgSKOqALV3tAqCIIgVI84ogrI0pwgCELjCSxqrpkgop8AfF/j0/8NwM06ymk0ordxNJNWoLn0NpNWYPPo/XdmXjNZpziiBkNEM17CF01B9DaOZtIKNJfeZtIKiF4nsjQnCIIgBIo4IkEQBCFQxBE1nsYW8qg/ordxNJNWoLn0NpNWQPSWIHtEgiAIQqDIjEgQBEEIFHFEgiAIQqCYUgZiw6GzhvdAZRWPAsj5nTXcDZ31fBDARQB5qBIcCais51O2doHpJ6J+qOKHq8bzostP7eW0mmhnrTUKoFP/TNsz3XvV45fmtfSaZGMiigPoA3BL680y87ijjUm2rajXd9sysxx1PvQLMuk4NwEgaog2th3zAPpN0Q8grjXFa7Grn9o9aDXGzlClVrpsj8MA5gAMmmjfKvQGbmP9Pog7zmUBDBlqW696fbOtLM01hgSAtONcGkAqAC1u9AHoANDJzB3s+FaMAPQTUZSI0lBv7nyZZl50NVy7R62AWXaOsiqpAqBYhiXlGN8I+2q86AXMsLFboc4px3mTbOtFL+CnbevpaeUofiuYg+NbAdQ3OjZAWxQu3+BN0q/Hd5tlrKnLb+0VtBpjZ91nFkDYRSNbGkyxbxV6jbAx1Cwg5TiXglruMu6961Gvr7aVGVGd0Wurq74ps/pGByKKBqHLK6bq96LLVO1u+KlV9xnVR816/NLsRa8XfNQ7wMzOIp/9AN73qsPn90NFvV6ot14JVqg/EWDlBXEhCrWxFyRRvREMKL15Xpl2m6rfiy54aOOndmPszMwdLqfjUIEWOeuDwxT7rqXXPqYpNrYgokEAs8w8WoUOeGjTkPeui97imH7ZVhxR/QkHLWAN8gDApdFHE0RknTNVvxddJmlvBjsnAIzo35vBvna9gGE21h/afVrTgO2SkbatoBfw2bayNLfJYOYCO8JKYVYgxYbAdDvrb8F5l2/BRuKm1zQbM/NFZk4ASBJRVoc2G0slvX7bVhxRg9BrqM1CDmoaXtRsqn4vukzVDkPsrJfhEszc53LNOPtW0utC4DbWy1VpAJft5020LVBerwsNs604ovpjrYtG7CdtL1ig+0NENORy2tpwtK/rmqbfiy5jtBtu5xSAXsc5k+3rptd0G08BCOsbR022rYVdr++2FUdUZ/S3ixxWr6FGsHqj1Vf0N8uUS0SL9WbKmarfiy5TtJtsZ33/U9K5yWyqfcvpNcXGOuJtvsIyXNgk23rRG4RtxRE1himotBd2uvT5wNBvjoTLmyQOFTVj/bMbqR/edAWu3VQ7632WlF0XEcVtHzhG2beSXoNsHEbpjMbCsql1U64ptl1TbyC2rfbGIzk83TAWxurUF5MwI8VPv10HVm4edKZTCUw/XNKJeNXlt/YKWo2ys9YzqD8orCMOlb/NOPt61GuEjQEMYfXNt5Ow3TRqmG296PXVtlKPqEHoqe+zAK5DfduYZQOSngIlySR3Qr2ZSr516ja+6tdry8N6rH6ob2xTUG90ewjpmroarb0KrUbYWeudL3M5x8yd1ejxyb5e9Zpi40Go5KFrJT0N1LZV6vXNtuKIBEEQhECRPSJBEAQhUMQRCYIgCIEijkgQBEEIFHFEgiAIQqCIIxIEQRACRRyRIAiCECjiiARBEIRAEUckCIIgBIo4IqFp0XnHWN8lbixENEREk0HrCBIiShGR3D0vuCKOSBAazwGoPGmCILggjkjYcOhv384U9oGNy8wDzEx+6xGEZkEckbCh0Akzh6CyNW/4cQVhIyCOSBAEQQgUcUTChoGIJrBSPmBCBzLMO9r0E1FWX8tapZH1tZTVnojSRDRHRGFd1XJCV7ZkIpq0L8GtNa7bRj0Rdel+LB2Djuspq5Kmo53nGZfXPsroG9Ttw2X6K7GhtpE1xpwuIeCmydIyr9vFHderfn282kMwF3FEwkbiBQB9+vcEVJ2Vbuui/nCcgKodNABVR6jEqeh2WajKk2lW1SgTjv4jUEXCPI3rROvI6vH7ALwPIE2qLLadsNab1v1G9eNqqEcfbv2NOPqzjgHdrtwYf9dakvpx0f7reH2EZqeelf/kkMPPAyoSjQEM2s5F9Tm3qqnzsFWh1Oey1jkAKf3cyTXG7XKOsca4KfWvVqIjXeZviTu09Dv7gaO6ZgWdnvpw6tPnBsu1szQ6zg3ZzvXrc11rjGHZLF3P10eO5jtkRiRsCvRyVBjAkF72Yb0cZZWhtpNY1YENZp7Vv1YdmaeXmsJQswJ7n1MACliZUVjYq13OVTteHfuwM+PSn30Mq4pnpFInrKp9TgHoqefrIzQfW4IWIAg+YTmNbqgPfDt5+wN2lEMGistGz+p+1hMabj131Rj6XEnfXIelp3r04aG/WsfIQS2zrev1EZobcUTCZqH44VXtB5nOihCFWhqyZgPZ8s/wpCMKYNZxLYrS2cZmIAplk5pfH6H5kaU5YaORdzupl9MKUM6khEqRV3qjPA4gyczjuh+3D0rXcV2wHE3J8pKecVmBACZQNtiiXmi7xwFM1fr6CBsDmREJGwpmLhARACSsn8xsRbS9ABVebUWRhaEcQg5l9h2YOUdEBQAp3V8BKxFfXsd1tktARclFoCLmrNnWRb1X5DdzgMqJB7VnE4cKVqg72vZJrPzNBagIPKCG10fYGMiMSNiIjEJ9mKZgW/5i5otQ3/TDACahQolzcHEsDl6A2nif0H2Wm7W4juuEmcehwrat0OcE1IzLGajgFxeg9Fp/20407oP/fSjbT0LNIrutPad1vD5Ck0PMkhBXEARBCA6ZEQmCIAiBIo5IEARBCBRxRIIgCEKgiCMSBEEQAkUckSAIghAo4ogEQRCEQBFHJAiCIASKOCJBEAQhUMQRCYIgCIEijkgQBEEIlP8Ha1apGhaxhjcAAAAASUVORK5CYII=\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "import scipy.sparse.linalg\n",
    "%matplotlib inline\n",
    "import matplotlib.pyplot as plt\n",
    "import numpy as np\n",
    "import scipy as sp\n",
    "\n",
    "n = 300\n",
    "\n",
    "# ex = np.ones(n);\n",
    "# A = -sp.sparse.spdiags(np.vstack((ex,  -(2 + 1./n)*ex, (1 + 1./n) * ex)), [-1, 0, 1], n, n, 'csr') \n",
    "# rhs = np.random.randn(n)\n",
    "\n",
    "ee = sp.sparse.eye(n)\n",
    "A = -sp.sparse.spdiags(np.vstack((ex,  -(2 + 1./n)*ex, (1 + 1./n) * ex)), [-1, 0, 1], n, n, 'csr')\n",
    "A = sp.sparse.kron(A, ee) + sp.sparse.kron(ee, A)\n",
    "rhs = np.ones(n * n)\n",
    "\n",
    "print(\"Dimension of the linear system = {}\".format(A.shape[0]))\n",
    "\n",
    "res_all_bicg = []\n",
    "res_all_bicgstab = []\n",
    "def bicg_cl(x):\n",
    "    res_all_bicg.append(np.linalg.norm(A.dot(x) - rhs))\n",
    "\n",
    "def bicgstab_cl(x):\n",
    "    res_all_bicgstab.append(np.linalg.norm(A.dot(x) - rhs))\n",
    "\n",
    "sol2 = scipy.sparse.linalg.bicg(A, rhs, x0=np.zeros(A.shape[0]), callback=bicg_cl)\n",
    "sol2 = scipy.sparse.linalg.bicgstab(A, rhs, x0=np.zeros(A.shape[0]), callback=bicgstab_cl)\n",
    "res_all_bicg = np.array(res_all_bicg)/res_all_bicg[0]\n",
    "res_all_bicgstab = np.array(res_all_bicgstab)/res_all_bicgstab[0]\n",
    "\n",
    "lim = 350\n",
    "plt.semilogy(res_all_bicgstab[:lim], marker='.',color='k', label='BiCGStab')\n",
    "plt.semilogy(res_all_bicg[:lim], marker='x',color='r', label='BiCG')\n",
    "\n",
    "plt.xlabel('Iteration number', fontsize=20)\n",
    "plt.ylabel('Retative residual norm', fontsize=20)\n",
    "plt.legend(loc='best', fontsize=20)\n",
    "plt.xticks(fontsize=20)\n",
    "_ = plt.yticks(fontsize=20)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## \"Нелинейный GMRES\" или ускорение Андерсона\n",
    "\n",
    "- Мы можем применить идею похожую на идею метода GMRES для ускорения сходимости произвольного метода неподвижной точки\n",
    "\n",
    "$$x_{k+1} = \\Phi(x_k).$$\n",
    "\n",
    "- На самом деле такой подход был предложен задолго до метода GMRES, и известен в квантовой химии как \"Direct Inversion in Iterated Subspaces\", или **ускорение Андерсона**.\n",
    "\n",
    "- Идея: **используем историю** для обновления\n",
    "\n",
    "$$x_{k+1} = \\Phi(x_k) + \\sum_{s=1}^m \\alpha_s (x_{k - s} - \\Phi(x_{k - s})), $$\n",
    "\n",
    "а параметры $\\alpha_s$ выбираются так, чтобы минимизировать норму невязки\n",
    "\n",
    "$$ \\min_{\\alpha} \\left \\| \\sum_{s=1}^m \\alpha_s (x_{k - s} - \\Phi(x_{k - s})) \\right\\|_2, \\quad \\sum_{s=1}^m \\alpha_s = 1$$\n",
    "\n",
    "- Более подробно см. в [оригинальной работе](https://users.wpi.edu/~walker/Papers/Walker-Ni,SINUM,V49,1715-1735.pdf)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Борьба с числом обусловленности\n",
    "\n",
    "- Проблема большого числа обусловленности **непреодолима**, если доступна только процедура умножения матрицы на вектор.\n",
    "\n",
    "- Поэтому для её решения нам нужны **предобуславливатели**.\n",
    "\n",
    "- Существует несколько предобуславливателей, применимых для любой задачи, но часто для конкретной задачи нужен специально построенный предобуславливатель."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Предобусловливатель: концепция\n",
    "\n",
    "Дана линейная система \n",
    "\n",
    "$$A x = f,$$\n",
    "\n",
    "мы хотим найти матрицу $P_R$ и/или $P_L$ такую что \n",
    "\n",
    "1. Число обусловленности $AP_R^{-1}$ (правый предобуславливатель) или $P^{-1}_LA$ (левый предобуславливатель) или $P^{-1}_L A P_R^{-1}$ меньше, чем у $A$\n",
    "2. Мы можем быстро решать системы $P_Ly = g$ или $P_Ry = g$ для любых $g$ (иначе мы могли бы взять например $P_L = A$)\n",
    "\n",
    "- Тогда мы решаем следующую систему (для правого предобуславливателя)\n",
    "\n",
    "$$ AP_R^{-1} y = f \\quad \\Rightarrow \\quad P_R x = y$$ \n",
    "\n",
    "или (для левого предобуславливателя)\n",
    "\n",
    "$$ P_L^{-1} A x = P_L^{-1}f,$$ \n",
    "\n",
    "или для обоих \n",
    "\n",
    "$$ P_L^{-1} A P_R^{-1} y = P_L^{-1}f \\quad \\Rightarrow \\quad P_R x = y.$$ \n",
    "\n",
    "- Лучший выбор, конечно, $P = A$, но он не делает жизнь проще (почему?)\n",
    "\n",
    "- Одна из идей – это использовать другие итерационные меоды (помимо Крыловских) как предобуславливатели"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Другие итерационные методы как предобуславливатели\n",
    "\n",
    "Существуют другие итерационные методы, которые мы ещё не упоминали. \n",
    "\n",
    "1. Метод Якоби\n",
    "2. Метод Гаусса-Зейделя\n",
    "3. SOR($\\omega$) (Successive over-relaxation) и его симметричная модификация SSOR($\\omega$)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Метод Якоби (как предобуславливатель)\n",
    "\n",
    "Рассмотрим матрицу с ненулевой диагональю. Для получения **метода Якоби** выразим диагональный элемент:\n",
    "\n",
    "$$a_{ii} x_i = -\\sum_{i \\ne j} a_{ij} x_j + f_i$$\n",
    "\n",
    "и используем это выражение для обновления $x_i$:\n",
    "\n",
    "$$ x_i^{(k+1)} = -\\frac{1}{a_{ii}}\\left( \\sum_{i \\ne j} a_{ij} x_j^{(k)} + f_i \\right),$$\n",
    "\n",
    "или в матричной форме\n",
    "\n",
    "$$ x^{(k+1)} = D^{-1}\\left((D-A)x^{(k)} + f\\right) $$\n",
    "\n",
    "где $D = \\mathrm{diag}(A)$ и наконец\n",
    "\n",
    "$$ x^{(k+1)} = x^{(k)} - D^{-1}(Ax^{(k)} - f). $$\n",
    "\n",
    "- Метод Якоби – это метод Ричардсона с $\\tau=1$ и левым предобуславливателем $P = D$ – диагональной матрицей. \n",
    "- Поэтому мы будем называть $P = \\mathrm{diag}(A)$ **предобуславливаталем Якоби**. \n",
    "- Отметим, что он может быть использован для других методов, например для метода Чебышёва или Крыловских методов."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Свойства предобуславливателя Якоби\n",
    "\n",
    "Предобуславливатель Якоби:\n",
    "\n",
    "1. Очень прост для вычисления и использования\n",
    "2. Хорошо работает для матриц с диагональным преобладанием (вспомните теорему о кругах Гершгорина!)\n",
    "3. Бесполезен, если все диагональные элементы одинаковы (пропорционален единичной матрице)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Метод Гаусса-Зейделя (как предобуславливатель)\n",
    "\n",
    "- Другой хорошо известный метод – это **метод Гаусса-Зейделя**. \n",
    "\n",
    "- Его каноническая форма очень похожа на метод Якоби с одним небольшим отличием. Когда мы обновляем $x_i$\n",
    "\n",
    "$$x_i^{(k+1)} := -\\frac{1}{a_{ii}}\\left( \\sum_{j =1}^{i-1} a_{ij} x_j^{(k+1)} +\\sum_{j = i+1}^n a_{ij} x_j^{(k)} - f_i \\right)$$\n",
    "\n",
    "мы **используем последние обновления предыдущих компонент**. В методе Якоби мы использовали весь вектор с прошлой итерации.\n",
    "\n",
    "- Его матричная форма более сложная."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Метод Гаусса-Зейделя: матричная форма\n",
    "\n",
    "- Пусть дана матрица $A = A^{*} > 0$, для которой справедливо следующее представление  \n",
    "\n",
    "$$A = L + D + L^{*},$$\n",
    "\n",
    "где $D$ – диагональная часть матрицы $A$, $L$ – нижнетреугольная часть с нулями на диагонали.\n",
    "\n",
    "- Одна итерация метода Гаусса-Зейделя записывается следующим образом\n",
    "\n",
    "$$ x^{(k+1)} = x^{(k)} - (L + D)^{-1}(Ax^{(k)} - f) $$\n",
    "\n",
    "и приводит нас к предобуславливателю $P = L+D$, который мы будем называть **предобуславливатель Гаусса-Зейделя**.\n",
    "\n",
    "- **Хорошая новость:** $\\rho(I - (L+D)^{-1} A) < 1, $ где $\\rho$ – спектральный радиус, то есть для симметричной положительно определённой матрицы метод Гаусса-Зейделя сходится."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Метод Гаусса-Зейделя и координатный спуск\n",
    "\n",
    "- Метод Гаусса-Зейделя может быть рассмотрен как координатный спуск применённый к функционалу энергии\n",
    "\n",
    "$$F(x) = (Ax, x) - 2(f, x).$$\n",
    "\n",
    "- Одна итерация примет вид \n",
    "\n",
    "$$x_i := \\arg \\min_z F(x_1, \\ldots, x_{i-1}, z, x_{i+1}, \\ldots, x_d).$$\n",
    "\n",
    "- Порядок исключения переменных очень важен!"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Successive overrelaxation (как предобуславливатель)\n",
    "\n",
    "Далее добавим параметр $\\omega$ в предобуславливатель Гаусса-Зейделя и получим метод **successive over-relaxation** (**SOR($\\omega$)**):\n",
    "\n",
    "$$ x^{(k+1)} = x^{(k)} - \\omega (D + \\omega L)^{-1}(Ax^{(k)} - f). $$\n",
    "\n",
    "$$P = \\frac{1}{\\omega}(D+\\omega L).$$\n",
    "\n",
    "- Сходится для $0<\\omega < 2$. \n",
    "- Оптимальный выбор $\\omega$ – нетривиальная задача. Если метод Якоби сходится, то\n",
    "\n",
    "$$\\omega^* = \\frac{2}{1 + \\sqrt{1 - \\rho_J^2}},$$ \n",
    "\n",
    "где $\\rho_J$ – спектральный радиус в методе Якоби.\n",
    "- Отметим, что $\\omega = 1$ даёт предобуславливатель Гаусса-Зейделя.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Предобуславливатели для разреженных матриц\n",
    "\n",
    "- Если $A$ разрежена, то стоимость одной итерации метода Якоби, Гаусса-Зейделя и SOR низкая (какая сложность?). \n",
    "\n",
    "- В методе Гаусса-Зейделя нам нужно решить систему лийненых уравнений с треугольной матрицей $L$, что стоит $\\mathcal{O}(nnz)$ операций.\n",
    "\n",
    "- Однако для разреженных матриц есть более сложные и эффективные алгоритмы, основанные на идее **приближённого LU разложения**.\n",
    "\n",
    "- Вспомним мотивацию в методе CG: возможность ранней остановки\n",
    "- Как можно приблизить LU разложение для разреженной матрицы?"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Вспомним метод Гаусса\n",
    "\n",
    "\n",
    "- Представить матрицу $A$ в виде \n",
    "\n",
    "$$A = P_1 L U P^{\\top}_2, $$\n",
    "\n",
    "где $P_1$ и $P_2$ определённые матрицы перестановок, с помощью которых производится выбор ведущего элемента\n",
    "\n",
    "- Наиболее естественная идея – это использовать разреженные факторы $L$ и $U$\n",
    "\n",
    "- Это невозможно из-за роста заполнения факторов для матриц, получаемых из дифференциальных уравнения в частных производных\n",
    "\n",
    "- Что с этим делать?"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Неполное LU разложение\n",
    "\n",
    "- Пусть вы хотите исключить переменную $x_1$ в следующих уравнениях\n",
    "\n",
    "$$5 x_1 + x_4 + x_{10} = 1, \\quad 3 x_1 + x_4 + x_8 = 0, \\ldots,$$\n",
    "\n",
    "и во всех других уравнениях $x_1$ отсутствует. \n",
    "\n",
    "- После исключения только $x_{10}$ дополнительно войдёт во второе уравнение (новый ненулевой элемент)\n",
    "\n",
    "$$x_4 + x_8 + 3(1 - x_4 - x_{10})/5 = 0.$$\n",
    "\n",
    "- В случае использования неполного $LU$ разложения (на самом деле, ILU(0)) мы просто отбрасываем новый ненулевой элемент."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Неполное LU разложение: формальное определение\n",
    "\n",
    "Используем стандартный цикл для LU разложения, но избегаем вставки новых ненулевых элементов в факторы. \n",
    "\n",
    "```python\n",
    "    L = np.zeros((n, n))\n",
    "    U = np.zeros((n, n))\n",
    "    for k in range(n): #Eliminate one row   \n",
    "        L[k, k] = 1\n",
    "        for i in range(k+1, n):\n",
    "            L[i, k] = a[i, k] / a[k, k]\n",
    "            for j in range(k+1, n):\n",
    "                a[i, j] = a[i, j] - L[i, k] * a[k, j]  #New fill-ins appear here\n",
    "        for j in range(k, n):\n",
    "            U[k, j] = a[k, j]\n",
    "```"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## ILU(k)\n",
    "\n",
    "- Yousef Saad (автор метода GMRES) также является автором [работы](https://www-users.cs.umn.edu/~saad/PDF/umsi-92-38.pdf) о **неполном LU разложении**\n",
    "\n",
    "- Хорошая книга по этой теме – [Iterative methods for sparse linear systems](https://www-users.cs.umn.edu/~saad/IterMethBook_2ndEd.pdf), Y. Saad, 1996\n",
    "\n",
    "- Он также предложил метод **ILU(k)**, который имеет красивую интерпретацию в терминах графов."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## ILU(k): идея\n",
    "\n",
    "- Идея ILU(k) основана на связи между разреженными матрицами и графами.\n",
    "\n",
    "- Пусть дана матрица $n \\times n$ и соответствующий её граф\n",
    "\n",
    "- Тогда при исключении одной переменной (вершины) мы получим меньшую систему размера $(n-1) \\times (n-1)$.\n",
    "\n",
    "- Новое ребро (=новый ненулевой элемент) возникнет между соседями."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## LU & графы\n",
    "\n",
    "- Новое ребро может возникнуть только между вершинами, у которых есть общие соседи: это означает, что они соседи второго порядка (соседи соседей)\n",
    "- Это также шаблон разреженности матрицы $A^2$.\n",
    "- Идея **ILU(k)** состоит в том, чтобы оставить в факторах $L$ и $U$ те ненулевые элементы, которые соответствуют соседям $k$-го порядка в исходном графе\n",
    "- Метод ILU(2) очень эффективен, но по каким-то причинам игнорируется (например, его реализации нет ни в MATLAB, ни в SciPy).\n",
    "- Есть оригинальный пакет [Sparsekit](https://people.sc.fsu.edu/~jburkardt/f_src/sparsekit/sparsekit.html) написанный Saad'ом, который работает достаточно хорошо."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## ILU Thresholded (ILUT)\n",
    "\n",
    "- Гораздо более популярный подход основан на так называемом **thresholded LU**.\n",
    "\n",
    "- Вы проводите стандартное исключение Гаусса с заполнением, но не учитываете элементы, которые меньше заданного порога (threshold), и/или контролируете количество ненулевых элементов, которые вы разрешаете хранить.\n",
    "\n",
    "- Чем меньше значение порога, тем лучше предобуславливатель, но больше памяти требуется.\n",
    "\n",
    "- Этот метод обозначается ILUT($\\tau$)."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Случай симметричной положительно определённой матрицы\n",
    "\n",
    "- В этом случае вместо неполного LU разложения, нужно использовать неполное разложение Холецкого, которое вдвое быстрее и требует вдвое меньше памяти."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### LU разложение второго порядка\n",
    "\n",
    "- Существует более эффективный (но менее популярный в силу отсутствия удобной реализации с открытым кодом) метод под названием LU разложение второго порядка, [предложенное И. Капориным](http://www.researchgate.net/profile/I_Kaporin/publication/242940993_High_quality_preconditioning_of_a_general_symmetric_positive_definite_matrix_based_on_its_UTU__UTR__RTU-decomposition/links/53f72ad90cf2888a74976f54.pdf)\n",
    "\n",
    "- Идея заключается в представлении матрицы в виде\n",
    "\n",
    "$$A \\approx U_2 U^{\\top}_2 + U^{\\top}_2 R_2 + R^{\\top}_2 U_2,$$\n",
    "\n",
    "что является разложением $UU^{\\top}$ по отношению к возмущению $U$. \n",
    "\n",
    "- $U_1$ и $U_2$ верхнетреугольные и разреженные, в то время как матрица $R_2$ мала.\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Итерационные методы для других задач NLA \n",
    "\n",
    "- До сих пор мы обсуждали исключительно задачу решения системы линейных уравнений\n",
    "\n",
    "- В то же время существуют другие важные задачи большой размерности:\n",
    "\n",
    "    1. (Частичная) задача на собственные значения: $Ax_k = \\lambda_k x_k.$\n",
    "    2. (Частичное) вычисление SVD: $A v_k = \\sigma_k u_k, \\quad A^* u_k = \\sigma_k v_k$.\n",
    "\n",
    "- Предварительное замечание об этих задачах:\n",
    "    - **Найти все собственные/сингулярные значения матрицы – очень сложная задача** (почему?)\n",
    "\n",
    "    - Но возможно решить **частичную задачу на собственные значения**. \n",
    "\n",
    "    - Напомним, что алгоритм вычисления SVD был основан на симметричной задаче на собственные значения."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Резюме по первой части\n",
    "\n",
    "- Методы MINRES, BiCG и BiCGStab \n",
    "- Предобуславливатели: метод Якоби, Гаусса-Зейделя и SOR($\\omega$)\n",
    "- Неполное LU разложение и его варианты"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "## Часть 2:  итерационные методы для задач на собственные значения большой размерности"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Частичная задача на собственные значения\n",
    "\n",
    "- Напомним, что для поиска собственных значений матрицы $N\\times N$ можно использовать например QR алгоритм.\n",
    "\n",
    "- Однако в некоторых приложениях матрицы настолько большие, что мы даже не можем их хранить в памяти \n",
    "\n",
    "- Обычно такие матрицы даны в виде **чёрного ящика**, который позволяет только умножить эту матрицу на вектор. Далее рассмотрим именно этот случай.\n",
    "\n",
    "- Лучшее что мы можем сделать это решить частичную задачу на собственные значения, то есть\n",
    "\n",
    "    - Найти $k\\ll N$ наименьших или наибольших собственных значений (и собственных векторов, если необходимо)\n",
    "    - Найти $k\\ll N$ собственных значений, ближайших к заданному числу $\\sigma$\n",
    "\n",
    "- Для простоты рассмотрим случай нормальной матрицы, которая имеет ортонормированный базис из собственных векторов. \n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Степенной метод и его аналоги\n",
    "\n",
    "#### Степенной метод: напоминание\n",
    "\n",
    "- Простейший метод для поиска максимального по модулю собственного значения – это **степенной метод**\n",
    "\n",
    "$$ x_{i+1} = \\frac{Ax_{i}}{\\|Ax_{i}\\|_2}. $$\n",
    "\n",
    "- Сходимость линейная с коэффициентом $q = \\left|\\frac{\\lambda_1}{\\lambda_2}\\right|$."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "#### Метод обратной итерации: напоминание\n",
    "\n",
    "- Для поиска наименьшего собственного значения можно запустить степенной метод для матрицы $A^{-1}$:\n",
    "\n",
    "$$x_{i+1} = \\frac{A^{-1}x_{i}}{\\|A^{-1}x_{i}\\|}.$$\n",
    "\n",
    "- Для ускорения сходимости может быть использована стратегия <font color='red'>shift-and-invert</font>:\n",
    "\n",
    "$$x_{i+1} = \\frac{(A-\\sigma I)^{-1}x_{i}}{\\|(A-\\sigma I)^{-1}x_{i}\\|},$$\n",
    "\n",
    "где $\\sigma$ должна лежать близко от целевого собственного значения."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "#### Метод Релея\n",
    "\n",
    "- Для получения сверхлинейной сходимости можно воспользоваться адаптивными сдвигами:\n",
    "\n",
    "$$x_{i+1} = \\frac{(A-R(x_i) I)^{-1}x_{i}}{\\|(A-R(x_i) I)^{-1}x_{i}\\|},$$\n",
    "\n",
    "где $R(x_k) = \\frac{(x_i, Ax_i)}{(x_i, x_i)}$ соотношение Релея. \n",
    "\n",
    "- Метод сходится **кубически для эрмитовых матриц** и квадратично в противном случае."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Неточный метод обратной итерации\n",
    "\n",
    "- Матрицы $(A- \\sigma I)$ также как $(A-R(x_i) I)$ плохо обусловлены, если $\\sigma$ или $R(x_i)$ близки к собственным значениям.\n",
    "\n",
    "- Поэтому если у вас нет LU разложения этой матрицы, то могут возникнуть проблемы при решении систем на каждой итерации\n",
    "\n",
    "- На практике вы можете решать системы только с некоторой точностью. Напомним также, что число обусловленности даёт оценку сверху и может быть завышенной для подходящих правых частей. Поэтому даже в методе Релея близость сдвига к собственному значению существенно [не ухудшает](http://www.sciencedirect.com/science/article/pii/S0024379505005756) сходимость итерационного метода.\n",
    "\n",
    "- Если точность решения системы возрастает от итерации к итерации, сверхлинейная сходимость для метода Релея также присутствует, см [Theorem 2.1](http://www.sciencedirect.com/science/article/pii/S0024379505005756). Иначе вы получите только линейную сходимость."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "Перед тем как мы перейдём к продвинутым методам, обсудим важную концепцию **аппроксимации Ритца**."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Аппроксимация Ритца\n",
    "\n",
    "- Для данного подпространства натянутого на столбцы унитарной матрицы $Q_k$ размера $N\\times k$ рассмотрим спроецированную матрицу $Q_k^* A Q_k$.\n",
    "\n",
    "- Пусть $\\Theta_k=\\mathrm{diag}(\\theta_1,\\dots,\\theta_k)$ и $S_k=\\begin{bmatrix}s_1 & \\dots & s_k \\end{bmatrix}$ матрицы собственных значений и собственных векторов для матрицы $Q_k^* A Q_k$: \n",
    "\n",
    "$$(Q_k^* A Q_k)S_k = S_k \\Theta_k$$\n",
    "\n",
    "тогда $\\{\\theta_i\\}$ называются **числами Ритца** и $y_i = Q_k s_i$ - **векторы Ритца**."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Свойства аппроксимации Ритца\n",
    "\n",
    "- Заметим, что числа и векторы Ритца не являются собственными значениями и собственными векторами исходной матрицы $AY_k\\not= Y_k \\Theta_k$, но выполнено следующее равенство:\n",
    "\n",
    "    $$Q_k^* (AY_k - Y_k \\Theta_k) = Q_k^* (AQ_k S_k - Q_k S_k \\Theta_k) = 0,$$\n",
    "\n",
    "   таким образом невязка для аппроксимации Ритца **ортогональна** подпространству, натянутому на столбцы $Q_k$."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- $\\lambda_\\min(A) \\leq \\theta_\\min \\leq \\theta_\\max \\leq \\lambda_\\max(A)$. Действительно, используя отношение Релея:\n",
    "\n",
    "    $$\\theta_\\min = \\lambda_\\min (Q_k^* A Q_k) = \\min_{x\\not=0} \\frac{x^* (Q_k^* A Q_k) x}{x^* x} = \\min_{y\\not=0:y=Q_k x} \\frac{y^*  A y}{y^* y}\\geq \\min_{y\\not= 0} \\frac{y^*  A y}{y^* y} = \\lambda_\\min(A).$$\n",
    "\n",
    "- Очевидно, что $\\lambda_\\min (Q_k^* A Q_k) = \\lambda_\\min(A)$, если $k=N$, но мы хотим построить базис размера $k\\ll N$ такой что $\\lambda_\\min (Q_k^* A Q_k) \\approx \\lambda_\\min(A)$.\n",
    "\n",
    "- Таким же образом можно показать, что $\\theta_\\max \\leq \\lambda_\\max(A)$."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### <font color='red'>Метод Релея-Ритца</font>\n",
    "\n",
    "Таким образом, если подпространство $V$ приближает первые $k$ собственных векторов, тогда вы можете использовать **метод Релея-Ритца**:\n",
    "\n",
    "1. Найти ортонормированный базис $Q_k$ в $V$ (например с помощью QR разложения)\n",
    "2. Вычислить $Q_k^*AQ_k$\n",
    "3. Вычислить вектора и числа Ритца\n",
    "4. Заметим, что также можно использовать $V$ без ортогонализации, но в этом случае нужно будет решать обобщённую задачу на собственные векторы $(V^*AV)s_i = \\theta_i (V^*V)s_i$.\n",
    "\n",
    "Вопрос в том, как найти хорошее подпространство $V$?"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "#### Какое подпространство мы будем использовать?"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "#### Метод Ланцоша и Арнольди\n",
    "\n",
    "- Хорошим выбором $V$ будет Крыловское подпространство.\n",
    "\n",
    "- Напомним, что в степенном методе мы использовали только один Крыловский вектор\n",
    "\n",
    "$$x_k = \\frac{A^k x_0}{\\|A^k x_0\\|}.$$\n",
    "\n",
    "- В этом случае $\\theta_k = \\frac{x_k^* A x_k}{x_k^* x_k}$ есть ни что иное как число Ритца. Естественная идея – использовать Крыловское пространство большей размерности.\n",
    "\n",
    "- В результате мы найдём больше собственных значений, а также сходимость к собственному вектору для $\\lambda_\\max$ будет быстрее, чем в степенном методе."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Для эрмитовой матрицы из соотношения Арнольди следует, что \n",
    "\n",
    "$$ Q_k^*AQ_k = T_k, $$\n",
    "\n",
    "где $Q_k$ ортогональный базис в Крыловском подпространстве, сгенерированный процессом Ланцоша и $T_k$ трёхдиагональная матрица.\n",
    "\n",
    "- В соответствии с методом Релея-Ритца мы ожидаем, что собственные значения $T_k$ приближают собственные значения матрицы $A$. \n",
    "- Этот метод называется **методом Ланцоша**. \n",
    "- Для несимметричных матриц он называется **методом Арнольди** и вместо трёхдиагональной матрицы мы получим верхне-гессенбергову матрицу.\n",
    "\n",
    "Давайте теперь покажем, что  $\\theta_\\max \\approx\\lambda_\\max$."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Почему $\\theta_\\max \\approx \\lambda_\\max$?\n",
    "\n",
    "- Обозначим $\\theta_1 \\equiv \\theta_\\max$ и $\\lambda_1 \\equiv \\lambda_\\max$. Тогда\n",
    "\n",
    "$$ \\theta_1 = \\max_{y\\in \\mathcal{K}_i, y\\not=0}\\frac{(y,Ay)}{(y,y)} = \\max_{p_{i-1}} \\frac{(p_{i-1}(A)x_0, A p_{i-1}(A)x_0)}{(p_{i-1}(A)x_0, p_{i-1}(A)x_0)}, $$\n",
    "\n",
    "где $p_{i-1}$ полином степени не выше $i-1$ такой что $p_{i-1}(A)x_0\\not=0$.\n",
    "\n",
    "- Разложим $x_0 = \\sum_{j=1}^N c_j v_j$, где $v_j$ собственные векторы $A$ (которые образуют ортонормированный базис).\n",
    "\n",
    "- Поскольку $\\theta_1 \\leq \\lambda_1$ получим\n",
    "\n",
    "$$ \\lambda_1 - \\theta_1 \\leq \\lambda_1 - \\frac{(p_{i-1}(A)x_0, A p_{i-1}(A)x_0)}{(p_{i-1}(A)x_0, p_{i-1}(A)x_0)} $$\n",
    "\n",
    "для любого полинома $p_{i-1}$. Таким образом\n",
    "\n",
    "\\begin{align*}\n",
    "\\lambda_1 - \\theta_1 &\\leq \\lambda_1 - \\frac{\\sum_{k=1}^N \\lambda_k |p_{i-1}(\\lambda_k)|^2 |c_k|^2}{\\sum_{k=1}^N |p_{i-1}(\\lambda_k)|^2 |c_k|^2} = \\frac{\\sum_{k=2}^N (\\lambda_1 - \\lambda_k) |p_{i-1}(\\lambda_k)|^2 |c_k|^2}{|p_{i-1}(\\lambda_1)|^2 |c_1|^2 + \\sum_{k=2}^N |p_{i-1}(\\lambda_k)|^2 |c_k|^2} \\\\\n",
    "& \\leq (\\lambda_1 - \\lambda_n) \\frac{\\max_{2\\leq k \\leq N}|p_{i-1}(\\lambda_k)|^2}{|p_{i-1}(\\lambda_1)|^2 }\\gamma, \\quad \\gamma = \\frac{\\sum_{k=2}^N|c_k|^2}{|c_1|^2}\n",
    "\\end{align*}\n",
    "\n",
    "- Так как неравенство выполнено для любого полинома $p_{i-1}$, мы выберем полином: \n",
    "\n",
    "$$|p_{i-1}(\\lambda_1)| \\gg \\max_{2\\leq k \\leq N}|p_{i-1}(\\lambda_k)|.$$\n",
    "\n",
    "- Это неравенство выполнено например для полиномов Чебышёва на $[\\lambda_n,\\lambda_2]$. \n",
    "- В итоге $\\theta_1 \\approx \\lambda_1$ или более точно:\n",
    "\n",
    "$$\n",
    "    \\lambda_1 - \\theta_1 \\leq \\frac{\\lambda_1 - \\lambda_n}{T_{i-1}^2(1 + 2\\mu)}\\gamma, \\quad \\mu = \\frac{\\lambda_1 - \\lambda_2}{\\lambda_2 - \\lambda_n},\n",
    "$$\n",
    "\n",
    "где $T_{i-1}$ – полином Чебышёва."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Демо: аппроксимация максимального собственного значения с помощью метода Ланцоша"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "k=10, err = 0.11387008883297511\n",
      "k=20, err = 0.03027433041780192\n",
      "k=100, err = 1.6054713114499464e-09\n"
     ]
    }
   ],
   "source": [
    "import scipy as sp\n",
    "import scipy.sparse\n",
    "from scipy.sparse import csc_matrix, csr_matrix\n",
    "import matplotlib.pyplot as plt\n",
    "import scipy.linalg\n",
    "import scipy.sparse.linalg\n",
    "import copy\n",
    "n = 40\n",
    "ex = np.ones(n)\n",
    "lp1 = sp.sparse.spdiags(np.vstack((ex,  -2*ex, ex)), [-1, 0, 1], n, n, 'csr')\n",
    "e = sp.sparse.eye(n)\n",
    "A = sp.sparse.kron(lp1, e) + sp.sparse.kron(e, lp1)\n",
    "\n",
    "def lanczos(A, m):\n",
    "    n = A.shape[0]\n",
    "    v = np.random.random((n, 1))\n",
    "    v = v / np.linalg.norm(v)\n",
    "    v_old = np.zeros((n, 1))\n",
    "    beta = np.zeros(m)\n",
    "    alpha = np.zeros(m)\n",
    "    for j in range(m-1):\n",
    "        w = A.dot(v)\n",
    "        alpha[j] = w.T.dot(v)\n",
    "        w = w - alpha[j] * v - beta[j] * v_old\n",
    "        beta[j+1] = np.linalg.norm(w)\n",
    "        v_old = v.copy()\n",
    "        v = w / beta[j+1]\n",
    "    w = A.dot(v)\n",
    "    alpha[m-1] = w.T.dot(v)\n",
    "    A = np.diag(beta[1:], k=-1) + np.diag(beta[1:], k=1) + np.diag(alpha[:], k=0)\n",
    "    l, _ = np.linalg.eigh(A)\n",
    "    return l\n",
    "\n",
    "# Approximation of the largest eigenvalue for different k\n",
    "l_large_exact = sp.sparse.linalg.eigsh(A, k=99, which='LM')[0][0]\n",
    "print('k=10, err = {}'.format(np.abs(l_large_exact - lanczos(A, 10)[0])))\n",
    "print('k=20, err = {}'.format(np.abs(l_large_exact - lanczos(A, 20)[0])))\n",
    "print('k=100, err = {}'.format(np.abs(l_large_exact - lanczos(A, 100)[0])))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Устойчивость\n",
    "\n",
    "- Векторы Ланцоша могут терять ортогональность в процессе вычисления из-за арифметики с плавающей точкой, поэтому все практически полезные реализации используют **рестарты**.\n",
    "\n",
    "- Очень хорошее введение в тему содержится в книге **Matrix Computations** авторов G. Golub и Ch. Van-Loan."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "#### Другие недостатки метода Ланцоша\n",
    "\n",
    "- Применение метода Ланцоша напрямую к матрице $A$ может привести к очень медленной сходимости, если  $\\lambda_i\\approx \\lambda_{i+1}$ (обычно это происходит для наименьших собственных значений, которые плохо разделены)\n",
    "\n",
    "- Для ускорения сходимости можно применить метод Ланцоша к матрице $(A-\\sigma I)^{-1}$, но в этом случае системы должны решаться **очень точно**. В противном случае соотношение Арнольди перестанет выполняться.\n",
    "\n",
    "Альтернативой этому подходу являются так называемые предобусловленные итерационные методы, например:\n",
    "1. PINVIT (Предобусловленный метод обратной итерации)\n",
    "2. LOBPCG (локально оптимальный блочный предобусловленный метод сопряжённых градиентов)\n",
    "3. Метод Якоби-Дэвидсона (Jacobi-Davidson method)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### PINVIT (предобусловленный метод обратной итерации)\n",
    "\n",
    "#### Получение метода\n",
    "\n",
    "- Рассмотрим отношение Релея $R(x) = \\frac{(x,Ax)}{(x,x)}$. Тогда\n",
    "\n",
    "$$ \\nabla R(x) = \\frac{2}{(x,x)} (Ax - R(x) x), $$\n",
    "\n",
    "и простейший метод градиентного спуска с предобуславливателем $B$ записывается в виде\n",
    "\n",
    "$$ x_{i+1} = x_{i} - \\tau_i B^{-1} (Ax_i - R(x_i) x_i), $$\n",
    "\n",
    "$$ x_{i+1} = \\frac{x_{i+1}}{\\|x_{i+1}\\|}. $$\n",
    "\n",
    "- Обычно $B\\approx A-\\sigma I$, где $\\sigma$ обозначает сдвиг.\n",
    "\n",
    "- Чем $\\sigma$ ближе к необходимому собственному значению, тем быстрее сходимость."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Параметр $\\tau_k$ выбирается так, чтобы минимизировать $R(x_{i+1})$ по $\\tau_k$ (метод наискорейшего спуска).\n",
    "\n",
    "- Эта процедура минимизации может быть рассмотрена как минимизация в базисе $V = [x_i, r_i]$, где $r_{i}=B^{-1} (Ax_i - R(x_i) x_i)$.\n",
    "\n",
    "- Это приводит к обобщённой задаче на собственные значения $(V^*AV)\\begin{bmatrix}1 \\\\ -\\tau_i \\end{bmatrix} = \\theta (V^*V) \\begin{bmatrix}1 \\\\ -\\tau_i \\end{bmatrix}$ (процедура Релея-Ритца без ортогонализации $V$). Здесь $\\theta$ – ближайшее число к требуемому собственному значению."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": true,
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "#### Сходимость\n",
    "\n",
    "**Теорема** ([Knyazev и Neymeyr](http://www.sciencedirect.com/science/article/pii/S002437950100461X)) \n",
    "\n",
    "Пусть \n",
    "- $R(x_{i})\\in [\\lambda_j,\\lambda_{j+1}]$\n",
    "- $R(x_{i+1})\\in [R(x_{i}),\\lambda_{j+1}]$ (случай $R(x_{i+1})\\in [\\lambda_{j}, R(x_{i})]$ аналогичен)\n",
    "- $\\|I - B^{-1} A\\|_A \\leq \\gamma < 1$\n",
    "\n",
    "тогда\n",
    "\n",
    "$$\n",
    "\\left|\\frac{R(x_{i+1}) - \\lambda_j}{R(x_{i+1}) - \\lambda_{j+1}}\\right| < \\left[ 1 - (1-\\gamma)\\left(1 - \\frac{\\lambda_j}{\\lambda_{j+1}}\\right) \\right]^2 \\cdot \\left|\\frac{R(x_{i}) - \\lambda_j}{R(x_{i}) - \\lambda_{j+1}}\\right|\n",
    "$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "#### Блочный случай\n",
    "\n",
    "- Для поиска $k$ собственных значений можно делать один шаг метода PINVIT для каждого вектора:\n",
    "\n",
    "\n",
    "$$ x^{(j)}_{i+1} = x^{(j)}_{i} - \\tau^{(j)}_i B^{-1} (Ax^{(j)}_i - R(x^{(j)}_i) x^{(j)}_i), \\quad j=1,\\dots,k $$\n",
    "\n",
    "$$ x^{(j)}_{i+1} = \\frac{x^{(j)}_{i+1}}{\\|x^{(j)}_{i+1}\\|}. $$\n",
    "\n",
    "- После чего ортогонализовать их с помощью QR разложения. Однако лучше использовать процедуру Релея-Ритца:\n",
    "\n",
    "    - Пусть $X^{i}_k = [x^{(1)}_{i},\\dots, x^{(k)}_{i}]$ и $R^{i}_k = [B^{-1}r^{(1)}_{i},\\dots, B^{-1}r^{(k)}_{i}]$, где $r^{(j)}_{i} = Ax^{(j)}_i - R(x^{(j)}_i) x^{(j)}_i$\n",
    "    - $V = [X^{i}_k, R^{i}_k]$, используем процедуру Релея-Ритца для $V$, чтобы найти новый $X^{i+1}_k$."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## LOBPCG (локально оптимальный блочный предобусловленный метод CG)\n",
    "\n",
    "### Локально оптимальный предобусловленный метод  СG (пока ещё не блочный)\n",
    "\n",
    "LOPCG метод\n",
    "\n",
    "$$ x_{i+1} = x_{i} - \\alpha_i B^{-1} (Ax_i - R(x_i) x_i) + \\beta_i x_{i-1} , $$\n",
    "\n",
    "$$ x_{i+1} = \\frac{x_{i+1}}{\\|x_{i+1}\\|} $$\n",
    "\n",
    "превосходит метод PINVIT, поскольку он добавляет в базис не только $x_i$ и $r_i$, но также $x_{i-1}$.\n",
    "\n",
    "Однако такая интерпретация ведёт к неустойчивому алгоритму, так как $x_{i}$ ставновится коллинеарен $x_{i-1}$ вместе со сходимостью метода."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### LOPCG (устойчивая версия)\n",
    "\n",
    "- A. Knyazev предложил эквивалентную устойчивую версию, которая вводит новые векторы $p_i$ (сопряжённые градиенты)\n",
    "\n",
    "$$ p_{i+1} = r_{i} + \\beta_i p_{i}, $$\n",
    "\n",
    "$$ x_{i+1} = x_{i} + \\alpha_i p_{i+1}. $$\n",
    "\n",
    "- Можно показать, что $\\mathcal{L}(x_{i},x_{i-1},r_{i})=\\mathcal{L}(x_{i},p_{i},r_{i})$."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "Устойчивая версия объясняет название метода:\n",
    "\n",
    "- В стандартном методе CG мы бы минимизировали отношение Релея $R$ по направлению сопряжённого направления $p_{i+1}$: \n",
    "\n",
    "$$\\alpha_i = \\arg\\min_{\\alpha_i} R(x_i + \\alpha_i p_{i+1}).$$\n",
    "\n",
    "- В локально оптимальном CG мы минимизируем по отношению к двум параметрам:  \n",
    "\n",
    "$$\\alpha_i, \\beta_i = \\arg\\min_{\\alpha_i,\\beta_i} R\\left(x_i + \\alpha_i p_{i+1}\\right) = \\arg\\min_{\\alpha_i,\\beta_i} R\\left(x_i + \\alpha_i (r_{i} + \\beta_i p_{i})\\right)$$\n",
    "\n",
    "и получаем локально более оптимальное решение. Поэтому метод называется **локально оптимальным**.\n",
    "\n",
    "- По аналогии с методом PINVIT коэффициенты $\\alpha_i,\\beta_i$ можно найти из процедуру Релея-Ритца."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Локально оптимальный <font color='red'> блочный </font> предобусловленный метод CG\n",
    "\n",
    "- В блочной версии по аналогии с методом PINVIT на каждой итерации дан базис $V=[X^{(i)}_k,B^{-1}R^{(i)}_k, P^{(i)}_k]$ и используется процедура Релея-Ритца.\n",
    "\n",
    "Общая схема алгоритма:\n",
    "\n",
    "1. Найти $\\tilde A = V^* A V$\n",
    "2. Найти $\\tilde M = V^*V$\n",
    "3. Решить обобщённую задачу на собственные значения $\\tilde A S_k = \\tilde M S_k \\Theta_k$\n",
    "4. $P^{(i+1)}_{k} = [B^{-1}R^{(i)}_k, P^{(i)}_k]S_k[:,k:]$\n",
    "5. $X^{(i+1)}_{k} = X^{(i)}_k S_k[:,:k] + P^{(i+1)}_{k}$ (аналогично для $X^{(i+1)}_{k} = VS_k$)\n",
    "6. Вычислить новое значение $B^{-1}R^{(i+1)}_k$\n",
    "7. Задать $V=[X^{(i+1)}_k,B^{-1}R^{(i+1)}_k, P^{(i+1)}_k]$, goto 1.\n",
    "\n",
    "\n",
    "- Метод также сходится линейно, но быстрее чем PINVIT."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### LOBPCG: резюме\n",
    "\n",
    "- Локально оптимальный предобусловленный метод\n",
    "\n",
    "- Линейная сходимость\n",
    "\n",
    "- Предобуславливатель $A-\\sigma I$ не всегда хорош для задачи на собственные значения\n",
    "\n",
    "Следующий метод (Якоби-Дэвидсона) оснащён более \"умным\" предобуславливаталем и даёт сверхлинейную сходимость (если системы решаются точно)!"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Метод Якоби-Дэвидсона (JD)\n",
    "\n",
    "Метод Якоби-Дэвидсона очень популярен для решения задачи на собственные значения (не только симметричной!).\n",
    "\n",
    "Он состоит из двух **основных ингредиентов**:\n",
    "\n",
    "- Для данного предобуславливателя к $A-R(x_j) I$ он автоматически строит хороший предобуславливатель для задачи на собственные значения:\n",
    "\n",
    "$$ B = (I - x_j x^*_j) (A - R(x_j) I) (I - x_j x^*_j), $$\n",
    "\n",
    "где $x_j$ аппроксимация собственного вектора на $j$-ой итерации\n",
    "\n",
    "- Заметим, что приближение $(A-R(x_j) I)^{-1}$ иногда не является хорошим предобуславливателем.\n",
    "\n",
    "- Дополнительно он прибавляет к подпространству $V$ решения с предыдущих итераций (**ускорение на подпространстве**)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Вывод метода JD\n",
    "\n",
    "- Метод Якоби-Дэвидсона имеет красивую интерпретацию через оптимизацию на многообразии. \n",
    "- Он является **римановым методом Ньютона** на сфере и $P = I - x_j x^*_j$ проекция на касательное пространство к сфере в точке $x_j$.\n",
    "\n",
    "Но мы получим этот метод по аналогии с оригинальной работой."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Уравнение коррекции Якоби\n",
    "\n",
    "- Якоби предложил не только метод решения задачи на собственные значения через вращения, но также итерационный метод для решения этой задачи. \n",
    "- Пусть $x_j$ текущая аппроксимация собственного вектора, а $t$ коррекция к нему:\n",
    "\n",
    "$$A(x_j + t) = \\lambda (x_j + t),$$\n",
    "\n",
    "и мы ищем коррекцию $t \\perp x_j$ (новый ортогональный вектор).\n",
    "\n",
    "- Тогда его параллельная компонента имеет вид\n",
    "\n",
    "$$x_j x^*_j A (x_j + t) = \\lambda x_j,$$\n",
    "\n",
    "что приводит к выражению\n",
    "\n",
    "$$R(x_j) + x^* _j A t = \\lambda.$$\n",
    "\n",
    "- Ортогональная часть  \n",
    "\n",
    "$$( I - x_j x^*_j) A (x_j + t) = (I - x_j x^*_j) \\lambda (x_j + t),$$\n",
    "\n",
    "что эквивалентно \n",
    "\n",
    "$$\n",
    "  (I - x_j x^*_j) (A - \\lambda I) t = (I - x_j x^*_j) (- A x_j + \\lambda x_j) = - (I - x_j x^*_j) A x_j = - (A - R(x_j) I) x_j = -r_j,\n",
    "$$\n",
    "\n",
    "где $r_j$ – вектор невязки.\n",
    "\n",
    "- Так как $(I - x_j x^*_j) t  = t$, мы можем переписать это уравнение в симметричной форме"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "$$ (I - x_j x^*_j) (A - \\lambda I) (I - x_j x^*_j) t = -r_j.$$\n",
    "\n",
    "- Теперь заменим $\\lambda$ на $R(x_j)$, и получим **уравнение коррекции Якоби**:\n",
    "\n",
    "$$\n",
    " (I - x_j x^*_j) (A - R(x_j) I) (I - x_j x^*_j) t = -r_j.\n",
    "$$\n",
    "\n",
    "Так как $r_j \\perp x_j$, это уравнение совместно, если $(A - R(x_j) I)$ невырождена."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Решение уравнения коррекции Якоби\n",
    "\n",
    "- Обычно уравнение Якоби решается неточно с помощью подходящего Крыловского метода.\n",
    "\n",
    "- Даже неточное решение уравнения Якоби обеспечивает ортогональность $t$ к вектору $x_j$ (почему?), что хорошо для вычислений."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "#### Связь с методом Релея\n",
    "\n",
    "- Если уравнение решается точно, мы получим метод Релея! Давайте это покажем.\n",
    "\n",
    "$$ (I - x_j x^*_j) (A - R(x_j) I) (I - x_j x^*_j) t = -r_j.$$\n",
    "\n",
    "$$ (I - x_j x^*_j) (A - R(x_j) I) t = -r_j.$$\n",
    "\n",
    "$$  (A - R(x_j) I) t - \\alpha x_j = -r_j, \\quad \\alpha = x^*_j (A - R(x_j) I) x_j$$\n",
    "\n",
    "$$   t = \\alpha (A - R(x_j) I)^{-1}x_j  - (A - R(x_j) I)^{-1}r_j,$$\n",
    "\n",
    "- Таким образом, так как $(A - R(x_j) I)^{-1}r_j = (A - R(x_j) I)^{-1}(A - R(x_j) I)x_j = x_j$ мы получим\n",
    "\n",
    "$$x_{j+1} = x_j + t = \\alpha (A - R(x_j) I)^{-1}x_j,$$\n",
    "\n",
    "что совпадает с методом Релея с точностью до нормировочной постоянной."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Предобуславливание уравнения Якоби\n",
    "\n",
    "Популярный предобуславливатель для решения уравнения Якоби имеет вид \n",
    "\n",
    "$$\n",
    "\\widetilde K = (I - x_j x^*_j) K (I - x_j x^*_j)\n",
    "$$\n",
    "\n",
    "где $K$ легко обратимая аппроксимация $A - R(x_j) I $.\n",
    "\n",
    "- Нам нужно получить метод решения системы с $\\widetilde K$ в терминах решения системы с $K$.\n",
    "\n",
    "- Мы уже видели, что уравнение\n",
    "\n",
    "$$ (I - x_j x^*_j) K (I - x_j x^*_j) \\tilde t = f $$\n",
    "\n",
    "эквивалентно\n",
    "\n",
    "$$  \\tilde t = \\alpha K^{-1}x_j  + K^{-1}f $$\n",
    "\n",
    "- А сейчас мы забудем о значении $\\alpha$ и будем искать его из требования $\\tilde t\\perp x_j$ для поддержки ортогональности:\n",
    "\n",
    "$$ \\alpha = \\frac{x_j^*K^{-1}f}{x_j^* K^{-1}x_j} $$\n",
    "\n",
    "- Таким образом для каждой итерации решения уравнения Якоби мы вычислим $K^{-1}x_j$ после чего обновим только $K^{-1}f$ на каждой внутренней итерации Крыловского метода"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "#### Ускорение на подпространстве в JD\n",
    "\n",
    "- На каждой итерации метода мы расширим базис с помощью нового $t$.\n",
    "\n",
    "- А именно $V_j = [v_1,\\dots,v_{j-1},v_j]$, где $v_j$ – вектор $t$, ортогонализованный к $V_{j-1}$.\n",
    "\n",
    "- Затем используется стандартная процедура Релея-Ритца\n",
    "\n",
    "**Исторический факт:** сначала ускорение на подпространстве использовалось в методе Дэвидсона\n",
    "\n",
    "- В этом методе вместо уравнения Якоби решалось уравнение $(\\mathrm{diag}(A) - R(x_j)I)t = -r_j$\n",
    "- Метод Дэвидсона был очень популярен при решении задач квантовой химии."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "#### Блочный случай в методе JD\n",
    "\n",
    "Если мы хотим найти несколько собственных векторов, мы вычислим **частичное разложение Шура:**\n",
    "\n",
    "$$A Q_k = Q_k T_k, $$\n",
    "\n",
    "и тогда хотим обновить $Q_k$ с помощью одного вектора добавленного к $Q_k$. Мы будем использовать вместо матрицы $A$ матрицу $(I - Q_k Q^*_k) A (I - Q_k Q^*_k)$."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### JD: итог\n",
    "\n",
    "- Уравнение коррекции может быть решено неточно и метод JD часто самый быстрый."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Реализации\n",
    "\n",
    "- [ARPack](http://www.caam.rice.edu/software/ARPACK/) наиболее широко используемый пакет для решения частичной задачи на собственные значения (он также запускается внутри SciPy). Содержит варианты алгоритмов Ланцоша и Арнольди\n",
    "- [PRIMME](https://github.com/primme/primme) – лучший по нашему опыту (использует динамическое переключение между различными методами, включая LOBPCG и JD)\n",
    "- [PROPACK](http://sun.stanford.edu/~rmunk/PROPACK/) работает хорошо для вычисления SVD."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Резюме по второй части\n",
    "\n",
    "- Методы Арнольди и Ланцоша. Shift-and-invert стратегия очень затратна, поскольку надо очень точно решать систему на каждой итерации.\n",
    "- Итерационные методы с предобуславливателем (PINVIT, LOBPCG, JD) подходят для случая неточного решения системы. \n",
    "- Есть готовые пакеты для их использования\n",
    "- Большое количество технических сложностей осталось за кадром (рестарты, устойчивость)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## На следующей лекции (9 декабря)\n",
    "\n",
    "- Быстрое преобразование Фурье (FFT)\n",
    "\n",
    "- Структурированные матрицы (Тёплицевы матрицы и циркулянты)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "metadata": {
    "slideshow": {
     "slide_type": "skip"
    }
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<link href='http://fonts.googleapis.com/css?family=Fenix' rel='stylesheet' type='text/css'>\n",
       "<link href='http://fonts.googleapis.com/css?family=Alegreya+Sans:100,300,400,500,700,800,900,100italic,300italic,400italic,500italic,700italic,800italic,900italic' rel='stylesheet' type='text/css'>\n",
       "<link href='http://fonts.googleapis.com/css?family=Source+Code+Pro:300,400' rel='stylesheet' type='text/css'>\n",
       "<style>\n",
       "    @font-face {\n",
       "        font-family: \"Computer Modern\";\n",
       "        src: url('http://mirrors.ctan.org/fonts/cm-unicode/fonts/otf/cmunss.otf');\n",
       "    }\n",
       "    div.cell{\n",
       "        /*width:80%;*/\n",
       "        /*margin-left:auto !important;\n",
       "        margin-right:auto;*/\n",
       "    }\n",
       "    h1 {\n",
       "        font-family: 'Alegreya Sans', sans-serif;\n",
       "    }\n",
       "    h2 {\n",
       "        font-family: 'Fenix', serif;\n",
       "    }\n",
       "    h3{\n",
       "\t\tfont-family: 'Fenix', serif;\n",
       "        margin-top:12px;\n",
       "        margin-bottom: 3px;\n",
       "       }\n",
       "\th4{\n",
       "\t\tfont-family: 'Fenix', serif;\n",
       "       }\n",
       "    h5 {\n",
       "        font-family: 'Alegreya Sans', sans-serif;\n",
       "    }\t   \n",
       "    div.text_cell_render{\n",
       "        font-family: 'Alegreya Sans',Computer Modern, \"Helvetica Neue\", Arial, Helvetica, Geneva, sans-serif;\n",
       "        line-height: 1.2;\n",
       "        font-size: 120%;\n",
       "        /*width:70%;*/\n",
       "        /*margin-left:auto;*/\n",
       "        margin-right:auto;\n",
       "    }\n",
       "    .CodeMirror{\n",
       "            font-family: \"Source Code Pro\";\n",
       "\t\t\tfont-size: 90%;\n",
       "    }\n",
       "/*    .prompt{\n",
       "        display: None;\n",
       "    }*/\n",
       "    .text_cell_render h1 {\n",
       "        font-weight: 200;\n",
       "        font-size: 50pt;\n",
       "\t\tline-height: 110%;\n",
       "        color:#CD2305;\n",
       "        margin-bottom: 0.5em;\n",
       "        margin-top: 0.5em;\n",
       "        display: block;\n",
       "    }\t\n",
       "    .text_cell_render h5 {\n",
       "        font-weight: 300;\n",
       "        font-size: 16pt;\n",
       "        color: #CD2305;\n",
       "        font-style: italic;\n",
       "        margin-bottom: .5em;\n",
       "        margin-top: 0.5em;\n",
       "        display: block;\n",
       "    }\n",
       "    \n",
       "    li {\n",
       "        line-height: 110%;\n",
       "    }\n",
       "    .warning{\n",
       "        color: rgb( 240, 20, 20 )\n",
       "        }  \n",
       "\n",
       "</style>\n",
       "\n",
       "<script>\n",
       "    MathJax.Hub.Config({\n",
       "                        TeX: {\n",
       "                           extensions: [\"AMSmath.js\"]\n",
       "                           },\n",
       "                tex2jax: {\n",
       "                    inlineMath: [ ['$','$'], [\"\\\\(\",\"\\\\)\"] ],\n",
       "                    displayMath: [ ['$$','$$'], [\"\\\\[\",\"\\\\]\"] ]\n",
       "                },\n",
       "                displayAlign: 'center', // Change this to 'center' to center equations.\n",
       "                \"HTML-CSS\": {\n",
       "                    styles: {'.MathJax_Display': {\"margin\": 4}}\n",
       "                }\n",
       "        });\n",
       "</script>\n"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "execution_count": 41,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from IPython.core.display import HTML\n",
    "def css_styling():\n",
    "    styles = open(\"./styles/custom.css\", \"r\").read()\n",
    "    return HTML(styles)\n",
    "css_styling()"
   ]
  }
 ],
 "metadata": {
  "anaconda-cloud": {},
  "celltoolbar": "Slideshow",
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.9"
  },
  "nav_menu": {},
  "toc": {
   "navigate_menu": true,
   "number_sections": false,
   "sideBar": true,
   "threshold": 6,
   "toc_cell": false,
   "toc_section_display": "block",
   "toc_window_display": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 1
}