- Реализуйте стохастический градиентный спуск для решения линейной регрессии. Исследуйте сходимость с разным размером батча (1 - SGD 2, .., n - 1 - Minibatch GD, n - GD из предыдущей работы).
- Подберите функцию изменения шага (learning rate scheduling), чтобы улучшить сходимость, например, экспоненциальную или ступенчатую.
- Исследуйте модификации градиентного спуска (Nesterov, Momentum, AdaGrad, RMSProp, Adam).
- Исследуйте сходимость алгоритмов. Сравнить различные методы по скорости сходимости, надежности, требуемым машинным ресурсам (объем оперативной памяти, количеству арифметических операций, времени выполнения).
- Постройте траекторию спуска различных алгоритмов из одной и той же исходной точки с одинаковой точностью. В отчете наложить эту траекторию на рисунок с линиями равного уровня заданной функции.
- Реализуйте полиномиальную регрессию. Постройте графики восстановленной регрессии для полиномов разной степени.
- Модифицируйте полиномиальную регрессию добавлением регуляризации в модель (L1, L2, Elastic регуляризации).
- Исследуйте влияние регуляризации на восстановление регрессии.
Sources/— директория с исходным кодом лабораторной работы.Image/— директория с картинками для отчета. Названия соответствуют следующему шаблону: Ta_Fc_*.png или же Ta_Pb_Fc_*.png, где a - номер задания, b - номер пункта, * - дополнительная информация.
Report.tex— исходный файл отчета.Report.pdf— собранный в формате PDF файл отчета..gitignore— все игнорируемыеgitфайлы.README.md— этот файл.