Репозиторий книги по большим языковым моделям (LLM), написанной студентами трека "Анализ данных" магистратуры "Разработка программного обеспечения и науки о данных" факультета МКН СПбГУ в осеннем семестре 2023-2024 учебного года
Главы книги представлены в следующем порядке:
- Общий пайплайн ML исследований и проектов
- Оценка качества языковых моделей
- Классические языковые модели и современные подходы
- Обучение больших языковых моделей
- PEFT методы
- Instruction & Chat fine-tuning
- Оптимизация инференса
- Мультимодальные модели
- Атаки на языковые модели, устойчивость моделей, интерпретация, конфиденциальность данных
- Mixture of experts и применение к GPT