Языковые модели без лишних слов

Андрей Бурков

новинка -30%

Сжатое, но цельное руководство Андрея Буркова о том, как устроены и создаются языковые модели. Автор начинает с математических основ машинного обучения, векторных представлений и принципов работы нейронных сетей.Далее шаг за шагом разобрано моделирование языка: от «мешка слов» и эмбеддингов до рекуррентных сетей и архитектуры трансформеров. Все модели реализованы на Python с использованием PyTorch, примеры оформлены в виде Jupyter-блокнотов.Отдельно рассмотрены обучение и дообучение больших языковых моделей (в том числе LoRA), промпт-инжиниринг, оценка качества, а также вопросы авторского права и этики.