Как сегодня дообучают LLM: от PPO и RLHF к DPO, GRPO и GSPO Предобучение даёт языковой модели знания, но этого не всегда достаточно, чтобы она хорошо следовала инструкциям и решала сложные задачи. В новой статье рассказываем, как устроен post-training LLM и как развивались методы дообучения с подкреплением 👨🏼‍💻 Из статьи вы узнаете: - зачем нужны SFT и RLHF и как работает алгоритм PPO; - как DPO позволяет обучать модель на предпочтениях без отдельной Reward Model; - как устроены GRPO и GSPO и почему для reasoning-моделей стали использовать автоматически проверяемые награды (RLVR). Разбираем основные идеи на простых примерах и с математикой. Читайте статью по ссылке!

Сижу на конфе в Екб и жду своей очереди выступать. Передо мной выступал некий сооснователь, генеральный директор одной компании, рассказывал, что произошло в ИИ за последние сколько-то лет и в конце агитировал всех использовать Claude Code Блин, чувак, ты бы лучше выступление своё доверил Claude Code. Потому что переврал лектор всё, что только можно было. И "зима ИИ" у него была в 2010-е и ничего не происходило до ChatGPT, и RLHF у него впервые применили в DeepSeek и т. д. и т. п. Блин, ребята, ну зачем так делать? Если ты не разбираешься, но тебя заставили выступить по теме, в которой не разбираешься, ну загугли хотя бы блин Едва поборол себя, чтобы не ворваться на сцену и не устроить массовые pogrommen

Почему все нейронные тексты выглядят одинаково? 😅 Наверняка многие кто читает этот пост уже мысленно выделили для себя чек-лист, чтобы понять что текст был сгенерирован нейронкой - тире, короткие фразы, но почему это именно так? На самом деле ответ очень тупой - ее так научили сами люди, а если точнее, то они ее за это хвалили 😑 У меня есть такая гипотеза - при дообучении и валидации модели показывают несколько вариантов ответа на один и тот же вопрос, а живые люди выбирают, какой лучше. Люди - обычные ассесоры и как правило человек выбирает не самый умный ответ, а тот, который быстрее всего "выглядит умным". Модель это запоминает и начинает штамповать приемы, которые создают ощущение что это что-то умное на ровном месте. Пожалуй, лично для меня самая заметная конструкция - антитеза вида "это уже не А, а Б". Берется какая-то банальщина и к ней довольно топорно добавляется "A" и подается через контраст как откровение. Новой информации ноль, но звучит как эпично поворотный момент в тексте. Найти ее легко, если первая часть "это уже не А" легко выкидывается без потери смысла, скорее всего это такой бессмысленный бантик от нейронки для красоты. Нормальное противопоставление так не ломается - "Мы зарабатываем не на аффилятке, а на подписке" Длинные тире - та же логика. Если подумать, то это самый безопасный знак препинания, им почти невозможно ошибиться и сломать предложение. В общем случае модель избегает риска и ставит тире, вероятно, для безопасного повышения стиля письма. Я думаю, что сюда же все эти уже ныне винтажные слова времен GPT-3 - revolutionizing, pivotal и другой эпик спич типа коротких. Предложений с паузой. Вот так. Кстати, этот пост как это часто у меня бывает был вдохновлен обсуждениями в чате канала. Так что темы постов всегда можно предлагать в комментариях. А еще у нас с вами не за горами трансляция на 8 тысяч подписчиков похоже (каждые 500) 🤝 @neural_prosecco