Обзор методов steering для LLM: repeng и pyreft

Где-то год назад я воспроизводила что-то, не помню что. Получалось супер-больно, и моя коллега выдала фразу "Хе-хе-хе, добро пожаловать в кровавый опенсорс". Времени прошло немного, но за это время эту фразу я прям прочувствовала. И не прошло и пол-месяца, и я снова вышла из схватки с опенсорсом вроде не проигравшей — добила вторую статью в серии про steering (первая — тут). И вот, Хабр 2: https://habr.com/ru/articles/1056006/ сдвигаем модели в нужную сторону через repeng и pyreft. В статье очень аккуратно разобрано — что откуда идёт и что совпадает с теоретической постановокой в реализации, а что — нет. Есть красивая сводная таблица, математика, и единорог (на картинке он, да). Ссылка на ноутбук в коллаб. Ссылка на ноутбук на гитхаб. А пару тысяч вас я отметила печеньками, жесть, друзья, спасибо! 🔥