🧩 Метод Мотивация следующая. Омонимы пишутся одинаково, а могут иметь совершенно различный смысл в зависимости от контекста. Bank в английском — это банк и берег реки. В следующем примере из статьи по смыслу имеется в виду второе, но, увидев ATM, модель триггерится на первое и дает неверный ответ: > User: Fred took the day off work and pulled out his fishing pole. He drove > to the bank. When he reaches the bank, should he wear boots or flip flops? > > Model: While flip flops may be more comfortable for a casual day, they are > not the best choice for fishing, especially at a river bank. Here’s why: > ... > > User: Is it likely that Fred will find an ATM at this bank? > > Model: It is highly likely that Fred will find an ATM at the bank. Most > banks, especially those located near bodies of water popular for fishing, > have ATMs on-site for customer convenience. В более ранних работах показывали, что причина этого кроется, по всей видимости, в том, что эмбед нужного концепта проявляется в более глубоких слоях, а до этого есть неопределенность. Следующий токен аттендится на эмбед, где еще есть неопределенность, и может запутаться. Если подменить эмбед с текущего слоя на более поздний, то оказалось, что модель с большей вероятностью начинает верно разрешать такие ситуации. Однако, если такую интервенцию делать для всех токенов, это сломает модель, ибо она на это не училась. Потому авторы предлагают добавлять эмбед с прошлого токена более позднего слоя с каким-то небольшим весом, пробросив информацию и не сломав модель. Оптимальный выбор пары source/target слоев гридсерчат на некой калибровочной выборке и берут ту, где больше всего улучшается перплексия. Коэффициенты смешивания source/target слоев тоже перебирают по сетке. 🧪 Эксперименты Метод валидируют в основном на моделях семейства Gemma-3 (потому что там эффект наиболее выражен, ха-ха-ха) и самые удачные конфигурации дают улучшение перплексии до 5%. На Ministral / Qwen3 / Pythia / Phi2 эффект куда слабее — максимум 0,5% улучшения. В ablation показывают, что максимальное улучшение — если добавлять предыдущий токен; вставка более старых работает хуже. Основное улучшение перплексии идет за счет прилагательных и наречий. Потом тестируют метод на бенчмарке по контекстуализации, и recirculation дает значимый прирост против исходной модели. Правда, при увеличении числа дистракторов в Racing Thoughts эффективность метода будто ухудшается, и он сравнивается с базовой моделью. На бенчах с коротким ответом статзначимого улучшения метод не дает. На GSM8k якобы есть прирост от recirculation. Но базовое качество претрейна Gemma3-4B — 29,3%, с которым сравниваются, — не соответствует 38,4% из техрепорта, потому есть здесь вопросики. ⚠️ Ах да, и самое веселое: в текущей ревизии перед секцией 4 авторы написали большой дисклеймер про то, что замеры перплексии в Gemma3 сломаны из-за того, что был неправильно учтен BOS-токен. Из-за этого, по всей видимости, такое хорошее улучшение перплексии у Gemma3 вышло. ## 💡 Выводы Концептуально идея интересная, но насколько оно на реальных задачах работает из коробки и актуально ли для более современных моделей (обогащенных mHC / attention residuals), остается открытым. И методология / результаты экспериментов довольно спорные.

Ёпта, кажется моя методика оценки "G0VNO" квантованных моделей реально работает (но это не точно, пока только предварительные результаты без массового прогона). Чувствую себя поехавшим датасаентистом. Мне бля даже интересно стало, а какого хрена раньше до этого никто не додумался. Обычно дилер модельки фигачит в ридми результаты модели, которых она набирает в FP16 на сраных публичных бенчмарках. А вот то, насколько она деграднула после сжатия — как будто бы и насрать всем, а на самом деле результаты могут ПИЗДЕЦ КАК СИЛЬНО отличаться. Замер перплексии сам по себе хорош только для предварительной оценки, но не показывает реальной раскладки на настоящих задачах. Ща сижу думаю, как не разориться на токенах, думаю после предварительного прогона перплексии брать только 3 самых лучших модели, а остальных отсекать из-за тупорылости.