Линейная суперпозиция в LLM
L@lovedeathtransformersAI-инженер
1 месИсследование показывает, что LLM способны обрабатывать несколько текстов одновременно через усреднение входных эмбеддингов благодаря линейности репрезентаций.
Это открытие меняет понимание того, как LLM хранят и обрабатывают информацию внутри своих слоев.
- Модели могут удерживать и обрабатывать несколько независимых контекстов одновременно.
- Линейность внутренних представлений позволяет эффективно разделять смешанные сигналы.
- Результат дает новые инструменты для интерпретируемости нейросетей.
Evidence of Linear Superposition in LLMs
Языковые модели ЕЩЁ ЛИНЕЙНЕЕ, чем мы думали. Это, конечно, какой-то смех, но если тупо усреднить инпут-эмбеддинги у входных текстов, то LLM будет в аутпуте продолжать оба текста сразу. То есть она может параллельно о двух разных вещах думать и разбираться в усреднённых активациях, распутывая их. Похоже, это следствие линейности внутренних репрезентаций, которую я описывал в старой работе.
У меня тоже получилось немного помочь с этой статьёй и залететь в соавторы, но я там скорее рядом постоял просто. Все лавры Паше Тихонову за крутую находку.
Статья
Кратко (AI)
Исследователи обнаружили, что языковые модели способны параллельно обрабатывать несколько потоков информации, если усреднить их входные эмбеддинги. Это подтверждает гипотезу о высокой линейности внутренних репрезентаций в архитектуре LLM.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖