Новая статья показывает, что языковые модели (LLM) устроены даже более «линейно», чем считалось ранее: если просто усреднить входные эмбеддинги двух разных текстов и подать это на вход модели, она в ответе продолжает оба текста одновременно, разделяя их смыслы.

Это означает, что модель способна параллельно обрабатывать две несвязанные мысли внутри одних и тех же усреднённых активаций и затем «распутывать» их на выходе — прямое следствие линейности внутренних репрезентаций LLM.

• Метод: берутся входные эмбеддинги двух разных текстов, они усредняются, и результат подаётся модели как единый вход
• Результат: модель в аутпуте продолжает оба исходных текста одновременно, а не смешивает их в бессвязный текст
• Авторы связывают эффект с линейностью внутренних репрезентаций LLM, описанной в более ранней работе автора поста (AbstractDL)
• Автор поста в AbstractDL указывает, что выступил соавтором статьи, но основная находка принадлежит Паше Тихонову