🖥 NVIDIA показала TwoTower - способ заметно ускорить LLM без сильной потери качества. Обычные autoregressive-модели генерируют токены по одному - качественно, но медленно. Diffusion-подходы могут генерировать целые блоки параллельно, но обычно теряют в качестве. TwoTower разделяет эти две задачи. Первая башня - замороженная context-модель, которая читает уже существующий текст и сохраняет возможности исходной autoregressive-модели. Вторая - trainable denoiser, который параллельно восстанавливает следующий блок токенов и на каждом слое обращается к соответствующему слою context tower через cross-attention. По данным авторов: - до 2,42× выше throughput генерации - сохраняется 98,7% качества исходной модели - основа - 30B hybrid Mamba-Transformer MoE - адаптация обучалась примерно на 2,1T токенов против 25T токенов исходного pretraining При этом модель не обучали с нуля - TwoTower строится поверх уже существующей autoregressive-модели. То есть можно сохранить сильную базовую модель, но заменить медленную генерацию по одному токену на параллельную генерацию блоками. Код и веса открыты. https://arxiv.org/pdf/2606.26493

Mamba: архитектура, которая шла убивать трансформеры В декабре 2023 по ML-тусовке прокатились заголовки в духе «трансформерам конец». Повод дали два исследователя со статьёй про архитектуру Mamba, внутри которой не было того самого attention, на котором держится весь современный тир-лист нейронок. И при этом она жевала длинные тексты в несколько раз быстрее трансформера и на меньшей памяти. Вместо того чтобы сверять каждый токен с каждым за квадратичную цену, она ведёт одно бегущее состояние и на лету решает, что впустить, а что отбросить как шум. Спойлер, который спустя столько времени уже не спойлер: трон трансформеры не потеряли. Но история кончилась не тем, что очередной хайп-трейн не взлетел. Пока все спорили, кто кого, индустрия сделала третий ход, которого никто не ждал.