🖥 NVIDIA показала TwoTower - способ заметно ускорить LLM без сильной потери качества. Обычные autoregressive-модели генерируют токены по одному - качественно, но медленно. Diffusion-подходы могут генерировать целые блоки параллельно, но обычно теряют в качестве. TwoTower разделяет эти две задачи. Первая башня - замороженная context-модель, которая читает уже существующий текст и сохраняет возможности исходной autoregressive-модели. Вторая - trainable denoiser, который параллельно восстанавливает следующий блок токенов и на каждом слое обращается к соответствующему слою context tower через cross-attention. По данным авторов: - до 2,42× выше throughput генерации - сохраняется 98,7% качества исходной модели - основа - 30B hybrid Mamba-Transformer MoE - адаптация обучалась примерно на 2,1T токенов против 25T токенов исходного pretraining При этом модель не обучали с нуля - TwoTower строится поверх уже существующей autoregressive-модели. То есть можно сохранить сильную базовую модель, но заменить медленную генерацию по одному токену на параллельную генерацию блоками. Код и веса открыты. https://arxiv.org/pdf/2606.26493