NVIDIA представила TwoTower: метод ускорения генерации LLM
M@machinelearning_interviewAI-инженер
1 месNVIDIA показала архитектуру TwoTower, позволяющую ускорить генерацию LLM за счет параллельной обработки блоков токенов с сохранением качества.
Новый метод позволяет значительно ускорить работу нейросетей, делая их ответы быстрее без потери точности.
- Генерация текста происходит блоками, а не по одному слову, что ускоряет работу модели в 2,4 раза.
- Метод позволяет использовать уже готовые мощные модели, не переобучая их с нуля.
- Технология сохраняет почти всю исходную точность модели, что критично для сложных задач.
🖥 NVIDIA показала TwoTower - способ заметно ускорить LLM без сильной потери качества.
Обычные autoregressive-модели генерируют токены по одному - качественно, но медленно. Diffusion-подходы могут генерировать целые блоки параллельно, но обычно теряют в качестве.
TwoTower разделяет эти две задачи.
Первая башня - замороженная context-модель, которая читает уже существующий текст и сохраняет возможности исходной autoregressive-модели.
Вторая - trainable denoiser, который параллельно восстанавливает следующий блок токенов и на каждом слое обращается к соответствующему слою context tower через cross-attention.
По данным авторов:
- до 2,42× выше throughput генерации
- сохраняется 98,7% качества исходной модели
- основа - 30B hybrid Mamba-Transformer MoE
- адаптация обучалась примерно на 2,1T токенов против 25T токенов исходного pretraining
При этом модель не обучали с нуля - TwoTower строится поверх уже существующей autoregressive-модели.
То есть можно сохранить сильную базовую модель, но заменить медленную генерацию по одному токену на параллельную генерацию блоками.
Код и веса открыты.
https://arxiv.org/pdf/2606.26493
Кратко (AI)
NVIDIA представила архитектуру TwoTower, которая ускоряет генерацию LLM за счет параллельной обработки блоков токенов вместо последовательной. Метод использует замороженную контекстную модель и обучаемый денойзер, что позволяет достичь прироста скорости в 2,42 раза при сохранении 98,7% качества исходной модели.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖