DFlash — диффузионный метод спекулятивного декодинга Сегодня поговорим о DFlash — методе спекулятивного декодинга, использующем легковесную модель блочной диффузии для параллельной генерации драфтовых токенов. Но для начала о том, почему имеет смысл использовать диффузионные модели в спекулятивном декодинге. Средняя задержка генерации одного токена определяется суммой времени верификации и времени драфтинга, делённой на среднюю длину принятой цепочки, включая бонусный токен. Соответственно, ускорение в спекулятивном декодинге зависит не только от количества принятых токенов, но и от стоимости построения гипотезы. Главная проблема классического авторегрессионного спекулятивного декодинга в том, что время драфтинга линейно растёт с длиной генерируемой цепочки. Поэтому драфтеры обычно делают относительно небольшими, чтобы построение гипотезы занимало разумное время. Диффузионные подходы позволяют предсказывать блок токенов параллельно, за один forward pass, благодаря чему время драфтинга почти не скейлится от размера блока. Именно это — основная мотивация для применения диффузионных моделей в спекулятивном декодинге. С точки зрения архитектуры DFlash — это пятислойный трансформер, каждый слой которого работает с представлениями, полученными из основной модели, и с представлениями расшумляемого блока токенов. На входе первый слой получает последний декодированный токен основной модели, к которому добавляются маскированные токены, предназначенные для предсказания за один forward pass. Контекст основной модели формируется способом, похожим на предложенный в EAGLE-3: берутся скрытые представления с нескольких слоёв основной модели, конкатенируются, после чего к ним применяются линейная проекция и нормализация. Однако здесь, в отличие от EAGLE-3, фичи контекста, подаваемые в каждый из пяти слоёв, одинаковы — меняются только представления расшумляемого блока. Авторы называют это KV injection. Внутри спекулируемого блока используется полный attention, а по отношению к предыдущему контексту внимание остается каузальным. Теперь перейдём к обучению. Авторы не разделяют обучающий пример равномерно на блоки фиксированной длины, а семплируют якорные токены. Каждый из них рассматривается как последний уже декодированный токен, после которого добавляется необходимое количество маскированных. Ещё одно заимствование из EAGLE-3 — перевзвешивание лоссов для разных драфтовых позиций. Ошибка в первых токенах обходится дороже, чем в поздних, поэтому ранним позициям задаётся больший вес. Коэффициент, управляющий перевзвешиванием, авторы выбирают примерно равным половине размера блока. Эксперименты показывают пользу такого подхода. Авторы сравнивают модели с различным количеством слоёв и рассматривают как среднюю длину принятой цепочки, так и итоговое ускорение. Пятислойная конфигурация оказывается наиболее удачной — увеличение глубины до восьми слоёв несколько улучшает acceptance length, однако сам драфтинг становится медленнее. Отдельно изучается количество слоёв основной модели, с которых берутся скрытые представления для формирования контекста. Здесь использование большего количества слоёв в целом оказывается полезным. Авторы также проверяют, как модель адаптируется к разным размерам блока в зависимости от того, с каким размером она обучалась. Результат ожидаемый: модель, обученная на большом блоке, относительно хорошо работает с меньшими блоками, тогда как модель, обученная на маленьком блоке, заметно хуже переносится на большие размеры. Ещё один эксперимент посвящен адаптации к длинному контексту. Авторы сравнивают базовую модель, обучавшуюся на контекстах до 4 тысяч токенов в течение шести эпох, с моделью, которую дополнительно обучали ещё три эпохи на контекстах длиной до 10 тысяч токенов. Результаты показывают, что дополнительное обучение на длинных контекстах улучшает работу модели с ними во время инференса. В последней абляции сравниваются обычная подача представлений на вход трансформерных слоёв и KV-injection. Эксперименты проводятся как для авторегрессионного, так и для диффузионного драфтинга. Способ внедрения через KV-проекции оказывается лучше обычной подачи на вход. DFlash показывает более высокое ускорение относительно EAGLE-3. Также авторы проводят сравнения с MTP. Однако здесь стоит обратить внимание, что сравнение с EAGLE нельзя назвать полностью честным из-за разных длин драфтовых цепочек и используемых кернелов: для EAGLE используется дерево глубины 7, а для собственного метода — цепочка длины 10. Применение более сложного и тяжеловесного кернела tree-attention для EAGLE не позволяет изолировать влияние метода на ускорение от эффективности верификации. Разбор подготовил ❣ Даниил Маслов Душный NLP

EdenLive Генеративная отрисовка видео в реальном времени VAST выложили модель которая превращает черновой прокси-стрим в готовое видео Что на входе • Поток прокси из 2D или 3D сцены, игрового движка или записи • Первый кадр и текстовый промпт • Внешний код держит состояние сцены и взаимодействие, модель отвечает за картинку Как устроено • Управление идет через пост-обученный кодировщик DINOv3: признаки кадра прокси подаются в диффузионный трансформер • Две ветки: 14B на Wan2.1 I2V для 480p и 5B на Wan2.2 для 720p, у каждой двунаправленный и потоковый режим • Поток собирается чанками по 4 шага, декодер TAEHV дает 24 FPS и выше • Есть демо на несколько минут, 5B в 720p работает на одной карте Что с весами • Около 210 ГБ ‼️, все компоненты в одной папке • Блок на FLUX.2 klein нужен только для первого кадра в реальном времени, лицензия некоммерческая huggingface.co/VAST-AI/EdenLive github.com/VAST-AI-Research/EdenLive #rendering #v2v #realtime

Retriev for train, учим google поиск работать с подзапросами в неявном виде. 💻 Вышла интересная работа в бложике Google, в которой ребятки показывают как можно делать multi hop RAG без явной генерации подзапросов на запрос. Суть проблемы. Современные поисковые системы должны возвращать на запрос не одну лучшую ссылку, а связный набор взаимодополняющих результатов на первой странице. Например, на запрос "походное снаряжение" – поварешку, миску ложку, два батона колбасы, палатку, спальник, горелку, фонарь. 😁 Для этого используется техника query fan-out: один широкий запрос разбивается на несколько подзапросов, которые составляют полную группу кандидатов на ответ исходного запроса. Однако научить LLM делать это динамически дорого, ввиду: - Коллапса парафраз, те без оптимизации под базу данных zero-shot LLM генерируют почти одинаковые по смыслу подзапросы. -Задержка авторегрессия. LLM вынуждены генерировать сотни промежуточных цепочек рассуждений, чтобы спланировать разбиение. Это дорого + создаёт рост latency. Те время на ответ растёт. 😐 Че делать? Тут и придумали R4T. Идея один раз обучить модель через RL на генерацию нужных подзапросов, а потом сдистиллировать её поведение в лёгкую диффузионную модель, которая работает за один проход. 🧠 Подробнее: 1. RL-обучение. Делают FOLM модель на основе Qwen3 4b или Gemma3 такого же размера. FOLM генерирует подзапросы в виде текста и получает награду по трём критериям: · Groundedness  подзапрос должен соответствовать реальному объекту в базе поиска. Через среднее эмбеддинг расстояние между запросами в базе и подзапросом. · Diversity  измеряется через оценку семантического разнообразия фраз, зовут это Vendi Score, чтобы не было синонимов. Я бы тут брал угловые расстояние между эмбами подзапросов, нормы векторов и сравнивал это. Но над бы пороги подбирать. А тут красиво, через собственные значения векторов. Что показывает на сколько соноправлены эти вектора + угол. Что я и хотел придумать выше. 🌿 · Alignment привязка к исходному запросу, чтобы не уйти в семантический дрейф и не улететь по теме не туда. Логично, что каждый эмб подзапроса сравнивают с эмбом запроса. Итого нам не нужна никакая иная модель судья кроме эмбеддера векторной базы знаний. При этом сам эмбеддер мы не меняем, не тюним и тп. Далее крч, на этом учится модель FOLM через RLVR. Потом модель генерирует К траекторий подзапросов. Они эмбеддятся и идут на обучение диффузионного эмбеддера, всего на 53,9 млн параметров. Он учится по паре эмбеддинг запроса → набор целевых эмбеддингов подзапросов. Важно, что FOLM генерирует именно текст, а затем внешний эмбеддер превращает его в векторы. Диффузионная модель уже работает с готовыми векторами. За счёт этих фокусов мы на проде получаем на запрос в поиск сразу К эмбов подзапросов без промежуточных рассуждений в токенах. Результат впечатляющий: · Ускорение в 12–20 раз. Авторегрессионные подходы до 50 секунд. R4T доли секунды/несколько секунд. · Качество выше, чем у zero-shot и Best-of-N. Естественно приходится за скорость платить пайпом из М шагов обучения. Чудес не бывает. 😏

Курс по Visual GenAI от Yandex Research и ШАД Авторы CV Time не только пишут обзоры статей о компьютерном зрении, но и создают обучающие курсы. Сегодня делимся курсом ШАДа «Генеративные модели в компьютерном зрении», который ведёт Дмитрий Баранчук, руководитель группы GenAI в Yandex Research, вместе с праймовой командой исследователей в этой области. Будет полезно тем, у кого есть базовые знания по генеративкам и желание разобраться глубже: • в теории диффузионных моделей, эффективных методах их обучения и семплирования; • в новых гибридных моделях на основе диффузии для генерации изображений, видео и 3D. У курса есть открытый GitHub-репозиторий, где можно найти слайды, записи лекций и семинаров, а также домашние задания. CV Time

Курс по Visual GenAI от Yandex Research и ШАД Авторы CV Time не только пишут обзоры статей о компьютерном зрении, но и создают обучающие курсы. Сегодня делимся курсом ШАДа «Генеративные модели в компьютерном зрении», который ведёт Дмитрий Баранчук, руководитель группы GenAI в Yandex Research, вместе с праймовой командой исследователей в этой области. Будет полезно тем, у кого есть базовые знания по генеративкам и желание разобраться глубже: • в теории диффузионных моделей, эффективных методах их обучения и семплирования; • в новых гибридных моделях на основе диффузии для генерации изображений, видео и 3D. У курса есть открытый GitHub-репозиторий, где можно найти слайды, записи лекций и семинаров, а также домашние задания. CV Time