Команда MachGen выпустила в открытый доступ реализацию VC-Attentioni (предположительно описанного в некой статье метода) для архитектуры NVIDIA Blackwell. На GPU B200 она почти в 2 раза быстрее BF16 FlashAttention-4i при генерации видео такими моделями, как MiniMax H3, и даёт ещё около 20% прироста сверх оригинального метода из статьи.

Это важно для разработчиков видео-генеративных моделей: ускорение attention напрямую снижает время и стоимость рендера роликов на Blackwell-картах без потери качества.

• ExpCast: вероятности softmax считаются без экспоненты, одной FMA-инструкцией
• Поиск максимума смещён в середину окна ключей, что снижает число рескейлов
• Используется варп-специализированный конвейер: загрузка данных, матричные умножения и softmax разнесены по разным варпам
• V упаковывается в транспонированном виде, чтобы тензорные ядра читали память непрерывно
• Подготовка входов слита в единый CUDA-графi
• Вместо V-Smooth из оригинальной статьи применён метод «V residual repair» — он чинит только худшие токены V, давая почти тот же эффект дешевле
• На примере MiniMax-H3 в 15-секундном ролике без ремонта лицо персонажа за визором схлопывалось в тёмную дыру, после ремонта 0.5% токенов рендерится корректно