Speculative Sampling Способ сделать интерактивными двунаправленные видеомодели без обучения. Обычно за скорость платят маленьким окном внимания и теряют качество. Здесь окно остается большим, а отклик ускоряется. Идея в том, что размер окна превращается из ограничения в ручку настройки. Привязки к конкретной модели нет • Генерация крупного куска вперед в расчете, что условие не поменяется • Предсказания копятся в кэше и выдаются по мере проигрывания • Поменялся ввод: неизменяемый префикс остается, хвост пересчитывается • Два состояния: раздача из кэша и досчет нового • MiniMax H3 стала интерактивной примерно с 1,4 секунды до первого отклика • Кусок на пять секунд за раз, без пост-обучения в духе Self-Forcing • Ожидание больше не упирается в половину длительности куска • Увеличение куска почти не бьет по времени шага, ядра недогружены github.com/Yubo-Shankui/SpeculativeSampling #optimization

Попробовал DeepSeek V4.1 Flash на реальных задачах своего проекта. Взял две уже решённые задачи по коду: одну раньше делал Sol 6.1 (и потратил 2% недельных лимитов🤡), другую Opus 5.5. Модели дал только описание бага и запустил её в том же Codex, где работает Sol. Обе задачи решены правильно. В первой исправление совпало с решением Sol байт в байт. Во второй на её код прогнали проверку, которую раньше написал Opus, и она прошла 12 из 12. По времени вышло примерно вдвое быстрее, хотя Opus проверял свою работу шире. Обе задачи вместе стоили 10 центов: почти весь вход берётся из кэша, поэтому так дёшево. ЭТО ЧТО ЗА ЧЁРНАЯ МАГИЯ?!🪄🪄🪄 короче срочно внедряю в полный флоу✨