Speculative Sampling Способ сделать интерактивными двунаправленные видеомодели без обучения. Обычно за скорость платят маленьким окном внимания и теряют качество. Здесь окно остается большим, а отклик ускоряется. Идея в том, что размер окна превращается из ограничения в ручку настройки. Привязки к конкретной модели нет • Генерация крупного куска вперед в расчете, что условие не поменяется • Предсказания копятся в кэше и выдаются по мере проигрывания • Поменялся ввод: неизменяемый префикс остается, хвост пересчитывается • Два состояния: раздача из кэша и досчет нового • MiniMax H3 стала интерактивной примерно с 1,4 секунды до первого отклика • Кусок на пять секунд за раз, без пост-обучения в духе Self-Forcing • Ожидание больше не упирается в половину длительности куска • Увеличение куска почти не бьет по времени шага, ядра недогружены github.com/Yubo-Shankui/SpeculativeSampling #optimization

Anthropic существенно ускорили Claude В Claude Code время ожидания до генерации первого токена упало в 3 раза, в чате, в Cowork и в API – в 1.5 раза. Во-первых, Claude Code теперь передает модели историю диалога в виде сжатого архива, который уходит по сети быстрее. Во-вторых, если раньше облачная среда запускалась после отправки сообщения, то теперь она начинает подниматься, как только вы начали печатать, и к моменту отправки промпта уже готова, так что доп.время на ее запуск не тратится. Кстати, в новой версии Claude Code также добавили функцию idle compaction: если разговор от 200 тыс. токенов простоял без дела около 54 минут, его автоматически сжимают. Дело в том, что кэш промпта живет как раз час, и сжатие делают незадолго до того, как кэш сброситься, чтобы следующее сообщение не пересчитывало весь длинный контекст по полной цене (changelog).