Исследователи предложили способ сэкономить вычислительные ресурсы при предобучении языковых моделей: на первом этапе претрейна модель учится не на отдельных токенах, а на усреднённых эмбеддингах нескольких подряд идущих токенов, при этом на выходе предсказывается не следующий токен, а «мешок» (bag-ofi) из нескольких следующих токенов без учёта их порядка. После этой стадии обучение продолжается в стандартном режиме.

Экономия достигается за счёт того, что через модель прогоняется в s раз меньше токенов, а значит за тот же вычислительный бюджет модель успевает увидеть больше данных из корпуса — в r·s + (1 − r) раз больше, где r — доля обучения на усреднённых токенах, s — размер окна усреднения.

ВыводМетод проверен на трёх dense llama-like моделях размером 270M, 600M и 3B, а также на MoE-модели 10B-A1B.

Полный разбор →

Группа из 33 китайских исследователей опубликовала 75-страничную работу «The Last AI Built by Humans», в которой формализовала концепцию рекурсивного самосовершенствования (RSI) ИИ. Авторы проанализировали 491 существующую разработку, чтобы определить путь развития систем, способных самостоятельно улучшать не только свои навыки, но и сам механизм собственного совершенствования.

Исследование предлагает пятиуровневую шкалу автономности ИИ, аналогичную классификации беспилотных автомобилей. Работа подчеркивает, что текущие передовые модели находятся лишь на начальных этапах (L1–L2), а создание полноценного сверхинтеллекта требует перехода к мета-уровням, где ИИ берет на себя функции R&D.

ВыводВ состав авторского коллектива вошли представители Tsinghua, ByteDance, Shanghai AI Lab, ModelBest и Xiaohongshu.

Полный разбор →

Компания Z.ai рассказала о практическом кейсе Recursiive Self-Improvement (RSI): модель GLM-5.3 совместно с инженерами компании участвовала в построении и оптимизации inference-инфраструктуры для новой модели GLM-5.3-Flash. ИИ-агент на базе GLM-5.3 искал ошибки в коде и оптимизировал kernels, bottleneck'и и inference engine — то есть модель фактически помогала разворачивать production-инфраструктуру для своей же младшей версии.

По данным компании, благодаря такому подходу систему довели до готовности к запуску менее чем за две недели, а пропускную способность увеличили втрое относительно первой версии на том же железе.

Полный разбор →

Исследователи предложили метод Declarative Attentioni (DA), позволяющий языковой модели самой решать, какую часть длинного контекста учитывать при генерации ответа — без обучаемых селекторов и дополнительной тренировки. Модель размечает свои действия специальными хэштегами трёх типов внимания, а инференс ускоряется за счёт блочно-разреженной маски в vLLMi.

Это важно, потому что full attention остаётся дорогим местом в современных LLM даже на фоне более дешёвых GDN, SSM и скользящего окна, а существующие решения (в DeepSeek, MiniMax, Qwen) требуют обучаемых механизмов выбора токенов. DA показывает, что модель может справляться с этой задачей декларативно — просто указывая, куда смотреть.

ВыводЗадача подаётся модели в формате: системная инструкция → чанкированный контекст → вопрос → инструкция по использованию Declarative Attention.

Полный разбор →