MemT-1.0: открытые модели со встроенной памятью

MemTensor представила семейство открытых моделей MemT-1.0 со встроенной памятью и заявляет ускорение до 1.86x на истории 128K.

Новый подход позволяет моделям хранить историю общения компактнее, не передавая всю переписку в контекст.

Память модели меняется по ходу общения и может сохраняться в файл.
Авторы заявляют ускорение 1.86x на истории 128K.
Состояние, по заявлению авторов, в 66 раз меньше KV-кэша.
В бенчмарках текстовая память в целом впереди, особенно при поиске деталей.

MemT-1.0 Семейство открытых моделей MemTensor со встроенной памятью. Диалог уходит во внутреннее состояние, а не тащится в контексте. • Память отдельным блоком рядом с вниманием, меняется по ходу общения • Сохранение сессии в файл и подъем без текста переписки • Mixture-of-Storage для роста памяти без роста цены • Опыт агента подается через память, не строкой в промпте • Nano: база Qwen3.6-35B-A3B, 36B / 3B активных • Flash: база DeepSeek-V4-Flash, 288 B / 17B активных • 1.86x ускорение на истории 128K, состояние в 66 раз меньше KV-кэша По 11 бенчмаркам памяти Flash первый, Nano второй среди методов с параметрической памятью. Системы с текстовой памятью в целом впереди, особенно на точном поиске деталей в длинной истории. github.com/MemTensor/MemT-1.0 #memory MAX

MemT-1.0: открытые модели со встроенной памятью

Кратко (AI)

MemTensor представила семейство открытых моделей MemT-1.0, в которых диалог сохраняется во внутреннем состоянии, а не целиком переносится в контекст. По заявлению авторов, Flash и Nano заняли первое и второе места среди методов с параметрической памятью в 11 бенчмарках, хотя системы с текстовой памятью в целом показали лучшие результаты, особенно при точном поиске деталей.

MemT-1.0: открытые модели со встроенной памятью

Кратко (AI)

Обсуждение