VoiceMem: фреймворк памяти для голосовых ассистентов

🗣 VoiceMem: фреймворк памяти для голосовых ассистентов поднимает факты из всех прошлых диалогов за 134 мс Команда из Nanyang Technological University, NUS, Tsinghua и CUHK выпустила VoiceMem - быструю память для голосовых ассистентов, работающих в реальном времени. VoiceMem держит в двух параллельных графах всё, что ассистент узнал о пользователе: быт, здоровье, работу, отношения, цели и знания в одном, характер и эмоции в другом. К моменту, когда пользователь заканчивает фразу, нужный факт уже найден. Речевая модель не может держать в контексте всю историю общения, поэтому после каждого диалога отдельная LLM вытаскивает из него короткие утверждения и складывает их в базу по одной записи на утверждение: «я вегетарианец», «у меня аллергия на орехи», «сестру зовут Аня». Когда пользователь задаёт новый вопрос, из базы достаются несколько подходящих записей и дописываются в промпт обычным текстом, перед самим вопросом. Эти два графа авторы называют полушариями по аналогии с мозгом, где за факты и за эмоции отвечают разные зоны. Никакой нейробиологии внутри нет, это просто две отдельные структуры данных, которые наполняются и обновляются параллельно. Левое полушарие отвечает за факты и раскладывает их по темам: работа, здоровье, быт. Часть тем прописана в настройках до первого разговора, остальные VoiceMem заводит сам, когда замечает, что какие-то записи постоянно нужны вместе. Правое отвечает за характер и настроение пользователя и держит их в узлах двух типов. Одни описывают устойчивые черты, например «часто чувствует себя одиноко». Другие привязаны к конкретному человеку или событию, например «не любит еженедельные планёрки с Бобом». Полушария связаны, поэтому отношение к человеку или событию подтягивается вместе с фактами о нём. Без правого точность ответов падает на 6.3 пункта на LoCoMo. На бенчмарке долгосрочной памяти LoCoMo модель с VoiceMem отвечает правильно в 91.2% случаев, доставая пять записей общей длиной 430 токенов. Mem0, который работает у неё под капотом в роли хранилища, на тех же вопросах выдаёт 61.68% и тратит 6956 токенов, EverMemOS 83.13% при 1899 токенах. Эти записи подставляются в промпт на каждой реплике, поэтому их суммарная длина определяет и цену запроса, и то, сколько места в контексте остаётся под сам разговор. Поиск занимает 134 мс против 1440 мс у Mem0 и целиком помещается в паузу, которую и так выжидает детектор голосовой активности. Проект открыт под Apache 2.0: код, дообучение и скрипты оценки лежат на GitHub, веса и датасет - на Hugging Face. #Stateoftheart