Исследование эффективности памяти ИИ-агентов: извлечение фактов против поиска сырых реплик
D@dealerAIAI-инженер
1 недАнализ нового исследования о методах долговременной памяти ИИ-агентов: сравнение извлечения фактов и поиска сырых реплик в зависимости от бюджета контекста.
Выбор метода памяти для ИИ-агентов напрямую влияет на стоимость и производительность системы.
- При ограниченном бюджете контекста поиск по сырым репликам в 3000 раз дешевле извлечения фактов при сопоставимой точности.
- Использование специализированных селекторов (например, Jev) позволяет достичь точности уровня LLM-ранжировщиков при значительно более высокой скорости работы.
- Разработчикам следует выбирать метод организации памяти исходя из доступного лимита токенов и требований к бюджету.
🔬 Search или extract? Новое исследование о памяти ИИ-агентов и decision models.
В сообществе разработчиков ИИ-агентов давно спорят: что лучше для долговременной памяти - извлекать факты из диалога с помощью LLM или просто хранить и искать нужные сырые реплики? Новый препринт даёт логичный ответ - выбор зависит от бюджета на контекст.
Со своей стороны изначально знал, что трек RAG и память в нашей работе пересечется (и так оно у нас и вышло). Мы вели разработку как extract методов подобно mem0, так и memory RAG с поиском по заметкам или сырым диалогам. Закономерно, что jev like модель, как развитие поиска (в лице выбора и ранжирования) станет хорошим дополнением для темы памяти.
Но вернёмся к статье...
📊 Суть эксперимента
Авторы сравнили подходы на диалоговых бенчмарках LoCoMo и LongMemEval:
• Turns + Jev - выбираем лучшие сырые реплики за один вызов Jev.
• engram v2 - система извлечения фактов, где LLM извлекает факты, Jev управляет ими (ранжирует/выбирает).
•Turns + cosine (базовое ранжирование).
•Turns + LLM (LLM-ранжировщик gpt4o mini).
🎯 Результаты
1. При строгом бюджете контекста сырые реплики не уступают извлечённым фактам: разница всего 0.5 пункта (77.0% против 77.5%) при чтении контекста в 265 против 251 токена. Это укладывается в заранее установленный зазор метрик в 5 пунктов.
2. Экономия на поиск сырых реплик - решение обходится в 3к (!!!) раз дешевле, чем извлечение фактов ($0.00061 против $1.865 за 1000 реплик).
3. Однако, польза от ранжирования резко падает с ростом бюджета. Если при выборе 3 из 30 кандидатов ранжирование даёт +17.4 пункта на LoCoMo, то при 20 кандидатах - всего +1.5. На LongMemEval: +9.1 и +1.1 соответственно.
4. При большом бюджете системы извлечения а-ля. Engram становятся точнее (82.4% против ~77.6% у Turns + Jev).
5. Jev против cosine ранжирования. Косинусный поиск на своём оптимальном k=6 даёт точность 68.6%, в то время как Turns + Jev — 77.0%.
Выводы. При жёстких ограничениях (короткий контекст до 512 токенов) качественное ранжирование сырых реплик может заменить извлечение фактов, будучи на порядки дешевле. При больших бюджетах преимущество переходит к extract моделям.
Отмечу, что Jev-селектор оказался не хуже LLM-ранжировщика (разница 0.4 пункта), но работал втрое быстрее. И это неплохое развитие rag memory систем дёшево и сердито. 😏
Кратко (AI)
В новом исследовании сравниваются два подхода к организации памяти ИИ-агентов: извлечение структурированных фактов и поиск по сырым репликам диалогов. Результаты показывают, что при ограниченном бюджете контекста поиск по сырым данным эффективнее и в тысячи раз дешевле, тогда как извлечение фактов выигрывает только при больших объемах контекста. Также отмечается высокая эффективность селектора Jev по сравнению с LLM-ранжировщиками.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖