Исследователи Google, DeepMind и университетов Мэриленда и Вирджинии опубликовали работу о рекурсивном самоулучшении ИИ (RSIi) под названием Dream-RSI. Система не переобучает саму нейросеть, а совершенствует стратегию поиска решений: сохраняет дерево прошлых попыток агента и «проигрывает» его заново с альтернативными стратегиями — какие идеи развивать, какие тупики отбросить раньше, что проверять параллельно — без единого нового запуска. Лучшая найденная стратегия применяется в следующем реальном запуске, после чего цикл повторяется.

Подход даёт заметную экономию вычислений при решении задач и намекает на путь к агентам, которые сами совершенствуют собственную работу, а не только выполняют её.

• Каждый узел дерева попыток хранит реальный результат выполнения, поэтому альтернативную стратегию можно проверить по этому дереву в другом порядке — это и называется «сном»
• Цикл работы: агент ищет решение онлайн и записывает дерево попыток → другой агент переписывает код стратегии исследования и бесплатно проверяет тысячи вариантов по накопленной истории → в продакшн уходит только победитель, добавляя новое дерево в общий пул
• Текущая стратегия тоже участвует в отборе, поэтому результат не может стать хуже
• В разработке алгоритмов получено до 162 раз меньше вызовов агента относительно SimpleTESi (при разных базовых моделях)
• При сравнении на одной и той же модели выигрыш составил около 1,7 раза с улучшением итогового результата
• В задачах оптимизации GPU-кода потребовалось до 2,43 раза меньше генераций
• По оценке канала AI Product | Igor Akimov, для решения задач в целом требуется в 2-3 раза меньше вызовов; авторы советуют логировать все попытки с результатами, а не только успешные саммари — это бесплатный полигон для будущих версий
• Статья и примеры кода опубликованы открыто, полный код готовится к публикации; сайт проекта — dream-rsi.com