Google представила Dream-RSI: систему для самоулучшения ИИ через опыт

Ну вот и первые ласточки RSI: Google представила работу о самоулучшении ИИ через собственный опыт. Исследователи Google, DeepMind и университетов Мэриленда и Вирджинии выкатили Dream-RSI. Система сохраняет историю экспериментов и переигрывает её с разными стратегиями: какие идеи развивать, какие тупики раньше бросить, что проверять параллельно. Лучшую стратегию применяют в следующем настоящем запуске, получают новый опыт и повторяют цикл. ИИ совершенствует способ поиска решений, не переобучая саму нейросеть. В разработке алгоритмов авторы получили до 162 раз меньше вызовов агента относительно SimpleTES, хотя системы использовали разные базовые модели. При сравнении на одной модели выигрыш составил около 1,7 раза, с улучшением результата. В отдельных задачах оптимизации GPU-кода потребовалось до 2,43 раза меньше генераций. Если подход масштабируется, он может ускорить и разработку самого ИИ: больше полезных экспериментов за те же деньги. Пока это улучшение исследовательской стратегии, но вполне конкретный шаг к агентам, которые сами совершенствуют свою работу. Статья и примеры открыты, полный код ещё готовят к публикации.