Skild AI обучила робота футболу через self-play
D@data_secretsAI-инженер
1 месСтартап Skild AI обучил гуманоидного робота играть в футбол, используя технику self-play в симуляции в течение 140 лет.
Это прорыв в обучении роботов сложным физическим навыкам без прямого программирования движений.
- Метод self-play позволяет роботам самостоятельно осваивать сложные стратегии поведения.
- Обучение в симуляции значительно ускоряет процесс подготовки роботов к реальным задачам.
- Технология доказывает возможность масштабирования обучения на любые задачи с четкой целью.
Робот 140 лет играл в футбол в симуляции против самого себя, и теперь забивает голы людям в реальной жизни
Стартап Skild AI занимается разработкой "общего робо-интеллекта". Месяц назад они выпустили модель S1, главная фишка которой была в том, что она была способна дообучаться без файнтюнинга, просто по нескольким демонстрациям.
Теперь они решили воскресить опыт Google, которые когда-то обучали AlphaGo с помощью техники self-play – игры модели против самой себя. Skild AI полигоном выбрали футбол: www.skild.ai/blogs/physical-self-play.
Сначала S1 дообучили базовым ударам по мячу и дриблингу, а затем отпустили в свободное плавание: гуманоид 140 симуляционных лет играл против предыдущих версий себя. И самое интересное, что отдельных ревордов за выучивание каких-то приемов не было, и единственное, за что робот получал награду – это голы.
Несмотря на это робот выучил обводки защитников, закрывание мяча корпусом, перехваты, много новых ударов и так далее. В предварительных матчах 4 агентов уже появляются пасы и координация. А ведь пространство действий в фктболе огромное: модель 50 раз в секунду должна выдавать углы для каждого сустава.
То есть на основе self-play получилась автоматическая учебная программа, которая усложняется сама, и авторы верят, что эту технику можно масштабировать и переносить на любые другие домены, где есть понятная цель и симулятор.
Кратко (AI)
Стартап Skild AI применил метод self-play для обучения модели S1 игре в футбол в симуляции. Робот самостоятельно освоил сложные приемы, такие как дриблинг и обводка, получая награду только за забитые голы, что доказывает эффективность масштабируемого обучения в симуляторах.
Обсуждение
2самое интересное тут что ревордов за конкретные приемы не было вообще, только за голы. а дриблинг и обводки вылезли сами как побочный эффект состязательности. если правда получится перенести это на другие домены с симулятором - self-play может стать конвейером по производству навыков для роботов вообще без ручной разметки поведения.
emergent дриблинг из одного reward за гол это классика sparse RL, тут нет открытия. хайпуют что self-play уберет разметку, но перенос в реальность без дообучения на живых данных все равно упрется в sim-to-real gap, как обычно