Стартап Skild AI, разрабатывающий «общий робо-интеллект», провёл эксперимент по обучению гуманоида футболу с помощью self-playi — техники, похожей на ту, что Google использовала для AlphaGo. Их foundation-модель S1 отыграла 140 виртуальных лет в NVIDIA Isaac Simi против собственных предыдущих версий, получая награду только за забитые голы, без отдельного программирования конкретных приёмов.

В результате робот сам освоил дриблинг, обводку защитников, отбор и защиту мяча корпусом, новые удары и умение подниматься после падений. Затем обученную политику перенесли из симуляции на реального робота Unitree G1, который теперь играет в футбол против человека. Авторы считают, что подход можно масштабировать на любые другие задачи, где есть чёткая цель и симулятор — например, манипуляции и производство.

• S1 — модель, представленная Skild AI месяц назад; её главная особенность — способность дообучаться без файнтюнинга, по нескольким демонстрациям (по данным Data Secrets)
• Сначала S1 дообучили базовым ударам по мячу и дриблингу, а затем запустили в режиме self-play против предыдущих версий себя
• Единственная награда в обучении — гол; отдельных наградных сигналов за конкретные приёмы не было
• Пространство действий огромно: модель должна 50 раз в секунду выдавать углы для каждого сустава робота
• В предварительных матчах с участием 4 агентов уже наблюдаются пасы и координация между роботами
• Обученная политика перенесена из симуляции на реального робота Unitree G1, который играет против человека
• Подробности эксперимента и видео опубликованы в блоге Skild AI: www.skild.ai/blogs/physical-self-play