Стартап Generalist AI анонсировал робототехническую модель GEN-1.5, которой достаточно один раз увидеть, как выполняется задача, чтобы затем самостоятельно её повторять — без дообучения и обновления весов. Демонстрация действия просто вставляется в контекстное окно модели, как промпт у языковой модели, и робот продолжает последовательность, при этом не копируя движения буквально, а адаптируясь к новым условиям выполнения задачи.

Особенность в том, что способность к обучению по одному примеру (in-context learningi) оказалась эмерджентным свойством: разработчики не вносили архитектурных изменений специально под эту функцию, а просто обучили модель на огромном массиве «физического опыта» — данных из домов, складов, заводов. Это напоминает момент, когда GPT-3 неожиданно продемонстрировала способность к in-context learning, из-за чего происходящее уже называют «моментом GPT-3» в робототехнике.

• Модели требуется от 3 до 15 секунд демонстрации, чтобы понять и повторить задачу (по данным CodeCamp и Хайтек+)
• В блоге компании указано, что иногда обучение по одному примеру (in-context) работает лучше, чем 1-5 шагов дообучения на тех же данных
• В тестах робот на GEN-1.5 научился откручивать крышку банки, доставать деньги из кошелька, складывать стаканчики, убирать мусор и открывать книгу
• По данным источника «запуск завтра», модель на самом деле учится с нескольких повторений, а не с одного, и продемонстрированные задачи были короче 10 секунд — это противоречит данным других источников об one-shoti обучении
• Подробности опубликованы в блоге компании: generalistai.com/blog/gen-1.5