BFL выпустили FLUX 3 Action для управления роботами
э@ai_newzAI-инженер
1 месBFL представили FLUX 3 Action — видеомодель на 7B параметров для управления роботами, обучаемую на синхронизированных данных с камер и датчиков суставов.
Новый подход к обучению роботов через видеомодели повышает точность выполнения задач.
- Модель предсказывает движения суставов и визуальный результат одновременно.
- Показала более высокую эффективность в симуляции по сравнению с Cosmos 3 Nano.
- Открытый код и лицензия позволяют использовать технологию для разработки собственных робототехнических решений.
BFL выпустили FLUX 3 Action для управления роботами
BFL дообучили основу видеомодели FLUX 3 на записях работы роботов, где кадры с камер синхронизированы с положениями суставов и действиями. Модель на 7B учится совместно восстанавливать из шума будущие кадры и последовательность движений.
По текстовой задаче, текущим кадрам и состоянию робота она предсказывает движения суставов и захвата вместе с их визуальным результатом. Робот исполняет часть команд, получает новые кадры и пересчитывает следующие движения.
На симуляционном RoboLab-120 заняли первое место с 42.9% успешных попыток против 36.8% у Cosmos 3 Nano на 16B. Под нового робота нужно дообучение. Веса под FLUX Kommunity License, код под Apache 2.0.
Техрепорт
Веса
Код
@ai_newz
Кратко (AI)
Компания BFL представила модель FLUX 3 Action, предназначенную для управления роботами. Модель обучается на данных, объединяющих видеопоток и показатели состояния суставов, что позволяет ей предсказывать движения и визуальный результат действий робота.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖