Black Forest Labs (BFL) представила FLUX 3 Action — мировую модель действий с открытыми весами на 7B параметров, дообученную на основе видеомодели FLUX 3. Модель принимает кадры с камеры робота, текущее состояние робота (положения суставов) и текстовую инструкцию, а возвращает следующую порцию действий вместе с денойзенными будущими кадрами видео — предсказание действий и видеокадров происходит в одном проходе.
Это не готовая robot-policy, а компонент адаптации: для новой морфологии робота требуется собственный action headi, а приложение само задаёт ограничения по скорости, силе и рабочей зоне. Уже есть готовые политики для роботов SO-101 и DROID.
- Текстовый энкодер модели — немодифицированный Qwen3-VL-4B-Instruct
- Модель обучена на записях работы роботов, где кадры камер синхронизированы с положениями суставов и действиями
- По команде, кадрам и состоянию робота модель предсказывает движения суставов и захвата вместе с визуальным результатом; робот исполняет часть команд, получает новые кадры и пересчитывает следующие движения
- Модель предсказывает будущие кадры плюс следующие 32 действия робота
- На симуляционном бенчмарке RoboLab-120 FLUX 3 Action заняла первое место с 42.9% успешных попыток против 36.8% у Cosmos 3 Nano (16B)
- Веса распространяются под FLUX Kommunity License, код — под Apache 2.0
- Материалы: техрепорт, веса на Hugging Face, код на GitHub (black-forest-labs/flux-action), страница bfl.ai/models/flux-3-action
Одно из каналов отмечает стратегию BFL: image → video → world model → action model → embodied AI, намекая на движение компании в сторону промышленной автоматизации и робототехники (упоминается Audi). При этом пользователи ждут веса FLUX.3 для видео (FLUX3.VIDEO), которые компания пока не выпустила.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖