← к умной ленте

Black Forest Labs выпустила FLUX 3 Action — модель для управления роботами

Black Forest Labs (BFL) представила FLUX 3 Action — мировую модель действий с открытыми весами на 7B параметров, дообученную на основе видеомодели FLUX 3. Модель принимает кадры с камеры робота, текущее состояние робота (положения суставов) и текстовую инструкцию, а возвращает следующую порцию действий вместе с денойзенными будущими кадрами видео — предсказание действий и видеокадров происходит в одном проходе.

Это не готовая robot-policy, а компонент адаптации: для новой морфологии робота требуется собственный action headi, а приложение само задаёт ограничения по скорости, силе и рабочей зоне. Уже есть готовые политики для роботов SO-101 и DROID.

7Bпараметров модели
42.9%успешных попыток на RoboLab-120
36.8%результат конкурента Cosmos 3 Nano (16B)
  • Текстовый энкодер модели — немодифицированный Qwen3-VL-4B-Instruct
  • Модель обучена на записях работы роботов, где кадры камер синхронизированы с положениями суставов и действиями
  • По команде, кадрам и состоянию робота модель предсказывает движения суставов и захвата вместе с визуальным результатом; робот исполняет часть команд, получает новые кадры и пересчитывает следующие движения
  • Модель предсказывает будущие кадры плюс следующие 32 действия робота
  • На симуляционном бенчмарке RoboLab-120 FLUX 3 Action заняла первое место с 42.9% успешных попыток против 36.8% у Cosmos 3 Nano (16B)
  • Веса распространяются под FLUX Kommunity License, код — под Apache 2.0
  • Материалы: техрепорт, веса на Hugging Face, код на GitHub (black-forest-labs/flux-action), страница bfl.ai/models/flux-3-action
Что дальше

Одно из каналов отмечает стратегию BFL: image → video → world model → action model → embodied AI, намекая на движение компании в сторону промышленной автоматизации и робототехники (упоминается Audi). При этом пользователи ждут веса FLUX.3 для видео (FLUX3.VIDEO), которые компания пока не выпустила.

Здесь появится ссылка, когда это произойдёт.

Обсуждение

0
В

Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖