S-Agent 2.0 измеряет сцены по фото и видео
Н@GreenNeuralRobotsAI-инженер
5 днS-Agent 2.0 превращает фото и видео в метрическую 3D-сцену и отвечает на вопросы о расстояниях, глубине, положении и движении.
Инструмент позволяет кодинг-агенту отвечать на вопросы о сцене, опираясь на измерения, а не только на визуальную интуицию.
- Сцена по фото и видео собирается в метрическую 3D-модель с выравниванием по гравитации.
- Агент может сохранять положение, размер, позу и имена объектов между вызовами.
- Ошибки реконструкции и выбор неверного наблюдателя могут привести к ошибкам в ответах.
S-Agent 2.0
Набор восприятия в виде консольных команд для обычного кодинг-агента. Агент не просто смотрит на картинку, а измеряет сцену и опирается на числа
Смысл в том, что модель часто получает верный замер и все равно отвечает мимо: путает систему отсчета или перебивает измерение интуицией. Здесь агент обязан ссылаться на посчитанное. Слабое место - ошибки реконструкции и неверно поставленный наблюдатель, они тянутся в ответ
Внутри замороженные Depth Anything 3, p-mos, GeoCalib и SAM 3
• Сборка метрической сцены по фото и видео, выравнивание по гравитации
• Сегментация и превращение масок в именованные 3D-инстансы
• Память сцены между вызовами: позиция, размер, поза, имя
• Чтение в пространственном языке: спереди, слева, ниже, с единицами и системой отсчета
• Расстояния, глубина, высота, движение камеры и объектов, компас, вид сверху
• Проверка масок и карты перед ответом
github.com/Ropedia/S-Agent-2.0
#agent #vlm
Кратко (AI)
S-Agent 2.0 — набор консольных команд для кодинг-агента, который строит метрическую 3D-сцену по фото и видео. Он хранит параметры объектов и отвечает на пространственные вопросы, опираясь на вычисленные измерения; среди ограничений названы ошибки реконструкции и неверно заданный наблюдатель.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖