Исследование MirroS: обнаружение 3D-карты в мультимодальных моделях
Н@GreenNeuralRobotsAI-инженер
2 недИсследователи обнаружили 3D-подпространство в активациях мультимодальных моделей, отвечающее за пространственное восприятие объектов.
Это открытие помогает понять, как нейросети «видят» пространство, и открывает путь к созданию более точных моделей для робототехники и навигации.
- Позволяет напрямую извлекать пространственные данные из моделей без использования текстовых промптов.
- Помогает диагностировать ошибки моделей при оценке перспективы и расстояний.
- Открывает возможности для прямого управления пространственным восприятием ИИ.
S-Space
Исследование MirroS: у мультимодальных моделей внутри есть «3D-карта». В промежуточных активациях нашли 3D линейное подпространство, где объекты лежат с координатами по горизонтали, вертикали и глубине.
• Кодирует непрерывные позиции объектов (X, Y, расстояние)
• Персистентно между промптами и ракурсами
• Объединяет визуальное и языковое, включая объекты за пределами видимого
• Можно каузально менять, чтобы управлять пространственными оценками
• Прямое чтение подпространства работает точнее нативной рассуждалки модели
• Испробовано на Molmo2-ER, MolmoAct2, Qwen3.5-4B, Qwen3.6-27B
Полезно и для диагностики: показывает, где и как модель проваливается в «принятии перспективы». Подсказывает путь к надежным пространственным рассуждениям и действиям
github.com/mirros-lab/s-space
#research #reasoning
MAX
Кратко (AI)
Исследовательский проект MirroS выявил наличие 3D-линейного подпространства в промежуточных активациях мультимодальных моделей. Это пространство кодирует координаты объектов и позволяет напрямую считывать их положение, что работает точнее, чем стандартные механизмы рассуждения моделей.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖