Кризис осмысленности в научных статьях
З@CVML_teamAI-инженер
1 недАвтор критикует разрыв между исследованиями World Models и их практической пользой, приводя примеры семинаров и общения с исследователями.
У вас есть ощущение, что сейчас у большинства научных статей происходит кризис осмысленности?
Приведу несколько примеров.
Наверное, вы помните, что пару месяцев назад я делал интервью с Глебом на тему World Models. Глеб проводил целую серию семинаров о том, а вообще имеют ли смысл World Models, где в них искать преимущества и в чём их профит.
И это была очень ценная, на мой взгляд, и важная серия семинаров. Есть масса работ, поддержанных NVIDIA и другими компаниями, в которых проделана огромная и сложнейшая работа по тому, как обучить World Model, как получить дополнительные проценты на каком-то бенчмарке при таком подходе и прочее, и прочее.
Но при этом нет ни одной внятной демонстрации и чёткого ответа на вопрос, как именно это помогает. И чтобы разобраться с этим, нужно привлекать достаточно умных людей, которые глубоко в теме, причём не один раз.
И мне кажется, что это огромная проблема современной науки и современных статей.
Я вот полчаса назад сходил на небольшой семинар одного из авторов модели D-Robotics Uranus, который проводила сама D-Robotics. Я абсолютно случайно оказался в их Discord-канале, когда они прислали мне плату на тестирование. Наверное, вы помните видео про RDK S100.
Они параллельно занимаются тем, что обучают World Models.
Автор рассказал доклад. Явно написанный чатом гпт. Здоровый человек не говорит в таких формулировках.
Я спросил автора, смогли ли они сделать какой-нибудь простой тест на новом роботе в новом environment и сравнить результат с каким-нибудь ACT. Или сделать любой ablation study. Мой вопрос был единственным. Автор решил что лучший ответ - отключить камеру и перестал отвечать на что либо. 🤣🤣🤣
Мне кажется, это очень показательно.
Когда я смотрю на реальные стартапы, которые что-то делают, они очень часто не используют вообще никакие технологии, появившиеся за последние три-четыре года. Потому что ещё не произошло осмысления того, что было сделано за это время, и того, как это применять в реальности. И абсолютно не факт, что значительная часть этих технологий вообще дойдёт до реального применения.
Мне это кажется катастрофическим разрывом с тем, как всё было 20 лет назад. Когда практически по любой статье, которая появлялась, с автором можно было очень долго разговаривать о том, где это можно использовать, какие проблемы это в реальности может решать.
И авторы были супер открыты к тому, чтобы обсуждать, что да, им кажется, что это, конечно, не общий метод, но вот тут, тут и тут он может значительно усилить существующие алгоритмы.
Сейчас же авторы живут в каком-то своём воображаемом замке, который очень плохо маппится на реальность.
Кратко (AI)
Автор считает, что многие современные научные работы не дают ясного ответа на вопрос о практической пользе предложенных методов. В качестве примеров он приводит исследования World Models, семинар D-Robotics и отсутствие убедительных сравнений и проверок на реальном роботе.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖