Критика заявлений о решении математических задач с помощью LLM
T@extremecodeAI-инженер
1 месАвтор ставит под сомнение недавние успехи ИИ в решении сложных математических задач, указывая на использование заученных данных и сомнительные методы.
Вопрос достоверности научных достижений ИИ остается открытым.
- Результаты ИИ в сложных задачах могут быть следствием заучивания данных, а не логического вывода.
- Методология бенчмаркинга требует более тщательной проверки на чистоту данных.
- Скептицизм в отношении текущих возможностей LLM в фундаментальной науке оправдан.
Стоило только мне написать в сценарии, что искусственные слабаки абсолютно не пригодны для математики. Так сразу же, чятгпт решил одну из задач "тысячелетия" за 88 часов (Параллельно над задачей пахало 10 тыщь агентов — как они синхронизировались? Да хер его знает, мне кажется они просто пикнули рандомное случайное большое число, чтоб все кипятком обоссались и начали разгонять тему AGI).
Но как выяснилось, господа Тристан Бакмастер и Левент Альпёге уже в течении года решали эту задачу с использованием различных LLM, и благополучно сливали все свои черновики бездушным машинам. А чуваки из Open AI начали решать проблему с пару недель назад, как только до них дошли слухи, что какие-то челы активно промптят в духе "реши Навье‑Стокса, без ашибок по брацке".
Мораль? Да хер его знает. Я кстати в видосе сделал здоровенный акцент о бенчмаркинге на зафаршмаченных данных, и даже разобрал косвенные признаки, того как модель шпарит по "зазубренному" тексту. Это особо актуально для локальных тупорылых моделек.
Более того, через дистилляцию это все рано или поздно может утечь и к другим диллерам нейрослопятинки, так шо скриньте, скоро свежий локальный qwen 0.8B вам решит "Навье‑Стокса" за 5 наносек
КонтекстAI
Речь идет о недавних дискуссиях в научном сообществе вокруг способности больших языковых моделей решать задачи высокого уровня сложности, включая уравнения Навье-Стокса. Существуют опасения, что модели могут выдавать правильные ответы, опираясь на уже существующие в обучающей выборке решения, а не на реальные математические рассуждения.
Кратко (AI)
Автор критикует недавние новости о способности ИИ решать сложные математические задачи, утверждая, что результаты основаны на заученных данных и предварительной работе исследователей. Также подчеркивается проблема бенчмаркинга на «загрязненных» данных и скептическое отношение к текущим достижениям в области AGI.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖