OpenAI опубликовала 372 математических решения, сгенерированных ИИ
С@seeallochnayaAI-инженер
2 недOpenAI протестировала мощную модель на 4000 математических задач, решив 372 из них. Результаты вызвали дискуссию о будущем академической науки.
ИИ начал массово решать сложные научные задачи, что ставит под вопрос традиционные методы академических исследований.
- ИИ способен генерировать научные результаты уровня престижных премий за считанные часы.
- Массовая публикация ИИ-решений обесценивает многолетние усилия исследовательских групп.
- Научное сообщество вынуждено пересматривать стандарты проверки и признания доказательств, созданных нейросетями.
Но этот подход сработал, пока статья была одна и решений была парочка; но что если взять мощные внутренние модели фронтир компаний и пройтись по широкому набору открытых проблем? Так сделали OpenAI: они взяли ту же модель, что решила задачу тысячелетия в начале сентября и пропустили через неё примерно 4000 задач. Количество мощностей почти на каждую задачу было относительно маленьким: вместо роя из тысяч агентов всего лишь аналог ~3 часов работы GPT Pro (это которая запускает несколько суб-агентов в паралелль, и в целом доступна в подписке за $100/$200).
Получилось решить 372, и по этим результатам LLM написали 719 статей (сами решения + сопутствующие аргументы, следствия или альтернативные доказательства).
Перед OpenAI встал выбор: а чо делать та)
В прошлый раз, когда они выложили один (1) результат по Навье-Стоксу — на них ополчилась часть математического сообщества. Не все были довольны, особенно те, кто работал в том же направлении. А тут целых 372 результата — это же сотни рабочих групп, от студентов до докторов наук, по всему миру. Они вот сидели работали год или даже больше над чем-то, возможно были очень близки, а тут... выйдет вайб-слоп статья от внутренней модели OpenAI, которая даёт результат? Как на это отреагируют?
Кажется, что повторить подход Anthropic будет сложно чисто с организационной точки зрения: искать сотни людей в академии, подписывать с ними соглашения, терпеть людей вроде Buckmeister, которые скажут, что украли их результаты, и платить за ревью.
В итоге OpenAI сделали простое заявление, выложили все результаты на GitHub. 63% от 372 основных результатов помимо статьи имеют формализованное на Lean доказательство (это язык программирования для математиков, на котором можно записать доказательство, а компьютер проверит, что в нём нет несостыковок и ошибок). Это не даёт 100% гарантии что они все верны, но в целом является солидным подкреплением. Я удивлюсь, если в формализованных результатах, скажем, больше 10-12% будет ошибочным — и ещё меньшая часть будет неисправима в краткие сроки.
OpenAI уже отозвали 3 статьи, исправили ещё 14, правда я не нашел статистики сколько исправлений как раз в формализованных результатах.
Может ли научное сообщество игнорировать этот сказочный слоп дроп? Нет: там есть очень сильные результаты, и как минимум про 10 разных статей я читал от, кажется, авторитетных математиков и учёных других областей, что сам по себе такой результат, будь он опубликован человеком, сделал бы ему имя, попало бы в ведущий журнал или вовсе привело к получению Филдсовской премии. Сложно закрыть глаза, сказать «ничего этого нет» и продолжить работу как будто ничего не случилось.
Но и вычитывать ошибки за LLM или брать решение OpenAI «на веру» и не разбираться в нём (а разбирать LLM-сгенерированные статьи без вычитки и полировки очень сложно, с этим согласны кажется все) научное сообщество не готово, да и не должно.
Так что сейчас идут активные обсуждения будущего математики и смежных наук. Как должно выглядеть будущее, где компания в один день может подрезать работы тысяч учёных? Как тем работать, зная, что перед релизом следующей модели существует угроза его работе? В чем искать смысл?
КонтекстAI
Ранее OpenAI уже публиковала решение одной сложной математической задачи, что вызвало критику со стороны части математического сообщества. Текущий масштабный релиз 372 решений ставит под угрозу актуальность работы тысяч ученых, работающих над аналогичными проблемами, и поднимает вопросы о доверии к ИИ-сгенерированным доказательствам.
Кратко (AI)
OpenAI применила свою модель для решения 4000 математических задач, успешно справившись с 372 из них. Компания опубликовала результаты на GitHub, при этом 63% решений подкреплены формализованными доказательствами на языке Lean. Это событие спровоцировало серьезную дискуссию в научном сообществе о будущем математики и этике публикации результатов, полученных с помощью ИИ.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖