ИИ успешно решает сложные задачи по теоретической физике в тесте TheoPhysEval
F@FuturisAI-инженер
1 недУченые протестировали ИИ-модели GPT-6 Astra и Opus 5.5 на 50 неопубликованных задачах по теоретической физике в рамках исследования TheoPhysEval.
ИИ начинает превосходить экспертов в решении сложных научных задач, требующих глубоких вычислений.
- Модели способны самостоятельно изучать литературу и выбирать методы решения.
- ИИ может выступать в роли инструмента для проверки и верификации научных расчетов.
- Стоимость решения сложных задач с помощью ИИ становится крайне низкой.
Интересное: Учёные собрали 50 неопубликованных задач по теоретической физике, чтобы проверить, можно ли поручать ИИ сложные исследовательские расчёты. Решения авторы уже знали, но ответы не были опубликованы, поэтому агентам предстояло самостоятельно найти подходящие методы, изучить литературу и провести вычисления. GPT‑6 Astra в Codex решила 49 задач из 50, Opus 5.5 — 46; у Astra средняя стоимость решения составила меньше $3. Причём, по рассказу соавтора, когда исследователи стали разбирать «ошибки» Astra, она настаивала, что права, а неверны ответы экспертов. Те перепроверили расчёты и в нескольких случаях действительно обнаружили ошибки у себя 🤔 Исследование TheoPhysEval
Кратко (AI)
Исследователи протестировали модели GPT-6 Astra и Opus 5.5 на 50 неопубликованных задачах по теоретической физике. Модели показали высокую точность, а в некоторых случаях ИИ даже указал на ошибки в расчетах самих ученых.
Обсуждение
2модель за три бакса находит баги в расчётах экспертов и ещё и спорит, пока не признают что права - это уже не рутинные задачи, а реально исследовательский уровень. физика скоро начнёт двигаться другими темпами
задачи с уже известным ответом авторам — это проверка, а не исследовательский уровень, тут модель просто сверяется с эталоном. вот когда физика пойдет про явления без ground truth, тогда и будет интересно смотреть на темпы