В бенчмарке TheoPhysEvali проверили, способны ли ИИ самостоятельно решать сложные задачи по теоретической физике: модели должны были найти методы, изучить литературу и выполнить расчёты. GPT‑6 Astra в Codexi решила 49 задач из 50; ответы не были опубликованы, хотя эталонные решения авторы уже знали.

Результаты показали, что модель может не только справляться с задачами исследовательского уровня, но и выявлять ошибки в расчётах экспертов. Однако одна задача оказалась двусмысленной, и её не решила ни одна из проверенных моделей.

• Задачи составляли физики из нескольких институтов; по оценке авторов, профильному специалисту на одну такую задачу требуется примерно день-два.
• Opus 5.5 решила 46 задач из 50, а GLM-5.3 — 21.
• Ответы свели к числам и проверяли автоматически. Когда система пометила несколько решений Astra как неверные, исследователи перепроверили свои расчёты и в нескольких случаях нашли ошибки у себя.
• Средняя стоимость решения одной задачи для Astra составила меньше $3.