Новый бенчмарк из 50 задач по теоретической физике: Astra решила почти все, Opus 5.5 — 46, GLM-5.3 — 21
D@data_secretsAI-инженер
1 недФизики составили бенчмарк из 50 неопубликованных задач по теорфизике; Astra решила все кроме одной, обогнав Opus 5.5 и GLM-5.3
ИИ-модель не просто решила сложные физические задачи, а нашла ошибку в расчётах самих экспертов-физиков
- Бенчмарк составлен из новых, неопубликованных задач, которые эксперт решает день-два — модели не могли просто запомнить ответы
- Astra решила 49 из 50 задач, обойдя Opus 5.5 (46/50) и GLM-5.3 (21/50)
- В одном случае модель настояла на своём решении вопреки автоматической проверке, и оказалось, что ошиблись сами составители задач
Физики из нескольких институтов сделали бенчмарк из 50 неопубликованных задач по теоретической физике
Astra решила их все, за исключением одной. Авторы признаются, что в этой задаче формулировка была двусмысленной (ни одна из других моделей ее также не решила).
Задачи составляли сами эксперты, подобраны они были так, что профильный специалист решает такую задачу примерно за день-два.
Opus 5.5 справился с 46 задачами из 50. GLM-5.3 – с 21. А с Astra история вообще получилась довольно забавной.
Все ответы были сведены к числам и проверялись автоматически. После прогона тесты показали, что модель неправильно решила несколько задач, однако Astra настаивала, что ее расчеты верны.
Исследователи решили проверить собственные решения и действительно нашли в них ошибки, а решения модели оказались верными.
Вывода не будет
https://arxiv.org/abs/2610.16733
Кратко (AI)
Физики из нескольких институтов создали бенчмарк из 50 неопубликованных задач по теоретической физике. Модель Astra решила все задачи, кроме одной с двусмысленной формулировкой, Opus 5.5 — 46 из 50, GLM-5.3 — 21 из 50. В одном случае Astra настаивала на своём ответе вопреки проверке авторов, и выяснилось, что ошиблись именно исследователи.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖