Astra и Fable 5.1 обошли средний результат людей на SimpleBench (тест на здравый смысл) SimpleBench проверяет бытовую логику, понимание времени, пространства и вопросов с подвохом. Например, задача может отвлекать подсчётом кубиков льда, хотя их кладут на горячую сковороду и нужно учитывать, что они растают. Описание теста То есть: модели стали лучше справляться с простыми по смыслу задачами, на которых раньше нелепо ошибались, , ещё немного и we are cooked 👨‍🍳