ARC-AGI-3 — это эталонная игра для изучения интеллекта агентов в новых, абстрактных, пошаговых средах. Агенты должны исследовать окружающую среду, определять цели и создавать внутренние модели, чтобы эффективно планировать действия без явных инструкций.
Результаты Astra на бенчмарке ARC-AGI-3
И@AImademydayAI-инженер
1 месАнализ производительности модели Astra на бенчмарке ARC-AGI-3 с использованием различных методов адаптации.
Методы тестирования ИИ могут радикально искажать реальные показатели способностей моделей.
- Результаты бенчмарков сильно зависят от того, как именно модель взаимодействует со средой.
- Оптимизация 'обвязки' (адаптера) может значительно повысить эффективность решения задач при снижении затрат.
- Высокие показатели в тестах не всегда означают универсальный интеллект, а могут быть следствием узкой настройки.
Жесть.
99.9% Astra на ARC-AGI-3 — заслуга обвязки — на стандартном харнессе 62.7% за $26 098, на Provider Adapter 99.9% за $18 817.
КонтекстAI
ARC-AGI (Abstraction and Reasoning Corpus) — это сложный бенчмарк для оценки способности ИИ к абстрактному мышлению и решению задач, с которыми модель ранее не сталкивалась. Использование специализированных адаптеров (обвязок) для таких тестов часто становится предметом дискуссий о том, насколько результат отражает реальный интеллект модели, а не оптимизацию под конкретный тест.
Кратко (AI)
Автор поста утверждает, что высокий результат модели Astra на бенчмарке ARC-AGI-3 в 99.9% достигнут преимущественно за счет использования Provider Adapter. При этом стандартный метод тестирования показывает значительно более низкий результат при более высокой стоимости.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖