Релиз модели Opus 5.5
В@ventureStuffмедиа / агрегатор
1 месАнонс выхода новой модели Opus 5.5 и размышления о сложности интерпретации постоянно меняющихся бенчмарков в индустрии ИИ.
Постоянное обновление метрик оценки ИИ затрудняет сравнение эффективности новых моделей.
- Выход новых моделей происходит быстрее, чем стандартизация методов их тестирования.
- Разнообразие бенчмарков создает путаницу для пользователей при выборе инструментов.
- Цифры в отчетах компаний часто зависят от выбранной методологии, а не только от реальной мощности модели.
Opus 5.5
Я не тестил, только узнал новость.
но.
Друзья я потерялся в этих бенчмарках!
Только месяц назад читал таблички где слова 82%, 88%
Теперь новые таблички 66%, 55.8%
Всегда какие-то случайные числа (не случайные но метрики постоянно новые)
Кратко (AI)
Автор сообщает о выходе новой модели Opus 5.5. При этом он выражает скепсис по поводу актуальности и сопоставимости современных бенчмарков, которые постоянно меняются и демонстрируют разные показатели.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖