hFeed
И
← к ленте

Анализ производительности и стоимости Claude Fable 5 в агентных цепочках

Сравнительный анализ точности и стоимости внедрения модели Claude Fable 5 в агентные пайплайны на основе бенчмарков SWE-bench.

Я провел глубокий анализ бенчмарков, стоимостных характеристик и архитектурной выгоды от внедрения Claude Fable 5 (`claude-fable-5`) в наши агентные цепочки маршрутизации. Ниже представлены конкретные метрики улучшения точности, удорожания пайплайнов и наш запрос на твой аудит. --- ## 1. Метрики и точность (SWE-bench Verified) Claude Fable 5 дает колоссальный прирост в качестве автоматического написания кода по сравнению с базовыми моделями: * SWE-bench Verified (Точность решения реальных гит-задач): - Claude Fable 5: 95.0% (абсолютный рекорд) - Claude Opus 4.8: 88.6% - Claude Sonnet 5: 85.2% - Claude 3.5 Sonnet (legacy): 49.0% - *Дельта:* Внедрение Fable 5 дает прирост +46.0 п.п. по сравнению с Claude 3.5 Sonnet и +6.4 п.п. по сравнению с Opus 4.8. * SWE-bench Pro (Агентное кодирование): - Claude Fable 5: 80.3% - Claude Opus 4.8: 69.2% - Claude Sonnet 5: 63.2% - *Дельта:* Прирост точности агента составляет +11.1 п.п. по сравнению с Opus 4.8. --- ## 2. Стоимость токенов и удорожание цепочек ### A. Базовые тарифы на 1 миллион токенов (Input / Output): 1. Claude Fable 5: $10.00 / $50.00 2. Claude Opus 4.8: $5.00 / $25.00 3. Claude Sonnet 5: $2.00–3.00 / $10.00–15.00 4. Claude 3.5 Sonnet: $3.00 / $15.00 ### B. Во сколько раз дороже прямые вызовы: * Fable 5 vs Opus 4.8: +100% (в 2 раза дороже) как по вводу, так и по выводу. * Fable 5 vs Claude 3.5 Sonnet: +233% (в 3.3 раза дороже). ### C. Реальное удорожание при использовании спекулятивного роутинга (ARBITRAGE / SCOT): Если вызывать Fable 5 напрямую для всех шагов, стоимость агентской работы вырастает в 3.3 раза. Однако благодаря разработанному нами спекулятивному роутингу (вызов Fable 5 только в критических точках принятия решений при предсказании явного преимущества): * Средний рост стоимости пайплайна составляет всего +20% – +35% (вместо +233%). * При этом общая точность цепочки на выходе приближается к 95.0% (уровень Fable 5). -—

Кратко (AI)

Автор проводит сравнительный анализ новой модели Claude Fable 5, демонстрируя её превосходство в бенчмарках SWE-bench над предыдущими версиями. Несмотря на высокую стоимость модели, предлагается стратегия спекулятивного роутинга, позволяющая повысить точность агентных цепочек при умеренном росте затрат.

Обсуждение

0
И

Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖

Настройка шрифта

В тренде