← к умной ленте

Cursor подсчитал в долларах, во сколько разным LLM обходится переписать SQLite на Rust с нуля

AI-редакция
2 источника · показать все· свернуть
собирается · 2обновлено 1 мес назад

Anyspherei (разработчик Cursor) провела эксперимент: команде AI-агентов поручили реализовать на Rust всё содержимое 835-страничного руководства SQLite — без доступа к исходному коду СУБД, готовым сборкам, тестам и интернету. Цель — понять, как выбор модели для планирования и модели для исполнения влияет на стоимость и качество результата в API-ценах.

Все протестированные конфигурации в итоге прошли полный тестовый набор, но стоимость прогона отличалась в разы: от $1339 до $10565 в основном сравнении и до $20057 — если считать неофициальные одиночные запуски. Вывод Cursor: дорогую топовую модель достаточно привлекать на этапе декомпозиции задачи и проектных решений, а рутинное исполнение можно отдавать более дешёвой модели без потери качества.

835 страницобъём руководства SQLite
$1339–$10565диапазон стоимости прогонов
15хразброс стоимости между вариантами
  • Всего было 4 официальные конфигурации: GPT-5.5 и Grok 4.5 — сами планировали и сами исполняли; Opus 4.8 и Fable 5 — планировали, а исполнение отдавали собственной модели Cursor Composer 2.5i
  • Качество проверяли по набору sqllogictesti из проекта SQLite (сверяет ответы разных SQL-движков на одинаковые запросы); агентам о существовании этого набора не сообщали, код дополнительно проверяли вручную на подгонку под тесты
  • Самая дешёвая официальная конфигурация — Opus 4.8 (планирование) + Composer 2.5 (исполнение) — $1339; самая дорогая — GPT-5.5 в одиночку — $10565; Grok 4.5 в одиночку — $1,9 тыс.; гибрид Fable 5 + Composer 2.5 — $2,2 тыс.
  • Дополнительно, неформально и без включения в основное сравнение по качеству, прогнали Opus 4.8 и Fable 5 в одиночку — $5153 и $20057 соответственно
  • По данным BOGDANISSSIMO, разброс стоимости между самым дешёвым и самым дорогим вариантом составил 15х, а самой дорогой конфигурацией названа связка «планирование и исполнение — всё на Fable 5» (соответствует неофициальному одиночному прогону Fable 5 за $20057, а не GPT-5.5 из основного сравнения по данным Machinelearning)
  • От конфигурации с GPT-5.6 Sol отказались: модель оказалась чувствительной к буквальным формулировкам промптов и уходила в неконтролируемые циклы, а переписывать промпты под неё не было времени
  • Код соло-запуска Opus 4.8 выложен Cursor на GitHub

Обсуждение

0
В

Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖