Вопрос о целесообразности использования LLM-as-a-judge для оценки квантованных моделей


В твиттере энтузиасты дали ИИ-модели Claude 5 Opus Ultrathinki задачу «Build Formula 1 car, make no mistakes» и подключили её к Blender через MCPi (Model Context Protocol). Эксперимент завершился спустя 10 часов работы, потребовав 50 агентов и 10 миллионов токенов.
История разошлась по каналам как показательный пример того, насколько ресурсоёмкими становятся агентные ИИ-эксперименты с 3D-моделированием.





Питер Штайнбергер, известный как ClawFather, рассказал историю создания OpenClawi — проекта, начавшегося не как «платформа для агентов», а как решение личной проблемы: он хотел отправлять задачи компьютеру с телефона. Первый прототип просто связывал WhatsApp с ноутбуком, но именно тогда агент перестал ощущаться как обычный чат — он получил доступ к реальному компьютеру и начал выполнять действия.
Главный вывод выступления: ценность агента определяется не только моделью, а средой, способной поддерживать его долгую автономную работу — с памятью, инструментами, устойчивостью к смене поставщика моделей и контролируемыми издержками. Ключевая формула Штайнбергера: «Your dependency business model is your business model» — если продукт завязан на одного поставщика модели, он наследует все его цены, ограничения и внезапные изменения политики.

