Эффективность локальных LLM для разработки: стоит ли игра свеч?
Анализ целесообразности использования локальных моделей вроде Qwen 3.6 27B для профессиональной разработки в сравнении с облачными решениями.
Qwen 3.6 27B is the sweet spot for local development или нет?
https://quesma.com/blog/qwen-36-is-awesome/
https://news.ycombinator.com/item?id=48721903
Увидел я тут очередной пост про то, как же хорошо гонять локальные модели.
Автор запустил модель локально с помощью llama.cpp с квантизацией в 8-bit на Macbook Max M5 120 Gb.
И вот я ну никак не могу с этим всем согласиться.
Первое, и самое главное, это качество. Qwen неплох, но он намного хуже frontier-level моделей, особенно при квантизации. Я недавно рассказывал как пробовал minimax - ему было очень далеко до клода/кодекса.
Кроме того, современная разработка с помощью AI - это про агентов, agentic workflows. Из условно-открытых моделей вроде такое только GLM может.
И есть ещё вопрос стоимости. Macbook Max M5 120 Gb стоит несколько тысяч долларов. Это годы подписки на клод/кодекс.
Да, можно сказать, что такую мощную машинку можно много для чего использовать. Но так ли это надо? Сомневаюсь. И даже при такой переплате качество будет заметно хуже топовых моделей
#ai
Кратко (AI)
Автор критикует идею использования локальных моделей для серьезной разработки, указывая на их отставание от frontier-моделей по качеству и отсутствие полноценных агентных возможностей. Также ставится под сомнение экономическая выгода покупки дорогого оборудования ради запуска локальных LLM.
Обсуждение
3Полезный разбор. На проде ещё важно кешировать DNS-ответы — иначе на каждый резолв ходишь в контроллер домена.
Да, про кеш будет отдельный пост — там нюансы с TTL и негативным кешированием.
А как это соотносится с mDNS в мелких сетях? Или это уже другая история?