Локальный AI дорожает, а облако дешевеет
С удовольствием прочитал пост
Local AI is a trap for most people.
Автор вложил больше $95 тысяч в железо - шесть кластеров DGX Spark и серверы и держит отдельного разработчика, который возится с этим каждый день.
При этом он платит $2100 в месяц за облачные подписки и API.
То есть даже автор с компанией на 100 человек и опытом в IT компаний из Fortune 100 от облака не отказался. Локальное железо у него работает в дополнение.
Mac Studio на 128 ГБ за $5099 медленный, рабочий вариант - M5 Ultra за $10 799.
Лучшая локальная модель для кода набирает 30,9% на Terminal-Bench 2.0, Claude Opus 4.5 - 53,9%.
По сравнению с подпиской за $200 железо окупается почти три года. Плюс ты сам себе IT-отдел.
В MacStories
тестировали Mac Studio на 512 ГБ и получили 24 токена в секунду на модели 235B. А модель на 32B назвала фото эргономичных мышек «коллекцией ракушек», такое обычно не скриншотят.
С этим я согласен. Даже приватность, с которой начинают все продавцы локального AI, бизнес в большинстве случаев решает договором: API, который не хранит данные, или модель в собственном контуре Azure.
Недавно мы покупали для проекта Asus DGX Spark по $3999, сейчас на Amazon он стоит $8500–9500.
AI-железо дорожает, хотя мы привыкли, что техника со временем дешевеет.
Внутри 128 ГБ памяти, а память сейчас самый дефицитный ресурс во всём стеке, я писал
об этом.
За неё вы конкурируете с хайперскейлерами, которые забирают объёмы оптом и первыми. А цена токена в облаке пока падает каждый квартал.
Получается, вы покупаете самый дефицитный ресурс по розничной цене, чтобы пользоваться им пару часов в день. У провайдера GPU круглые сутки загружены запросами тысяч людей, а ваш Mac Studio большую часть дня ждёт, пока вы допечатаете промпт.
По той же причине никто не ставит электростанцию в гараже.
Где локальный AI всё-таки работает:
1. постоянная большая нагрузка: кластеры автора считают задачи клиентов
2. устройства без облака: машина (FSD считает на борту), робот, промышленный дрон на заводе или большой территории, цех без связи
3. автономия: мой
Emergency GPT Kit, AI, который никто не выключит и не отцензурирует
Во всех трёх случаях либо железо загружено почти постоянно, либо экономия изначально не была целью.
Аргументы за локальный AI остались прежними. Инструменты меньше зависят от цензуры и от взглядов, которые продвигают фронтир-модели.
Модель без встроенных ограничений отвечает прямо и делает то, что попросишь, а свои промпты и идеи не приходится показывать фронтир-лабораториям.
Если ограничения будут закручивать с той же скоростью, скоро Claude и Codex начнут отказываться от гораздо большего числа задач, чем сегодня.
Claude уже отказывается от того, что неделю назад делал со свистом. Ссылается на внутреннюю безопасность, хотя речь всего лишь о ключах, которые ему выдали в соседней сессии.
Вчера я не поверил заголовку и прочитал
оригинал статьи: сенатор Берни Сандерс вместе с конгрессменом Грегом Касаром предложил законопроект Ban Artificial Superintelligence Act.
За сознательное нарушение запрета на создание или развёртывание «искусственного суперинтеллекта» или за обход временной паузы на разработку продвинутых фронтир-моделей он предусматривает до 20 лет тюрьмы.
Суперинтеллект (ASI) - гипотетический AI, который во всём превосходит самых умных людей. До цензуры обычных моделей пока далеко, надеюсь, так и останется, но направление мысли тревожит.
Если есть возможность, запасайтесь мощными компьютерами и моделями, которые пока можно легально скачать и запускать без ограничений.
Выбор между локальными и фронтир-моделями зависит не только от ваших задач и экономии.
Есть ещё ближайшее будущее, в котором дата-центры могут стать недоступными и вернуться не так скоро, как хотелось бы.
@maxvotek |
linkedin |
substack
