Локальный AI дороже облака, но полезен для автономии

Локальный AI дорожает, а облако дешевеет С удовольствием прочитал пост Local AI is a trap for most people. Автор вложил больше $95 тысяч в железо - шесть кластеров DGX Spark и серверы и держит отдельного разработчика, который возится с этим каждый день. При этом он платит $2100 в месяц за облачные подписки и API. То есть даже автор с компанией на 100 человек и опытом в IT компаний из Fortune 100 от облака не отказался. Локальное железо у него работает в дополнение. Mac Studio на 128 ГБ за $5099 медленный, рабочий вариант - M5 Ultra за $10 799. Лучшая локальная модель для кода набирает 30,9% на Terminal-Bench 2.0, Claude Opus 4.5 - 53,9%. По сравнению с подпиской за $200 железо окупается почти три года. Плюс ты сам себе IT-отдел. В MacStories тестировали Mac Studio на 512 ГБ и получили 24 токена в секунду на модели 235B. А модель на 32B назвала фото эргономичных мышек «коллекцией ракушек», такое обычно не скриншотят. С этим я согласен. Даже приватность, с которой начинают все продавцы локального AI, бизнес в большинстве случаев решает договором: API, который не хранит данные, или модель в собственном контуре Azure. Недавно мы покупали для проекта Asus DGX Spark по $3999, сейчас на Amazon он стоит $8500–9500. AI-железо дорожает, хотя мы привыкли, что техника со временем дешевеет. Внутри 128 ГБ памяти, а память сейчас самый дефицитный ресурс во всём стеке, я писал об этом. За неё вы конкурируете с хайперскейлерами, которые забирают объёмы оптом и первыми. А цена токена в облаке пока падает каждый квартал. Получается, вы покупаете самый дефицитный ресурс по розничной цене, чтобы пользоваться им пару часов в день. У провайдера GPU круглые сутки загружены запросами тысяч людей, а ваш Mac Studio большую часть дня ждёт, пока вы допечатаете промпт. По той же причине никто не ставит электростанцию в гараже. Где локальный AI всё-таки работает: 1. постоянная большая нагрузка: кластеры автора считают задачи клиентов 2. устройства без облака: машина (FSD считает на борту), робот, промышленный дрон на заводе или большой территории, цех без связи 3. автономия: мой Emergency GPT Kit, AI, который никто не выключит и не отцензурирует Во всех трёх случаях либо железо загружено почти постоянно, либо экономия изначально не была целью. Аргументы за локальный AI остались прежними. Инструменты меньше зависят от цензуры и от взглядов, которые продвигают фронтир-модели. Модель без встроенных ограничений отвечает прямо и делает то, что попросишь, а свои промпты и идеи не приходится показывать фронтир-лабораториям. Если ограничения будут закручивать с той же скоростью, скоро Claude и Codex начнут отказываться от гораздо большего числа задач, чем сегодня. Claude уже отказывается от того, что неделю назад делал со свистом. Ссылается на внутреннюю безопасность, хотя речь всего лишь о ключах, которые ему выдали в соседней сессии. Вчера я не поверил заголовку и прочитал оригинал статьи: сенатор Берни Сандерс вместе с конгрессменом Грегом Касаром предложил законопроект Ban Artificial Superintelligence Act. За сознательное нарушение запрета на создание или развёртывание «искусственного суперинтеллекта» или за обход временной паузы на разработку продвинутых фронтир-моделей он предусматривает до 20 лет тюрьмы. Суперинтеллект (ASI) - гипотетический AI, который во всём превосходит самых умных людей. До цензуры обычных моделей пока далеко, надеюсь, так и останется, но направление мысли тревожит. Если есть возможность, запасайтесь мощными компьютерами и моделями, которые пока можно легально скачать и запускать без ограничений. Выбор между локальными и фронтир-моделями зависит не только от ваших задач и экономии. Есть ещё ближайшее будущее, в котором дата-центры могут стать недоступными и вернуться не так скоро, как хотелось бы. @maxvotek | linkedin | substack