За и против открытых (китайских) LLM. Я периодически читаю аналитику, мнения и пейперы по теме, в этом посте собрал не самые очевидные, и конечно с упором на деньги. 0️⃣ Есть много графиков типа приложенного к посту, что открытые отстают всего на несколько месяцев, и нужно только подождать. Контрааргументом приводят, что это только по бенчмаркам на 3-4 месяца, а на проде в реальных задачах - 8-12 (что кажется тоже ок). Аргументы ПРОТИВ того, что открытые модели могут догнать закрытые: 1️⃣ Главное заблуждение про открытые веса, что они дешевые (или бесплатные). Это справедливо для R&D, но не COGS (включая инференс): траты растут с ростом выручки/использования. Реакция на Kimi и китайские модели сильно преувеличена: есть очевидная price umbrella порожденная нехваткой компьюта. То есть китайским моделям выгодны высокие цены топовых лаб - демпинговать в таких условиях рынка всегда легче. 2️⃣ Из-за роста "агент-инференса" рынок инференса неожиданно может расти быстрее, даже быстрее издержек тренинга. Проще говоря, закрытые модели смогут частично брать объемом, как в классическом бизнесе. Нужно только достаточно компьюта, а охваты у них уже есть. Тот, кто крутит инференс, собирает данные, а данные идут в следующую версию модели. Это самоусиливающийся цикл, недоступный тому, кто просто раздает веса. 3️⃣ Токены - не коммодити! То есть это не как мешок кофе или баррель нефти. Токен одной модели не равен токену другой. Правильно считать стоимость решения конкретной задачи, а тут у открытых моделей все не так хорошо, как на страницах прайсинга. 4️⃣ Anthropic и OpenAI на полгода-год впереди не только по бенчмаркам, но и по возможности оптимизировать эффективность инференса, памяти, обслуживания. Контринтуитивно, но они могут заметно сократить издержки. Плюс по кибербезопасности закрытые модели вряд ли потеряют лидерство. Аргументы ЗА будущее доминировали открытых китайских моделей: 5️⃣ Чипы - единственная часть, где у США (и закрытых моделей топовых лаб) преимущество. Но все остальное в цепочке поставок токенов (электричество, стоимость строительства датацентров и т.д.) - заметно дороже китайского. Плюс регулирование, иски, бюрократия. 6️⃣ Юзеры и бизнесы, которые больше всех тратят, легко переключаются между моделями и инструментами. Никакого moat у лидеров нет, и как только все выйдет на плато, мы увидим массовый переток юзаджа и денег в открытые модели. Массовый потребитель, привыкший к ChatGPT, не спасет - он дает слишком мало выручки. 7️⃣ Многие проблемы больших AI лаб можно залить деньгами, но узкое место уже намечается в физическом мире - электричество, стройка и др. Есть уверенность, что обещанный капекс в принципе невозможно обеспечить, физически. Как только это будет видно на рынке, Китай начнет становится мировой столицей инференса. 8️⃣ Главный ингредиент в стоимости токена - маржа Nvidia (а не электричество или прибыль openai). Так почему будущая выручка вообще должна остаться у лаб? Пока их moat - это не качество моделей или харнесс, а тупо субсидирование юзеров венчурными деньгами. Конкуренты дипсика дают скидку около 30-40% - это и есть оценка маржи. Реселлеры клодкода/кодекса продают токены со скидкой до 90% от API-цены, перепродавая лимиты фиксированных планов. 9️⃣ Я не знаю, кто победит и как распределятся на рынке, но для нас конкуренция - это хорошо! Остальное просто с интересом наблюдаем. @kyrillic

Последние пару недель начала замечать, что chatgpt стал как-то иначе отвечать. Понятнее, что ли, но не только это. С ним стало проще, он как будто бы лучше понимает контекст. Помнит мои прошлые обсуждения в соседних чатах, поэтому не нужно каждый раз заново вводить его в курс дела. Помнит детали из прошлого, которые я и сама забыла. Например, спрашиваю про кашель у дочки, а он отвечает с учётом того, что она переболела месяц назад. Оказывается, у них вышло серьёзное обновление памяти Dreaming. Теперь это не просто набор вырванных из контекста пунктов. Новая память умеет поддерживать и актуализировать знания о своём пользователе. В фоне постоянно крутится отдельный процесс, который «пересматривает» наши разговоры и пересобирает то, что модель о нас знает. Если зайдёте в memory, прочтёте интересный срез знаний о себе и своих предпочтениях. И эти знания не статичны, они постоянно обновляются, обрастают контекстом. Само полное состояние памяти лежит не там, а в отдельном слое и подставляется в системный промпт на лету. Например, вы пишете, что завтра у вас визит к врачу. И на следующий день chatgpt уже будет знать, что вы, скорее всего, у врача побывали. То есть контекст «запланировано» сменится на «приём уже прошёл». Ещё по-идее это здорово помогает в поездках, не нужно каждый раз уточнять, что вам нужна информация о другом городе. А по возвращении контекст сам переключится на вашу обычную локацию. В Европе (естественно) память работает немного урезано ( не подтягиваются сторонние источники), и опыт скорее всего будет отличаться от американского. Но все равно улучшения памяти очень заметны. Но есть один нюанс. Ранее в release notes они прямо пишут, что при включённой персонализации рекламы прошлые чаты и память могут использоваться для подбора объявлений. Ведь память, которая «обрастает контекстом», это ещё и всё более точный ваш рекламный профиль. 💁‍♀️ Openai такие openai… Подробней почитать можно здесь. @wealldesigners

За 2025 год продажи всего ДВУХ лекарств от похудения превысили продажи ВСЕХ ИИ-проектов вместе взятых. Если же взять только два лидирующих по выручке ИИ-вендора (Openai и Antrophic), то парочка Оземпика с Монжаро принёсли почти в 2,5 раза больше бабла. Это к вопросу что людям важнее. А мне важно всё. Благодаря Claude я за полгода смог сократить миллион расходов в месяц, а с помощью Monjaro сбросить 8 кг за тот же период. И кстати да, Monjaro мне обошёлся дороже, чем Claude. Правда, Claude ещё требовал кучу времени и сил на освоение, а Monjaro уколол раз в неделю - и всё. Когда ИИ тоже научится у фармы просто решать проблему клиента не напрягая ему мозги, он станет зарабатывать на порядки больше бигфармы.

Бен Томсом в своей регулярной колонке разбирает недавний запуск Kimi K3 с точки зрения экономики и отмечает, что теперь можно вернуться к принципам, известным из практики бизнес-курсов — если экономика софтовых сервисов позволяла практически пренебрегать стоимостью дополнительной копии, то у инференса есть ощутимая себестоимость генерации токена и эти расходы на инференс прямо пропорциональны выручке. Если генерация токенов на доллар выручки стоит 50 центов, то при выручке 100 миллионов себестоимость составит 50 миллионов. Распространённое заблуждение об открытых моделях состоит в том, что они дешевле. Бесплатность здесь относится только к затратам на исследования и разработку: скачав веса, вы экономите на R&D, но R&D — это фиксированные издержки, они одинаковы независимо от того, зарабатываете вы 100 тысяч или 100 миллионов долларов. Kimi при этом оказывается не очень дешевой — хотя стоимость токенов в ней в пять раз меньше Fable, но для решения задачи расходуется больше токенов, поэтому итоговый разрыв не так велик. Гипотеза Томсона заключается в том, что до определенного момента Anthropic и OpenAI держали высокие цены на инференс, чтобы финансировать R&D, то есть разработку и обучение новых моделей. Но в дальнейшем, при ценовом давлении китайских моделей (которые при этом за счет дистиляции сокращают разрыв с лидерами) и неуклонном росте инференса они смогут безопасно снижать цены. Фактически, это и есть довольно старый экономический закон — при росте объемов производства себестоимость одной единицы продукции падает. От себя добавлю, что в случае с интернет-сервисами себестоимость обслуживания запроса никогда не была равна нулю. Даже у показа статической страницы с сервера есть стоимость, пусть и очень малая. Но если показ страниц требует формирования ленты новостей на лету, как для социальных сетей, или поиска с ранжированием и препроцессингом запроса, как в поисковой системе, то себестоимость уже вполне заметная. Просто себестоимость инференса еще выше и плюс-минус тысяча запросов хорошо видны в счетах. https://stratechery.com/2026/whos-afraid-of-chinese-models/