Анализ перспектив открытых китайских LLM против закрытых моделей

За и против открытых (китайских) LLM. Я периодически читаю аналитику, мнения и пейперы по теме, в этом посте собрал не самые очевидные, и конечно с упором на деньги. 0️⃣ Есть много графиков типа приложенного к посту, что открытые отстают всего на несколько месяцев, и нужно только подождать. Контрааргументом приводят, что это только по бенчмаркам на 3-4 месяца, а на проде в реальных задачах - 8-12 (что кажется тоже ок). Аргументы ПРОТИВ того, что открытые модели могут догнать закрытые: 1️⃣ Главное заблуждение про открытые веса, что они дешевые (или бесплатные). Это справедливо для R&D, но не COGS (включая инференс): траты растут с ростом выручки/использования. Реакция на Kimi и китайские модели сильно преувеличена: есть очевидная price umbrella порожденная нехваткой компьюта. То есть китайским моделям выгодны высокие цены топовых лаб - демпинговать в таких условиях рынка всегда легче. 2️⃣ Из-за роста "агент-инференса" рынок инференса неожиданно может расти быстрее, даже быстрее издержек тренинга. Проще говоря, закрытые модели смогут частично брать объемом, как в классическом бизнесе. Нужно только достаточно компьюта, а охваты у них уже есть. Тот, кто крутит инференс, собирает данные, а данные идут в следующую версию модели. Это самоусиливающийся цикл, недоступный тому, кто просто раздает веса. 3️⃣ Токены - не коммодити! То есть это не как мешок кофе или баррель нефти. Токен одной модели не равен токену другой. Правильно считать стоимость решения конкретной задачи, а тут у открытых моделей все не так хорошо, как на страницах прайсинга. 4️⃣ Anthropic и OpenAI на полгода-год впереди не только по бенчмаркам, но и по возможности оптимизировать эффективность инференса, памяти, обслуживания. Контринтуитивно, но они могут заметно сократить издержки. Плюс по кибербезопасности закрытые модели вряд ли потеряют лидерство. Аргументы ЗА будущее доминировали открытых китайских моделей: 5️⃣ Чипы - единственная часть, где у США (и закрытых моделей топовых лаб) преимущество. Но все остальное в цепочке поставок токенов (электричество, стоимость строительства датацентров и т.д.) - заметно дороже китайского. Плюс регулирование, иски, бюрократия. 6️⃣ Юзеры и бизнесы, которые больше всех тратят, легко переключаются между моделями и инструментами. Никакого moat у лидеров нет, и как только все выйдет на плато, мы увидим массовый переток юзаджа и денег в открытые модели. Массовый потребитель, привыкший к ChatGPT, не спасет - он дает слишком мало выручки. 7️⃣ Многие проблемы больших AI лаб можно залить деньгами, но узкое место уже намечается в физическом мире - электричество, стройка и др. Есть уверенность, что обещанный капекс в принципе невозможно обеспечить, физически. Как только это будет видно на рынке, Китай начнет становится мировой столицей инференса. 8️⃣ Главный ингредиент в стоимости токена - маржа Nvidia (а не электричество или прибыль openai). Так почему будущая выручка вообще должна остаться у лаб? Пока их moat - это не качество моделей или харнесс, а тупо субсидирование юзеров венчурными деньгами. Конкуренты дипсика дают скидку около 30-40% - это и есть оценка маржи. Реселлеры клодкода/кодекса продают токены со скидкой до 90% от API-цены, перепродавая лимиты фиксированных планов. 9️⃣ Я не знаю, кто победит и как распределятся на рынке, но для нас конкуренция - это хорошо! Остальное просто с интересом наблюдаем. @kyrillic