По сообщениям, OpenAI нашла новые оптимизации инференса, которые снизили стоимость запуска моделей больше чем в два раза. По данным The Information, инженеры в этом месяце рассказывали коллегам, что эти техники в какой-то момент позволили обслуживать ChatGPT для посетителей без бесплатных или платных аккаунтов всего на нескольких сотнях GPU Nvidia. Точный метод пока не раскрыт. Это может быть квантизация, KV caching, batching, маршрутизация простых запросов на более дешёвые модели или комбинация всех этих подходов. OpenAI закончила Q1 с gross margin 39% и хочет выйти на 52% к концу года. Более дешёвый инференс даёт компании пространство: улучшать маржу, поднимать лимиты ChatGPT или снижать ценовое давление API для разработчиков. Moat OpenAI всё сильнее смещается в сторону инференса и преимущества по стоимости, особенно на фоне Anthropic. https://www.theinformation.com/newsletters/ai-agenda/openai-discovers-new-way-cut-inference-costs-half

Почему AI-персоны так убедительно врут Как-то я писала про подход, суть которого юзер-ресерч с помощью AI-персон. Ты описываешь портрет клиента, а LLM отыгрывает его и отвечает на вопросы как живой человек. Звучит как мечта соло-билдера: ноль рекрутинга, ноль созвонов, а “инсайты” можно собрать за один вечер. Но не так однозначно. Что с ними не так: • Модели склонны подстраиваться под рамку вопроса. Дашь чуть наводящую формулировку, и нейронка очень убедительно подтвердит то, что ты и так хотел услышать. • Если не дать модели свежие реальные данные, она опирается на усреднённое прошлое: тексты, паттерны и представления, на которых её обучали. А не на поведение конкретных пользователей сегодня. • Они плохо преподносят сюрпризы. Хороший ресерч часто ценен именно тем, что человек говорит или делает что-то, чего ты вообще не ожидал. AI-персона чаще выдаёт правдоподобное. Но правдоподобное мы и сами можем придумать. В итоге ответы часто получаются плоскими, слишком аккуратными и слишком благожелательными. Synthetic users могут хвалить то, что реальные люди потом игнорируют, не понимают или отвергают. Но это не значит, что инструмент бесполезный. Просто он работает ДО ресерча, а не вместо него: • Прогнать гайд интервью и поймать кривые, скучные или наводящие вопросы. • Быстро накидать гипотезы, чтобы прийти на живые созвоны более подготовленным. • Сделать pre-mortem концепта перед тем, как тратить бюджет на рекрутинг. • Проверить, какие возражения или edge кейсы стоит отдельно послушать у реальных людей. Источник: https://userevaluation.com/post/synthetic-users-vs-real-participants/ #PG_education @productgames

Почему o1 pro до сих пор в топах нашего LLM Бенчмарка? И почему она стоит 20 центов?! Да это потому, что ее прогоняли в ручном режиме на Pro подписке в порядке исключения. Если o1 pro запускать по API сейчас, то аналогичный workload будет стоит 200-400 евро. И смысла особого иметь не будет. Но вот тренд получается очень интересный. OpenAI и прочие вендоры моделей перестали делать упор в очень мощные и внимательные модели, которые стоят дорого и практического смысла не имеют. Вместо этого теперь развиваются новые архитектуры моделей и харнесов вокруг них (вы же помните время, когда sparse MoE было новинкой?) вкупе с оптимизацией железа под новые форматы. Кстати, Fable/Mythos - это уже не про гигантскую нейронку, а про хорошую связку моделей, инструментов и агентных подходов. Как мы видим из BitGN Research, если взять небольшую модельку и обвязать ее хорошим харнесом, то получится результат лучше (и дешевле), чем просто с самой дорогой моделью. См, например отчеты @dev_salikhov про Exoskeleton - базовый и на Open Weights. В итоге получается, что на практических задачах стоимость применения frontier LLM, которые достаточно хороши для решения задач без какого-то харнеса, падает. В TOP-10 бенчмарка уже есть модели, которые укладываются в 5 евро - Qwen3.7 Max, GPT-5.5, Claude Opus 4.7. А если задача требует чего-то за пределами возможностей топовых недорогих моделей, то вместо покупки дорогой модели можно просто собрать нормальный эвал и подобрать архитектуру под задачу в полуавтоматическом режиме. Благо Agentic Goals завезли уже почти во все AI Coding системы. Ваш, @llm_under_hood 🤗