Популярный бенчмарк TerminalBench хотел обновиться до третьей версии, задачи для которой собирали с начала весны, но вместо этого превратился во FrontierBench. Первая версия включает в себя 74 уникальные и созданные вручную задачи в разных доменах (не только программирование). Примеры задач: — есть сервер, на котором развёрнут медленный KV-cache (это как справочник «имя ➡️ телефон», куда можно добавлять и откуда можно читать строчки). Нужно его переписать и ускорить в 5 раз, при этом не отключая от работы, то есть к нему постоянно идут запросы, и их нельзя пропускать. Ну и само переключение тоже надо сделать на лету. При этом исходник кода агенту не даётся, поэтому поведение и функционал нужно изучить самостоятельно — посчитать, сколько резервного капитала банк обязан держать под риск сделок с контрагентами, учитывая залоги, валюты и регуляторные правила. Результат CSV с числами и Excel с работающими формулами, как для внутреннего аудита. — работать диспетчером доставки стройматериалов. В течение дня появляются новые заказы, отмены и изменения цен на топливо; нужно учитывать доступность машин и водителей, обязательный отдых, допуски к опасным грузам, окна доставки и прибыль. План нельзя пересчитать «задним числом»: часть решений уже зафиксирована. В общем, большой упор делался на реалистичность и экономическую ценность. Распределение по категориям вы можете увидеть на второй картинке в посте. На первой — качество текущих моделей, где на фронтире GPT-5.6 Sol и Fable с результатом в примерно треть задач. К сожалению, Kimi K3 пока не померили, очень жду результата — как думаете, где будет? На уровне Terra и Opus 4.8 или выше? Или около Grok 4.5? Во-первых, я удивлён, что GPT-5.6 Sol не отстаёт от Fable. Если бы мне описали задачи бенчмарка, то я был бы уверен, что модель Anthropic хоть и сильно дороже, но заметно лучше. Во-вторых, я удивлён тому, что Terra на уровне Opus 4.8, да и по многим бенчмаркам она не отстаёт от 5.5. OpenAI обещали это на релизе, говорили, что она «сопоставима с GPT-5.5», но казалось что это слишком хорошо, чтобы быть правдой. В-третьих, Sonnet 5 снова выглядит как бесполезная модель — она и дороже Fable (!), и хуже, и токенов больше всех (18 миллиардов на весь бенчмарк; Fable 5 нужно 3.6 миллиарда). Что-то Anthropic напортачили. Grok-4.5 очень немногословен и за счёт этого дёшев — немного выгоднее Luna и сильно выгоднее (в 4 раза!), чем GLM-5.2. Авторы отмечают, что агенты по-разному подходят к решению задач, даже при схожих показателях качества. В Fable 5 (33,8%) и Opus 4.8 (21,1%) используется больше токенов и выполняется меньше действий. В GPT-5.6 Sol (34,4%) и Terra (20,8%) используется меньше токенов и выполняется больше действий. Итого GPT-5.6 Sol примерно на 40% дешевле и использует примерно на 50% меньше токенов, чем Fable 5. А вот GPT-6 выйдет так вообще... 😇

😎16 шагов поиска: скилл Hyper Research превращает Claude Code в автономный R&D-отдел В сеть выпустили скилл Hyper Research для Claude Code, который прокачивает консольный инструмент от Anthropic до уровня полноценной аналитической группы. Вместо поверхностного сбора первых попавшихся ссылок ИИ задействует 16-этапный алгоритм глубокой инвентаризации темы.

🟦Матрицы покрытия: Агенты разбивают сложный запрос на сетку подзадач, формируют гипотезы и параллельно обрабатывают сотни источников. 🟦Кросс-проверка: Все данные и ссылки сопоставляются между собой, а исходные материалы автоматически сохраняются в локальное хранилище. 🟦Саморефлексия и ревью: Перед выдачей результат проходит внутренний аудит. Система сама проверяет выводы на достоверность, отсеивает галлюцинации и дорабатывает читаемость отчета.

На выходе получается готовая аналитическая записка с полной базой пруфов и сохраненными первоисточниками, а не сырой черновик с выдуманными фактами. 🦔 CyberYozh

У меня, очевидно, ИИ-деформация и я уверена, что специалисту уже категорически нельзя продолжать использовать ИИ только как чат для вопросов/ответов/редактирования текстов/переводов. Он может НАСТОЛЬКО больше, что оставлять его как болталку - это как если продвинутый компьютор использовать в качестве украшения стола. И мне кажется, что это всем уже очевидно, но я раз за разом сталкиваюсь с другими картинами мира: "А я решила в ИИ и не погружаться - мне вас уже не догнать" "А я его использую пока для редактирования посылов и мне кажется, что там все равно много галлюцинаций - как ты с ними борешься?" Расскажу микропример из сегодняшнего дня - вдруг вы у себя в задачах найдете похожее и вдохновитесь пробовать. У нас на платформе hh Карьера предлагаются образовательные курсы и выдача должна персонализироваться под профессию пользователя. То есть в идеальной картине мира: • смотрим профессию пользователя • смотрим его карьерные треки (куда он может переходить с большой вероятностью) • и делаем предложку, в которой замешаны курсы для карьерных переходов или для роста в его профессии. И мне надо было понять - а как у нас сейчас выглядит наполнение курсами для каждой професии. 525 профессий 2500 карьерных переходов 4000+курсов, размеченных на профессии Дальше я действовала так. 1. Выгрузила в csv-таблицу список профессий и численность специалистов этих профессий на платформе. 2. Выгрузила в csv-таблицу список курсов с привязкой к профессиям, которым они обучают. Зашла в Claude Code. Прошу его: «Вот две таблицы - профессии и курсы, привязанные к ним. Посчитай, сколько у нас курсов по каждой профессии, разложи по карьерным трекам и покажи, где дырки» (промпты продвинутым моделям можно писать примитивные - они все понимают). Дальше всё сделал он: • Посчитал, сколько курсов привязано к каждой профессии - всего заведенных и активных на текущую дату • Для каждой из 525 профессий подтянул карьерные треки - куда человек может перейти - и рядом с каждым переходом проставил, сколько по нему курсов. • Подсветил красным дырки: где курсов мало или совсем ноль. • Свел по каждой профессии общую сумму курсов по всем ее трекам - чтобы одним взглядом видеть, покрыта профессия контентом или голая. • В финале я попросила его проверить себя на ошибки. Ни он, ни я ошибок не нашли. В финале - огромная таблица. По каждой из 525 профессий видно, куда человек растёт и хватает ли у нас курсов под эти переходы. Идеальное ТЗ для контент-менеджера. Мне страшно даже представить, сколько б такая работа заняла времени в доклодовской реальности. Даже если колдовать с ВПР и прочими продвинутыми способами работы с таблицами. Думаю, минимум неделю фулл-тайм работы аналитика. У меня это заняло несколько часов. И результат сохранился в мою базу знаний - в любой следующий день я вернусь и продолжу с того же места. И в вики корпоративный я тоже закидываю этот результат почти автоматически - сохраню не только у себя, но и для всех. Немного на техническом: • у меня оплаченный Claude • установлено десктопное приложение, в котором есть Cowork и Claude code • раньше я такие задачи решала через Cowork, потом построила Second Brain и работают уже только в интерфейсе Claude Code (даже Cursot перестала использовать). • у меня подключены все коннекторы которые можно только подключить - к гугл документам, почтам, диску и всем пространствам, гкуда можно прокинуть мостики и созданы скиллы работы с таблицами, текстами, исследованиями и пр. Вот это я называю «перестать использовать ИИ как болталку». Как вы? Вдохновляют такие посты-примеры или пугают?)) Любовь на удаленке | Оля Сохнева #ИИ_наудаленке

Рассказываю, как прошел ивент от @Snowflake, и до сих пор нахожусь под впечатлением. Локация - это отдельная история. AMAN на 5th Avenue, номер в котором стоит около $4000 за ночь, живое пианино, вид на Манхэттен, каждой на входе — букет цветов, который ты сама собираешь. На секунду реально почувствовала себя инфлюенсером, а не продактом на очередном networking-ивенте. Из забавного: CDO Newrez рассказала, что ещё недавно все данные компании жили в Excel. Но именно из-за этого у них не было легаси BI-системы, которую нужно было бы ломать и переучивать всех работать по-новому. Они перепрыгнули сразу в AI-агентов на Snowflake Cortex, минуя весь этап дашбордов и отчётов. И отсутствие зрелой инфраструктуры оказалось не долгом, а преимуществом. Так что если ваша дата-инфраструктура - это до сих пор Excel, возможно, вы ближе к AI, чем компании с идеальным легаси-стеком. Сразу вспомнила про свой опыт аналитиком в Адидасе, где просто все на эксель. И помню эту боль. Поэтому история очень зацепила. Еще очень обрадовалась, что в панели были только девушки, что здесь редкость. Познакомилась с очень молодой и обаятельной девушкой, которая уже руководит командой дата-инженеров. Она рассказывала, что пришла в компанию с узкой задачей на финансовую отчётность, а дальше просто взяла на себя гораздо больше, изучила всю внутреннюю операционку компании и постепенно выросла в лидера направления. Так что в США даже в крупных компаниях, как snowflake, можно быстро вырасти и молодым, если очень захотеть. Это очень порадовало.

И еще в докладе ЦБ есть вот такой график, в разбивке по регионам. Сильнее всего бросается в глаза то, что в стране городе Москва «наказания за старость постройки» нет – новые дома стоят примерно столько же, сколько построенные сразу после войны. Авторы про это пишут в ключе «вот, умели же раньше строить в столице!!». Но так как они там нигде не упоминают в модели ценообразования такой фактор, как «близость к центру города» – то закрадывается подозрение, что это в значительной степени еще и эффект удачного местоположения московских «сталинок». P.S. Бонусом еще снизу слева можно наблюдать, как стоимость метра жилья снижается по мере увеличения общего метража объекта. Оптом дешевле! Квадрат в 80-метровой квартире обойдется вам примерно на 30% дешевле, чем в 20-метровой конуре. (Кроме Краснодарского края, на этих не смотрите – у них там своя атмосфера…)

Каждому человеку нужны эмоции, и люди готовы за них хорошо платить Поболеть за любимую команду, посмотреть турецкий сериал, сходить на рыбалку или на шопинг, всё это относительно недорогие удовольствия. Но есть эмоции, за которые люди готовы платить очень дорого. Это азарт. Игра на деньги, это самое дорогое хобби и сильнейший источник эмоций. А игорный бизнес, это один из самых закрытых, прибыльных и технологически сложных. Все знают, что казино зарабатывает благодаря положительному математическому ожиданию на огромном количестве ставок. Но это только теория. На практике всё гораздо сложнее. В открытом доступе почти нет информации о внутренних механизмах этого бизнеса (нашёл только одну старую, но все равно познавательную статью об этом) Но точно известно, что именно в казино появились первые прообразы CRM-систем, программ лояльности и современных систем видеонаблюдения. Именно казино одними из первых начали собирать огромные массивы данных о клиентах, чтобы составить максимально подробный портрет каждого посетителя. Например, казино в Монте-Карло (видимо, в силу закона) вот здесь раскрывает, какие данные собирает о своих гостях. В списке есть даже такие пункты, как «образ жизни» и «размер обуви» 🙂 Зачем? Чтобы делать максимально персонализированные предложения. На эту тему ходит множество разных баек, но одну из них я могу подтвердить лично. Когда в 2009 году казино выгнали из Москвы, крупнейшие операторы переехали в Минск. И затем практически каждому постоянному игроку стали приходить персональные приглашения. Кому-то просто оплачивали перелёт, а кому-то билет бизнес-классом, президентский люкс, лимузин и эскорт в придачу. Разрешалось взять с собой друзей. Именно так однажды на выходных я и оказался в одном из минских казино (сейчас специально посмотрел - казино работают там до сих пор) Можно ли выиграть у казино? Конечно, можно! Особенно если вы новичок. И особенно в первые пол часа. Так было и со мной, и с несколькими моими приятелями. (не думаю, что это было случайностью 🙂) Сможет ли кто то после этого просто развернуться и уйти? Кончено же нет. А можно ли выигрывать постоянно? Нет. Впрочем, есть исключение. Команда студентов сумела доказать, что казино можно обыгрывать, используя подсчёт карт (что не запрещено) и строгую дисциплину ставок. Вот здесь эта история. Ещё раньше математик Эдвард Торп разработал этот принцип для блэкджека и показал, что при определённых условиях математическое преимущество может перейти на сторону игрока. Но прежде чем строить планы по покорению казино, стоит помнить одну вещь. Любое движение гостей и персонала находится под постоянным контролем огромной службы безопасности. Например, в больших гостиницах Лас-Вегаса в лифтах нет кнопки Lobby или Ground Floor. Вместо неё кнопка Casino. Но при этом на первом, втором и третьем этаже лифт вообще не останавливается - там расположены помещения службы безопасности. Поэтому совершенно неважно, будете ли вы мошенничать или честно выигрывать с помощью подсчёта карт. Финал будет одинаковым - вас попросят покинуть заведение и больше никогда туда не пустят. Правила любого казино позволяют отказать во входе любому посетителю без объяснения причин. Зато если вы пришли просто приятно провести вечер и оставить заранее определённую сумму денег, можете быть уверены - казино, это одно из самых безопасных мест на планете. Служба безопасности, персонал и кейтеринг сделают всё, чтобы каждый, кто добровольно принёс к ним свои деньги, чувствовал себя как дома 🙂 Есть ещё одна интересная особенность этого бизнеса. Любое офлайн-казино, это огромный поток наличных, причём обезличенных денег. И у меня почти нет сомнений, что владельцы казино давно научились извлекать из этого дополнительную прибыль. Но это уже совсем другая история. А следующий пост будет ещё об одном экзотическом бизнесе, который тоже построен на эмоциях и риске. В Лас-Вегасе такие заведения стоят рядом с крупнейшими казино, и каждый вечер там тоже полные залы. Не переключайтесь. Незаметный бизнес

Наткнулся в LinkedIn на пост чувака, который предлагает "a little more breathing room" дизайну главного экрана Революта. Объясню в чем проблема таких Dribble концептов. Этот экран генерирует миллиарды долларов выручки. Со стороны, не зная метрик этого экрана и остальных, на которые он разводит дальше, ты никогда не сможешь понять где есть проблемы и точки роста. Ты просто галлюцинируешь. Дизайн как "я нарисовал красивое" умер еще лет 5-10 назад. Сейчас это такая же инженерная профессия, как и большинство других в продуктовой разработке. Ты должен глубоко понимать метрики продукта, клиентские сегменты, конкуренцию по рынкам. В противном случае ты будешь рисовать картинки, которые никому уже не нужны.

📈 Как влияют гигантские IPO на публичный рынок? JP Morgan выпустил note по текущему буму IPO. 1/ Контекст: ▪️Ожидается, что в 2026 году объем IPO в США превысит $250B, почти как в рекордном 2021-м ($275B). Возможно, OpenAI свое размещение отложит, неизвестно как Anthropic, но тем не менее объемы растут. ▪️Но с 2021 года капитализация S&P 500 выросла на 55%, до $65T. ▪️То есть рынок вырос сильнее, чем объем размещений – абсорбировать стало проще. 2/ Но больше понравился вот такой график – что будет происходить, если гипотетически разместится одна компания на $2T, а вторая компания на $1T. Эти компании будут включены в индексы и индексные фонды будут их покупать. Соответственно, они должны продавать другие активы. График показывает, на какой объем будут продавать NVIDIA и Apple в случае, если выйдет $1T компания и $2T компания. ▪️$1T: $21B продаж NVIDIA и $17B продаж Apple. ▪️$2T: $42T продаж NVIDIA и $34B продаж Apple. 🔹Это все 50%-200% дневного оборота, соответственно (то есть, от полдня до 2 дней), или 0.4-0.9% и 0.3-0.7% капитализации. Не так много. Запускает ли такой каскад шорт рынка? Нет, вряд ли. Но журналисты уже в экстазе, когда цена падает на 2%. Коррекция по другим активам в момент таких мега IPO ожидаема, но похоже, паниковать пока рано. 3/ Что еще интересно: ▪️Даже мега-IPO на $1T с низким фри-флоатом войдет в основные индексы с весом меньше 0.2%. Чем меньше free float, тем меньше реальное давление на индекс. ▪️При этом байбэки корпораций в 2026 ожидаются на уровне $1.5T – это больше, чем весь объем нового выпуска акций. То есть спрос теоретически может полностью перекрыть навес предложения. ▪️Из 25 крупнейших IPO в истории две трети сопровождались ростом S&P 500 на 5-20% в следующие 12 месяцев. Короче, каскадного шорта рынка от мега-IPO, по мнению JP Morgan, ждать не стоит – рынок просто стал больше, чем волна размещений. Но заголовки про "рынок не переварит IPO" точно будут появляться, ждем. 👉 Ссылка на материал JP Morgan: https://privatebank.jpmorgan.com/apac/en/insights/markets-and-investing/tmt/the-ipo-wave-is-historic-so-is-todays-market @proVenture #trends #research

8 месяцев назад вышла Kimi K2 Thinking, и мы слышали то же самое: «Chinese open-source model is #1». Через 3 месяца после релиза я собрал аналитику по 16 бенчмаркам, вышедшим после релиза модели, и сравнил с GPT-5 / Sonnet 4.5. Модель была хуже на 13 (!!!) из них, причём на 7 — более чем на 10 процентных пунктов (пп). Повторится ли это с Kimi K3? Свои мысли и предсказания я напишу в конце, а пока пришла пора ретроспективно оценить DeepSeek v4 Pro (Preview) — с его релиза прошло почти 3 месяца. За это время я смог найти 32 новопоявившихся бенчмарка. В релизном блогпосте v4 Pro сравнивали с Opus 4.6 и GPT-5.4, и модель якобы «была лучше» в 4 и 3 бенчмарках из 6 соответственно. Surely результаты на новых будут сопоставимы? Нет. Opus 4.6 и DeepSeek v4 Pro обе были замерены на 10 бенчмарках — на 9 из них китайская модель проигрывает, и на 5 — более чем на 20 (!) относительных процентов. Сравнение с GPT-5.4 выглядит чуть менее жестким: DeepSeek v4 Pro оказался лучше на 3... но всё равно хуже на 13. (Количество бенчмарков разное потому, что не каждый бенчмарк замеряет цифры и для GPT, и для Claude). На 6 бенчмарках разница больше 20 относительных процентов. Но вообще-то стоит вспомнить, что и GPT-5.5, и Opus 4.7 вышли ДО DeepSeek v4 (на самом деле впритык, но всё же). И если добавить эти модели, как будто мы сравниваем со всеми моделями, доступными на момент релиза v4, то ситуация становится просто мрачной. Все 32 бенчмарка проиграны, и средняя разница в абсолютных оценках составляет -18.6 пп. Эта разница вырастает до -23 пп, если брать только те бенчмарки, которые я классифицировал как Agentic Coding (SWE-bench style), где казалось бы падение должно быть не таким существенным. Только подумайте: модель не решает четверть задач, которые решали проприетарные модели, доступные на момент релиза DeepSeek V4 Pro. Повторится ли эта ситуация с Kimi K3? Ведь ей предстоит пережить сравнение с GPT-5.6-Sol и Fable 5. Я уверен, что да — по сумме показателей на десятках бенчмарков мы точно увидим разницу, хотя, возможно, не настолько значительную. В конце концов по тем веб-сайтам, что я вижу в своей твиттер-ленте, модель действительно не хуже Fable на фронтенд-задачах, даже на очень креативных промптах. Вполне возможно, что на широком наборе других задачах на программирование модель тоже конкурентна или хотя бы отстаёт не так сильно. Может быть даже сможет потягаться в подготовке презентаций и экселек. Условно, если снова соберётся 30 бенчмарков, мы можем увидеть, скажем, 8 побед за Kimi, 5 ничьих и 17 поражений. А может быть, она покажет себя даже лучше — поживём увидим. Главное то, что Kimi K3 может быть той моделью, которая покажет, что существуют некоторые поддомены, в которых Китайские модели действительно не отстают систематически. Это не качество по всемнаправлениям, и "в среднем" проприетарные всё равно будут лучше — речь именно про поддомены (например, «вебсайты с 3D-графикой на three.js» или «веб-игры», по которым многие делают слишком далекоидущие выводы). (Не воспринимайте этот текст как «Kimi / DeepSeek говно и никто не должен их использовать». Пожалуйста, прочитайте детали моей позиции в блогпосте по ссылке). Все графики и данные тут: ссылка.

Лучший учебник по стартапам написал Гоголь в 1842 году Пятница — можно отвлечься от метрик и дедлайнов. Например, на классику: перечитывал «Мёртвые души» и не смог остановиться — Чичиков же фаундер. Причём хороший. Чёткая бизнес-модель, найденный ICP (Плюшкин, кто же ещё), конверсия сделок 80% и цикл продажи в один день. Не хватало только питч-дека. Я исправил. Собрал полноценную инвест-презу «Чичиков Кэпитал» — слайд за слайдом, с реальными цифрами из поэмы: TAM 700 млн рублей, мультипликатор ×236 на вложенный капитал, честный traction-слайд с провалом по Ноздрёву. Спойлер: юнит-экономика у Павла Ивановича красивее, чем у большинства стартапов, которые я смотрю. Но денег он всё равно бы не получил — и вот причины отказа как раз универсальные, встречаю их в питчах каждую неделю. Полный разбор со всеми слайдами, забирайте на выходные: 👉 Забудьте про «10 книг для фаундера». Лучший учебник по стартапам написал Гоголь в 1842 году Какой ещё литературный герой потянул бы на фаундера? Делитесь в комментариях Андрей Резинкин | Money For Startup