Недавно нужно было оптимизировать скорость выполнения разных LLM задачек —> что сработало: 1) Переход на модели поменьше - с подкручиванием промптов, в том числе сократить/выключить reasoning. Кстати, идеальная задача для /goal команды: просите крутить промпты, пока не получите оптимальное соотношение скорости и качества 2) Сократить обьем output, а потом и input токенов - более компактная структура, выкидывание ненужного 3) У gemini есть настройка приоритета; но вызов тогда стоит в ~2 раза дороже 4) Анализ использования кэша —> фикс промптов и последовательности подачи контекста P.S. Классические вещи типа параллелизации запросов я не покрываю тут; здесь скорее llm specific вещи

AMD объявила о партнёрстве с Cerebras: серверные стойки AMD будут соединяться с пластинами Cerebras, чтобы обе линейки чипов работали над одной AI-нагрузкой одновременно. Графические процессоры AMD возьмут на себя prefill — самую вычислительно тяжёлую фазу инференса, а чипы Cerebras займутся decode, то есть генерацией ответа. Совместный продукт выйдет на рынок до конца года, сообщил со сцены конференции AMD глава Cerebras Эндрю Фельдман. Акции Cerebras на этой новости выросли на 7%. Как видим, AMD прямо серьезно заходит в сферу, находя слабые места у главного конкурента. https://www.theinformation.com/briefings/amd-partners-rival-cerebras-ai-server-rack?rc=ukjmk2

Статистика победителей международных олимпиад по математике, информатике, физике: куда они уезжают жить и работать? Диди Дас, партнер Menlo Ventures, собрал интересные данные с 2001 года (твит), по топ-странам - Китай, Индия, Сингапур, Вьетнам, Корея и Россия. 1️⃣ Все, кроме россиян, в основном переезжают в США: из России больше всего остаются дома (50%!), треть едет в Европу. Причем это не после 2022-года: в статистике по когортами видно, что '21-25 по в США из всех стран переезжает меньше. Наверное потому что и переезд усложнился, и просто не успели - бюрократия, поиск оффера, места и т.д. Видно, что для талантов уровня победителей международных олимпиад 2022-й год не закрыт возможности. 2️⃣ Видно, что США/неСША сильно зависит от культуры страны и контекста: уже писал, что Корея смотрит только на Америку (пост), поэтому оттуда либо в США, либо никуда. А Россия из всех перечисленных стран ближе всего к европейской культуре, так что в Европу едут много. 3️⃣ В США в сумме живет больше победителей олимпиад, чем во всех перечисленных странах вместе взятых. Довольно грустная статистика. Но с другой стороны, нам понятно, что в ближайшие десятилетия вряд ли кто-то пошатнет технологическое лидерство США, и именно туда нужно ехать самым амбициозным и талантливым. 4️⃣ Среди вас аномально много участников олимпиад, в том числе международных (опрос). Так что всем нам стоит присмотреться к этой статистике! @kyrillic

У меня вышел новый подкаст! 🔵 Вместе с товарищами Галеровцами обсуждали агентский бизнес и что его ждет дальше. Умудрились даже не превратить подкаст в 1.5 часа нытья, а прям интересные и полезные вещи рассказали для слушателей) Внутри рассказал редкую вещь – как поживает мое агентство Белый Квадрат, и как мы в начале года изменили свою стратегию и теперь больше у нас нет фокуса только на исследованиях. В общем, выясняли, где сейчас зарабатывают агентства, и там интересно) Смотрите видео: 🌐 на YouTube 🌐 в VK видео 🌐 на Дзен Подкаст также доступен на аудио-площадках: 📱 Apple 🟨 Я.Музыка 🔵 На других стримингах стримингах

Ошибки Мы разобрались с моделями катастроф. Следующий большой раздел: что такое ошибки. Ключевое свойство ошибок — они будут всегда. Мы не сможем избавиться от ошибок — это не реально. Но как тогда построить безошибочную систему, если ошибки будут всегда? И вот тут нужно таки разобраться что такое ошибка и какие они бывают. Википедия определяет ошибку как непреднамеренное, случайное отклонение от правильных действий, поступков, мыслей, разница между ожидаемой или измеренной и реальной величиной. Другое определение: ошибку это отклонение фактического состояния от целевого состояния. Вот это определение мы и разберем на следующей неделе. #ошибки #ЧФ

Популярный бенчмарк TerminalBench хотел обновиться до третьей версии, задачи для которой собирали с начала весны, но вместо этого превратился во FrontierBench. Первая версия включает в себя 74 уникальные и созданные вручную задачи в разных доменах (не только программирование). Примеры задач: — есть сервер, на котором развёрнут медленный KV-cache (это как справочник «имя ➡️ телефон», куда можно добавлять и откуда можно читать строчки). Нужно его переписать и ускорить в 5 раз, при этом не отключая от работы, то есть к нему постоянно идут запросы, и их нельзя пропускать. Ну и само переключение тоже надо сделать на лету. При этом исходник кода агенту не даётся, поэтому поведение и функционал нужно изучить самостоятельно — посчитать, сколько резервного капитала банк обязан держать под риск сделок с контрагентами, учитывая залоги, валюты и регуляторные правила. Результат CSV с числами и Excel с работающими формулами, как для внутреннего аудита. — работать диспетчером доставки стройматериалов. В течение дня появляются новые заказы, отмены и изменения цен на топливо; нужно учитывать доступность машин и водителей, обязательный отдых, допуски к опасным грузам, окна доставки и прибыль. План нельзя пересчитать «задним числом»: часть решений уже зафиксирована. В общем, большой упор делался на реалистичность и экономическую ценность. Распределение по категориям вы можете увидеть на второй картинке в посте. На первой — качество текущих моделей, где на фронтире GPT-5.6 Sol и Fable с результатом в примерно треть задач. К сожалению, Kimi K3 пока не померили, очень жду результата — как думаете, где будет? На уровне Terra и Opus 4.8 или выше? Или около Grok 4.5? Во-первых, я удивлён, что GPT-5.6 Sol не отстаёт от Fable. Если бы мне описали задачи бенчмарка, то я был бы уверен, что модель Anthropic хоть и сильно дороже, но заметно лучше. Во-вторых, я удивлён тому, что Terra на уровне Opus 4.8, да и по многим бенчмаркам она не отстаёт от 5.5. OpenAI обещали это на релизе, говорили, что она «сопоставима с GPT-5.5», но казалось что это слишком хорошо, чтобы быть правдой. В-третьих, Sonnet 5 снова выглядит как бесполезная модель — она и дороже Fable (!), и хуже, и токенов больше всех (18 миллиардов на весь бенчмарк; Fable 5 нужно 3.6 миллиарда). Что-то Anthropic напортачили. Grok-4.5 очень немногословен и за счёт этого дёшев — немного выгоднее Luna и сильно выгоднее (в 4 раза!), чем GLM-5.2. Авторы отмечают, что агенты по-разному подходят к решению задач, даже при схожих показателях качества. В Fable 5 (33,8%) и Opus 4.8 (21,1%) используется больше токенов и выполняется меньше действий. В GPT-5.6 Sol (34,4%) и Terra (20,8%) используется меньше токенов и выполняется больше действий. Итого GPT-5.6 Sol примерно на 40% дешевле и использует примерно на 50% меньше токенов, чем Fable 5. А вот GPT-6 выйдет так вообще... 😇