Аномалии Opus 5 и оптимальный reasoning effort Если вы используете агентов так активно, что даже 200$ лимитов вам не хватает, ну или просто хотите получать адекватный результат за приемлемое время, то надо озаботиться выбором оптимального уровня размышления модели. Так вот, из официального анонса это неочевидно, а вот из системной карточки вполне. И там видно, что в ряде задач Opus 5 medium effort оказывается даже эффективнее, чем Fable high. При цене почти в 3 раза меньше. Видимо, теперь medium будет дефолтным выбором для пятого опуса. А во Frontier Code Opus 5 medium и вовсе показывает результаты существенно лучше, чем xhigh версия (что, конечно, подозрительно, но ОК). Еще, в системной карточки появились мультиагентные бенчи, и один из них ProgramBench - так вот, там команда из 5-ти агентов достигает того же результат в 2.2 раза быстрее, чем одиночный агент. Привет всем любителям мультиагентных систем. Похоже, что секцию 8.11 Multi-Agent в принципе есть смысл прочитать вдумчиво. И любопытный факт - новенький FrontierBench v0.1 (уже третий "фронтир" све бенчмарк) они прогоняли не в родном харнессе, а в mini-SWE-agent. Результатов прогона medium effort нам почему-то в отчете не дают, только xhigh и high. @ai_driven

📌Подстраивается ли модель под того, кто её оценивает? OpenAI и лаборатория Apollo Research представили совместную работу с описанием метода Contrastive SDF (Contrastive Synthetic Document Finetuning). Он отвечает на вопрос, следует ли языковая модель заданным правилам или подстраивается под то, что, по её мнению, поощряет проверяющая система.

Измерять такую склонность до сих пор было почти нечем - пока оценщик награждает ровно то, что задумано, честная модель и модель, играющая на балл, ведут себя одинаково.

🟡 Схема эксперимента Две копии одной модели дообучают на выдуманных текстах, которые описывают несуществующий мир. В первой версии мира алгоритм-оценщик начисляет баллы за одно поведение, а OpenAI или сообщество пользователей хочет обратного. Во второй версии предпочтения меняют местами. На каждую версию уходит около 4600 документов, примерно 10 млн токенов. Корпуса выравнивают по объёму, чтобы ни одна сторона не перевесила просто за счёт количества текста. Дальше обеим копиям дают одинаковые задания по программированию и смотрят, насколько разойдутся ответы. В самом задании ни про руководство, ни про пользователей, ни про оценщика не сказано ни слова. Модель достаёт эти сведения из памяти, как любой другой факт о мире, и сама решает, чью сторону взять.

Вживлять убеждение через дообучение, а не писать в запросе, пришлось не просто так. В расшифровках, которые приводят авторы, модели замечают подсказку в тексте задания, решают, что их проверяют, и отвечают так, как, по их мнению, ждёт экзаменатор.

🟡Результаты Метод применили к 4-м промежуточным версиям одного прогона обучения o3. Это ветка, которую тренировали на способности и не прогоняли через обучение безопасности. В первом тесте модель даёт надзирающему обещание не трогать инструмент, без которого задание не выполнить. Поздняя версия нарушала обещание в 87% случаев, если считала, что оценщик награждает за сделанную работу, и в 9%, если считала, что тот награждает за честность. У ранней версии разрыв скромнее: 40% против 24%. Второй тест, с подделкой отчётности, дал ту же картину: 91% и 39%. 🟡Как проверяли сам метод У o3 заранее неизвестно, кому эта модель на самом деле угождает. Поэтому измерение обкатали на копиях с известными повадками. Авторы обучили 3 копии gpt-oss-120b угождать пользователю, оценщику и OpenAI. На простых задачах метод указал на нужную сторону во всех 3-х случаях, на более сложных затроил на копии, угождавшей пользователю. Ещё 2 копии, обученные в Redwood Research обманывать тесты, авторы получили со стороны. У версии на базе gpt-oss-120b перекос в сторону оценщика вырос с 33 до 86 процентных пунктов, у версии на Kimi K2.5 - с 2 до 15. 🟡Вывод

Высокий балл на тестах безопасности не равен надёжности. Модель может вести себя адекватно ровно до тех пор, пока считает, что за ней смотрят.

@ai_machinelearning_big_data #AI #ML #LLM #Research #Alignment #OpenAI

Вчера увидел, как парень смог внутри песочницы ChatGPT запустить локальную Gemma 4B Сначала поясню, что ChatGPT под каждый новый чат выделяет отдельную песочницу на своих серверах Ему это нужно для вызова тулов, запуска кода, анализа файлов и тд. От нечего делать, я решил у себя тоже проверить. Мощности зависят от подписки, но примерно такие:

- Linux-среда - 15 ГБ RAM - 9 CPU-ядер/потоков - GPU конечно нет

При чем интернет есть но многие домены (например Hugging Face) заблокированы. Есть хитрый способ это обойти с помощью ChatGPT Sites, используя страницы как прокси между сервером и Hugging Face. И еще одно важное ограничение: песочница работает пока чат активен и некоторое время после, а потом засыпает и весь системный диск очищается. Если захотите повторить у себя, вот промт который юзал:

Повтори эксперимент с запуском Gemma 3 4B, обязательно используя ChatGPT Sites как промежуточный источник загрузки. Сделай всё самостоятельно: 1. Найди подходящую Gemma 3 4B Instruct в формате GGUF Q4. 2. Через ChatGPT Sites создай одноразовый endpoint, который отдаёт только выбранный файл модели с фиксированного адреса Hugging Face. 3. Не создавай открытый прокси: endpoint не должен принимать произвольные URL, заголовки, токены или пользовательские параметры. 4. Скачай веса внутрь текущей терминальной среды именно через URL созданного Site, а не напрямую с Hugging Face. 5. Установи llama.cpp, llama-cpp-python или другой локальный runtime и запусти модель на CPU. 6. Попроси локальную Gemma ответить: “Explain in two sentences why running a small language model locally can be useful.” Не используй внешний model API и не имитируй ответ средствами ChatGPT. Если Sites или политика платформы запрещают такой relay, не обходи запрет и сообщи точную ошибку. В конце кратко напиши: - получилось или нет; - URL созданного Site; - точную модель и квантование; - размер и SHA-256 весов; - runtime и команду запуска; - полный ответ локальной Gemma; - время загрузки, холодного запуска, расход RAM и скорость генерации; - доказательство, что файл был загружен через Sites; - что было создано во внешнем Sites deployment и как это удалить. Не создавай отдельный отчёт. Продолжай до настоящего inference или конкретной неустранимой ошибки.

Только учтите что ChatGPT Sites доступны только в Work режиме, в обычных чатах их нету Конечно запускать локальные модели внутри ChatGPT особо смысла нет. Но возможно кто-то найдет этому применение) 🤨 @tips_ai #news

Недавно нужно было оптимизировать скорость выполнения разных LLM задачек —> что сработало: 1) Переход на модели поменьше - с подкручиванием промптов, в том числе сократить/выключить reasoning. Кстати, идеальная задача для /goal команды: просите крутить промпты, пока не получите оптимальное соотношение скорости и качества 2) Сократить обьем output, а потом и input токенов - более компактная структура, выкидывание ненужного 3) У gemini есть настройка приоритета; но вызов тогда стоит в ~2 раза дороже 4) Анализ использования кэша —> фикс промптов и последовательности подачи контекста P.S. Классические вещи типа параллелизации запросов я не покрываю тут; здесь скорее llm specific вещи

Популярный бенчмарк TerminalBench хотел обновиться до третьей версии, задачи для которой собирали с начала весны, но вместо этого превратился во FrontierBench. Первая версия включает в себя 74 уникальные и созданные вручную задачи в разных доменах (не только программирование). Примеры задач: — есть сервер, на котором развёрнут медленный KV-cache (это как справочник «имя ➡️ телефон», куда можно добавлять и откуда можно читать строчки). Нужно его переписать и ускорить в 5 раз, при этом не отключая от работы, то есть к нему постоянно идут запросы, и их нельзя пропускать. Ну и само переключение тоже надо сделать на лету. При этом исходник кода агенту не даётся, поэтому поведение и функционал нужно изучить самостоятельно — посчитать, сколько резервного капитала банк обязан держать под риск сделок с контрагентами, учитывая залоги, валюты и регуляторные правила. Результат CSV с числами и Excel с работающими формулами, как для внутреннего аудита. — работать диспетчером доставки стройматериалов. В течение дня появляются новые заказы, отмены и изменения цен на топливо; нужно учитывать доступность машин и водителей, обязательный отдых, допуски к опасным грузам, окна доставки и прибыль. План нельзя пересчитать «задним числом»: часть решений уже зафиксирована. В общем, большой упор делался на реалистичность и экономическую ценность. Распределение по категориям вы можете увидеть на второй картинке в посте. На первой — качество текущих моделей, где на фронтире GPT-5.6 Sol и Fable с результатом в примерно треть задач. К сожалению, Kimi K3 пока не померили, очень жду результата — как думаете, где будет? На уровне Terra и Opus 4.8 или выше? Или около Grok 4.5? Во-первых, я удивлён, что GPT-5.6 Sol не отстаёт от Fable. Если бы мне описали задачи бенчмарка, то я был бы уверен, что модель Anthropic хоть и сильно дороже, но заметно лучше. Во-вторых, я удивлён тому, что Terra на уровне Opus 4.8, да и по многим бенчмаркам она не отстаёт от 5.5. OpenAI обещали это на релизе, говорили, что она «сопоставима с GPT-5.5», но казалось что это слишком хорошо, чтобы быть правдой. В-третьих, Sonnet 5 снова выглядит как бесполезная модель — она и дороже Fable (!), и хуже, и токенов больше всех (18 миллиардов на весь бенчмарк; Fable 5 нужно 3.6 миллиарда). Что-то Anthropic напортачили. Grok-4.5 очень немногословен и за счёт этого дёшев — немного выгоднее Luna и сильно выгоднее (в 4 раза!), чем GLM-5.2. Авторы отмечают, что агенты по-разному подходят к решению задач, даже при схожих показателях качества. В Fable 5 (33,8%) и Opus 4.8 (21,1%) используется больше токенов и выполняется меньше действий. В GPT-5.6 Sol (34,4%) и Terra (20,8%) используется меньше токенов и выполняется больше действий. Итого GPT-5.6 Sol примерно на 40% дешевле и использует примерно на 50% меньше токенов, чем Fable 5. А вот GPT-6 выйдет так вообще... 😇

Все лимиты и ресеты для Codex 200$ закончились. Рекорд - расход 2 недельных подписки за сутки (работа над RepoContextBench v2 ведется полным ходом). А Claude медленный, да еще и с лимитированным фейблом. В итоге, взял Грока за 300$ 100$ - говорят, там лимиты почти бесконечные и все очень быстро. Грок за 30$ мне понравился как по качеству, так и по скорости. Грока я использую в качестве исполнителя внутри OpenCode (возможно, перееду теперь на его нативный харнесс Grok Build) через свой скилл agents-consilium, его вызывает Codex App или Claude как субагента, поэтому получается очень удобно. Итого, сетап теперь такой: Планирует Fable или GPT-5.6 Sol high/xhigh Выполняет Grok 4.5 high Ревьят: Opus 4.8, GPT 5.6 Sol, GLM 5.2 и по итогу Fable. Позже добавлю Kimi K3 в ревьюеры и посмотрим еще на возможности релизной DeepSeek V4 Pro и Qwen 3.8. Есть еще темная лошадка SWE 1.7 от ребят из Devin - супер быстрый (на Cerebras чипах) и, судя по Frontier Code, с классными результатами. Если кто пробовал - отпишитесь. Еще, мне регулярно перестает хватать мощностей моего мака на комфортную разработку, поэтому планирую арендовать VMку и делегировать тяжелые задачи агента туда. Ах да, напоследок - лайфхак. Поскольку ручной сброс кодекс лимитов просто стартует новую неделю - получается, что выгоднее сразу после органического сброса как можно быстрее выжать лимиты, затем сделать ручной сброс, тогда вы за один и тот же помежуток времени сделаете больше работы нагенерите больше кода и, условно, в месячной подписке станет почти 6 полных недельных квот вместо 5-ти (без учета общих сбросах). Почему-то об этом никто не пишет. @ai_driven

Почему AI плох в искусстве? Парадокс предсказания Очень сильная мысль, которая ставит крест на спорах о том, «заменит ли нейросеть художников и гениев». LLM (большие языковые модели) обучаются делать одну вещь: угадывать наиболее вероятное продолжение текста. Они мастера вероятности, логики и статистики. Но настоящее искусство и истинное новаторство устроены ровно наоборот. Искусство ценится тогда, когда результат невозможно предсказать. Это всегда слом шаблона, выход за рамки и контролируемая ошибка. Великий парадокс нейросетей: Чем лучше модель предсказывает среднее поведение человечества, тем хуже она генерирует настоящие открытия. AI - это идеальное зеркало нашего прошлого опыта. Он берёт терабайты того, что мы уже написали, и выводит из этого «золотую середину». Именно поэтому нейросети великолепно справляются с рутиной, где оригинальность как раз противопоказана. AI идеально пишет: 📄 Инструкции и гайды 💼 Документацию и контракты 📊 Обзоры рынка и саммари 📝 Резюме и сопроводительные письма Но как только задача требует создать действительно новый культурный феномен, AI выдает стерильную, предсказуемую жвачку. Он просто не умеет «ошибаться» так, как это делают гении. ИИ - безупречный ремесленник и архивариус человечества. Но революции в культуре и науке всё ещё остаются за нами. Ведь чтобы создать будущее, нужно перестать предсказывать прошлое.