ClaudeMD автоматического выбора ИИ-модели для продуктовой работы Рейтинги – это стартовая калибровка, а не фиксированные данные и чем выше число, тем лучше. Модель / Стоимость / Интеллект / Вкус sonnet-5 / 8 / 6 / 6 / opus-4. / 8 / 5 / 8 / 7 / fable-5 / 3 / 9 / 8 / – Стоимость. То, что ощущается в лимитах токенов и скорости. – Интеллект. Насколько сложную, многошаговую или неоднозначную задачу можно доверить модели без присмотра. – Вкус. Качество структуры документа, формулировок, тона в коммуникации и чуткость к контексту. Откалибруй эти цифры под собственный опыт после пары недель использования. Важна не точность чисел, а сам принцип: не гонять сложные решения через дешёвую модель и не тратить дорогую модель на рутину. Как применять: – Это дефолты, а не ограничения. Если результат дешёвой модели не дотягивает, то не спрашивай разрешения, перезапускай с более сильной. Суди по результату, а не по тому, что модель просто должна была справиться.

Пересогласование стоит дешевле, чем решение, принятое на слабом анализе

– Когда параметры конфликтуют для чего-то, что реально влияет на решения или уходит наружу, опирайся на: 1. Интеллект > 2. Вкус > 3. Стоимость – Массовая механическая работа (расшифровка транскриптов интервью, разметка тикетов, сведение таблиц с метриками, черновой синтез фидбека из десятков источников): sonnet-5. – Всё, что уходит наружу стейкхолдерам, клиентам, руководству (питчи, обоснование приоритизации, деликатные апдейты о задержках, переговоры о scope): нужен вкус ≥ 7. – Ревью и вторая пара глаз (проверка PRD перед отправкой инженерам, стресс-тест roadmap, поиск дыр в бизнес-кейсе): fable-5 или opus-4.8, по возможности оба как независимые мнения, если решение необратимое. – Стратегические и неоднозначные решения (trade-off между конкурирующими метриками, приоритизация, спорные ставки без явного правильного ответа): fable-5. – Никогда не используй самую слабую модель для документов, которые пойдут выше вашего уровня или станут прецедентом для команды. Режимы работы – Написание PRD и спек с нуля → opus-4.8 как основа → fable-5 для финального ревью перед отправкой в разработку. – Discovery-синтез sonnet-5 для чистой расшифровки на входе (несколько интервью → инсайты → гипотезы) → fable-5 для самого синтеза (нужен интеллект, чтобы не сгладить противоречия) – Приоритизация бэклога / RICE-скоринг → sonnet-5 для механического прогона по формуле → opus-4.8 для проверки, не искажает ли формула реальный контекст → fable-5 для синтеза – Коммуникация о задержках и плохих новостях стейкхолдерам → fable-5 или opus-4.8. Тон и причины здесь важнее скорости. – Рутинные апдейты статуса, саммари встречи, заметки в трекер → sonnet-5. – Pre-mortem, поиск слабых мест в плане запуска → opus-4.8 → fable-5 как отдельная независимая проверка. – Черновик поста / статьи / контента на основе рабочих заметок → opus-4.8 для черновика → fable-5 для финальной правки тона и структуры. – Анализ больших выгрузок данных / метрик → sonnet-5 для первого прохода и агрегации → эскалация на opus-4.8, если нужна интерпретация неоднозначных паттернов → fable-5 для финальной проверки паттернов.

Нейросети превратили найм в лотерею 🎰 И дело не в том, что LLM помогают проходить собесы. 🪨 HackerRank выложили в открытый доступ систему для оценки резюме при помощи ИИ. Инструмент стал невероятно популярным среди рекрутеров. Программа парсит файлы и скармливает данные языковой модели для выставления баллов резюме. Учитываются навыки, опыт работы и личные проекты на GitHub. Звучит как отличная автоматизация скучной рутины. 👍 Однако, один разработчик решил проверить систему и прогнал своё резюме несколько раз подряд. Результаты оказались пугающими. Совершенно идентичный файл получал оценки от 74 до 90+ баллов. 🚬 При проходном пороге в 85 баллов кандидат получает отказ просто по воле случая. Модель стабильно распознаёт базовые навыки, но при попытке оценить сложность проектов начинает выдавать случайные числа и каждый раз генерирует абсолютно разные вердикты. Самая большая проблема кроется в оценке профессионального стажа. Запрос для этого раздела состоит всего из пары строк без подробных критериев.😮‍💨 В итоге студент с одной стажировкой и опытный архитектор получают одинаковый максимальный балл. 😐 В чем может быть причина? Поммимо того, что над нормально писать критерии в промптах, есть ряд инженерных факторов о которых вы должны помнить, если делаете такое решение. Если бы мы говорили о classic ML моделях, я бы сказал - бегите глупцы фиксите seed'цы (random states).  Но тк мы работаем с ядром на LMках, придётся следить за параметрами генерации в лице температуры, тк она влияет на креатив. Также нужно следить за тем, что контекст чётко обнуляется, ведь генерация зависит в тч от накопленгого контекста. Те для каждого прогона, каждого резюме нужно "забывать" прошлые прогоны. Однако даже имея Т=0 и фиксу по контексту. Придётся следить и принимать: 1. Non-determinism в LLM - даже при temperature=0, многие современные модели (особенно с speculative decoding, batching, и т.д.) могут давать немного разные результаты. 2. Parsing inconsistency. PDF/DOCX парсинг может давать разные результаты при каждом чтении, особенно если используется OCR или layout analysis. 3. Tool calling / Function calling. Если модель использует function calling для выставления оценок, структура вызова может варьироваться. 4. Batch processing, если резюме обрабатывается батчами с другими, контекст соседних документов может влиять. 5. Floating point non-determinism - на GPU операции могут быть недетерминированными из-за parallel reductions... Да, не легка жизнь AI-dev и AI-engineer, столько нюансов. 📝 P. S. Ещё ссылки на событие. Трек в реддит тут. Блог от HackerRank тут. Читаем, делаем выводы и stay tuned 🦾

Мозг человека и LLM устроены одинаково, говорится в новой работе MIT Новый препринт MITзадаёт простой вопрос: модульность человеческого мозга - фундаментальный принцип или случайность эволюции? Чтобы ответить на этот вопрос, авторы исследования взяли LLM и посмотрели, есть ли там та же структура. И ответ оказался положительным, есть причём точь-в-точь. Оказалось, что внутри 6 передовых моделей обнаружили 4 отдельные популяции нейронов, каждая отвечает за свой тип мышления, язык, грамматику, математику, логику, физический мир и социальное рассуждение. Это в точности 4 сети, которые нейронауки давно картировали в человеческом мозге. Чтобы убедиться, что это не корреляция, а реальная специализация, нейроны отключали. Отключили языковую зону: модель рассуждает верно, но пишет с грамматическими ошибками. Отключили физическую: текст грамотный, но физические выводы инвертированы. Точность внутри домена падает на 26%. За пределами домена - на 2.5%. Почему это важно? Мозг формируется эволюцией, а LLM градиентным спуском на предсказании токенов. Никакой общей причины для одинаковой архитектуры нет кроме одной: так устроена любая система, которой нужно решать разнородные задачи одновременно, не мешая одному домену перезаписывать другой. Модульность - не биологическая случайность, а по всей видимости, универсальное решение для интеллекта. Что из этого следует? Для интерпретируемости: у LLM есть внутренняя структура, которую можно картировать и на которую можно воздействовать точечно. Для архитектур: MOE - потенциально про воспроизведение когнитивной специализации. Для нейронауки: LLM впервые дают возможность изучать, как разные когнитивные системы передают информацию друг другу - то, что в мозге технически почти невозможно измерить.

📌 Claude Code более автономен, чем чат-бот На выходных Anthropic опубликовала свежий отчёт Economic Index об использовании своих моделей.

Компания выпускает его нерегулярно (раз в 2-3 месяца), по мере накопления значимых изменений в методологии или данных. Предыдущая публикация была в марте.

Главный инсайт: то, сколько решений мы готовы отдавать ИИ, зависит не от самой модели, а от того, как именно запакован продукт. Степень автономии, которую мы даем Claude в обычном веб-чате (или Cowork) и в Claude Code замеряли по шкале от 1 до 5, где 1- это почти никакой самостоятельности, а 5 - экстремальная. Результат определил, что характер работы над одинаковыми задачами кардинально меняется. Например, чтобы написать статью или пост в чате, требуется медианно 13 раундов диалогового пинг-понга с моделью. В Claude Code на ту же задачу уходит ровно один промпт.

Логично списать это на то, что в Code 54% сессий обслуживает Opus (против 10% в чате). Но нет, это не просто фича большей модели - на Sonnet картина такая же.

🟡Цифры +0.37 балла - средний отрыв в уровне автономии в пользу Claude Code по всем задачам; +0.53 балла - отрыв конкретно для кодинга. В 26 из 31 категории результатов агентный интерфейс бьёт обычный чат. Отчёт, кстати, построен на новой телеметрии, которая собирает данные ежечасно, а не семидневными выборками, как раньше. Это позволило впервые увидеть и недельные, и суточные ритмы использования: всплеск личных запросов на выходных, пик просьб о рецептах в шесть вечера, запросы о сне под утро. Отдельная часть отчёта - первые результаты опроса пользователей Claude, в котором участвовали около 9700 респондентов. Он показал, что люди, которые делегируют ИИ задачи целиком, смотрят на свои перспективы оптимистичнее остальных и чаще ожидают роста зарплаты или сохранения работы, а не наоборот, как можно было бы предположить.

Гендерный факт. У женщин доля сессий в Claude Code существенно ниже. Они используют Claude более итеративно, как партнера-собеседника, и проводят в чате больше активного времени, тогда как мужчины чаще пытаются скинуть задачу целиком и забыть.

🟡Автономия пока стоит дорого Корреляция между делегированием и сожженными токенами очень сильная (r = 0,68). Чем дороже и ценнее профессия/задача, тем больше токенов она потребляет. Причём полная передача руля не значит, что вы будете лежать на диване. В высокоценных задачах люди сами делают больше запросов и регулярно включают расширенный ризонинг у модели. @ai_machinelearning_big_data #AI #ML #Research #EconomicIndex #Anthropic

✔️ Cognition разработала архитектуру, которая снижает затраты на программирование на 35% Американская лаборатория прикладного ИИ представила гибридную архитектуру Devin Fusion для автоматизации кодинга.

На бенчмарке FrontierCode система снижает затраты на генерацию кода на 35% без падения качества.

Devin Fusion использует динамическую маршрутизацию и концепцию напарника. Система оценивает сложность задачи в реальном времени и переключает запросы между моделями с применением сжатия контекста. Тяжелая LLM планирует архитектуру, уточняет требования и проводит ревью. Легкий агент пишет базовый код, тесты и валидирует результаты. Для предотвращения конфликтов модели используют независимые кэши контекста.

В связке с GPT-5.5 и Claude 4.8 Opus архитектура экономит больше трети ресурсов, с Fable 5 - до 41%.

Внутри Cognition гибридная маршрутизация уже закрывает 88% успешных PR.

Главное ограничение системы в кейсах со сложной бизнес-логикой (например, в связке React/Redux). Избыточное делегирование кросс-файловых задач младшей модели снижает результативность почти в 2 раза.

Devin Fusion доступен только на платформе Cognition. @ai_machinelearning_big_data #news #ai #ml