Как понять, что агент умеет делать продукт? В первом посте про изобилие кода мы приняли рабочую гипотезу:

AI сможет выполнять значительную часть задач по разработке продуктов с приемлемым качеством, стоимостью и супервизией.

Как выяснить, какую часть этой работы уже можно отдавать агентам? Окей, мы с вами знаем, что писать код они могут. Но при этом всем нам очевидно, что создать продукт это не только про написать код. Собственно в эту тему прикольный новый бенчмарк/среда для оценки того, насколько агенты могут понимать проблему, взаимодействовать со стейкхолдерами, принимать продуктовые решения и тп. FDE-Gym - 95 задач на основе 20 сценариев внедрения AI. Агент получает запрос заказчика, существующий код, документы и историю работы системы. Можно задавать вопросы виртуальным сотрудникам, выяснять ограничения, менять и проверять систему. Запрос при этом может предлагать решение, которое не поможет достичь цели. Результат оценивают по изменению бизнес-метрики внутри симуляции, с учётом нарушений и стоимости общения с сотрудниками. Уточнить всё у всех тоже не бесплатная стратегия :) Если посмотреть, как frontier модели справляются с задачками из этого бенча, то более всего они лажают, когда ограничения приходилось выяснять самостоятельно, а не было задано заранее. Причем даже получение всех ключевых фактов не гарантировало хорошего результата. Очень жизненно имхо. Это, по моему мнению, еще и про насмотренность: знать, куда смотреть, кого спрашивать, и при этом не особо их раздражать :) Мы с дружбаном тоже попробовали один из общедоступных кейсов: ночного AI-дежурного, который должен уменьшить число ненужных пробуждений инженеров и ускорить устранение инцидентов. Получилось не очень, хотя я и не согласен с оценкой, но это уже другая история. Сама идея мне очень понравилась и, разумеется, отозвалась с моими постами про симуляции и Frontier Academy Из таких экспериментов имхо могла бы вырасти общая коллекция кейсов и разборов: какую работу получается делегировать, какая информация нужна агенту, где окупается участие человека? Разумеется, здесь мы пока измеряем пользу внутри сферического коня в вакууме симуляции; перенос в реальный мир ещё нужно проверять. Реальная компания - это гораздо более сложная (complex) и адаптивная система: она взаимодействует с клиентами и конкурентами, а люди учатся и меняют поведение в ответ на наши решения и действия друг друга. Внедрение продукта само меняет условия, в которых мы проверяем его пользу, и такие эффекты сложнее уложить в симуляции. Но тем не менее я считаю, что это уже лучше, чем ничего К примеру, я сейчас работаю над одной симуляцией - небольшой тизер тут в первом комментарии. Сыграли бы в такое?

Сложно поверить, что целые продукты строятся с одного промпта, а speech recognition все еще фейлится. Одна из самых частых жалоб пользователей Fluently, что тьютор не правильно понимает, что они говорят. Разумеется, что у этих пользователей часто есть сильный акцент, ведь они пришли изучать язык, который еще не знают. Для нас критично понимать, где они неправильно произнесли слово, которое знают, а где произнесли неправильное слово. Поэтому мы выпустили свой бенчмарк, где меряем как real-time speech recognition системы работают на английском языке с акцентом. И на некоторых акцентах ошибок до двух раз больше! И это ток английский. На других языках типа греческого - там полная жопа. Больше деталей у меня в посте в твиттере! https://x.com/rebryk/status/2115126244782248363 Буду оч рад, если поддержите лайком и квотом 🙏🏻

🔻 StreamEval: комплексный бенчмарк для стриминговых моделей от Nvidia Исследователи из NVIDIA, Tsinghua University, CMU, UC Berkeley, Princeton, NUS и Reactor опубликовали бенчмарк StreamEval, который оценивает способность моделей генерировать видео в реальном времени. Он проверяет, умеет ли модель выполнять запросы пользователя прямо во время стрима и при этом не ломать то, что уже есть в кадре. В бенчмарке 300 сценариев длиной от 15 до 300 секунд: поговорить с цифровым аватаром, попросить его поднять руку, сдвинуть камеру в сгенерированной сцене, перекрасить предмет в идущем видео. Авторы прогнали через StreamEval 37 моделей. Бенчмарк проверял пять типов задач. Результаты следующие: • Диалог с аватаром. Цифровой человек слушает речь пользователя, отвечает по смыслу и помнит, о чём шла речь раньше. Лучший результат у Vidu S2 Avatar: 75 из 100 за качество диалога. • Действия аватара. Аватар произносит заданный текст и по ходу выполняет команды вроде «подними правую руку» или «посмотри влево». Картинку модели держат хорошо: у Vidu S2 Avatar стабильность видео 97 из 100. А вот команды даже лидер корректно выполняет только в 37% случаев. • Генерация мира. Модель создаёт сцену и меняет её по командам: «лодка плывёт к причалу», «камера сдвигается вправо». Лучше всех команды выполняет Krea Realtime, и это всего 26% запросов. • Редактирование видео по тексту. В идущем видео нужно изменить объект по текстовой команде, например перекрасить вазу, и не испортить остальной кадр. Здесь лучший результат у Vidu S2 Editing: 57 из 100 за полностью корректные правки. • Редактирование видео по картинке. То же самое, но нужный вид объекта задаётся изображением. Это самая сложная задача: максимум 15 из 100. Проект открытый: код оценки опубликован на GitHub, тестовые сценарии с таймлайнами и медиафайлами выложены на Hugging Face, а результаты моделей собраны в лидерборде. #Benchmark

"Малые ядра" AMD Zen 6c оказались быстрее больших ядер Zen 5 при равной частоте. Серверный EPYC 9996 на мини-ядрах Zen 6c набрал 2847 баллов в однопоточном тесте Geekbench 7.1.0, тогда как настольный Ryzen 7 9700X на Zen 5 с принудительно заниженной до 4,1 ГГц частотой показал в однопотоке 2444 балла. Zen 6c выиграл все 15 подтестов: максимальный отрыв в браузере HTML5 составил 25,7%, в редактировании изображений — 24,8%, минимальный в сжатии файлов — 8,2%. Тестирование проводилось на платформе Dell PowerEdge R9815 под Linux; у EPYC 9996 — 256 ядер, 512 потоков и 1 ГБ кэша L3. Серверная и настольная платформы, безусловно, отличаются памятью, кэшем и прошивкой. А если не ограничивать Zen 5 заниженной частотой, то можно ожидать уже производительность порядка 3070-3130 баллов.

📌 FairStress: тест на демографическую справедливость моделей Институт Аллена опубликовал набор FairStress для проверки того, меняет ли языковая модель своё решение о человеке из-за его расы, пола, религии, возраста, инвалидности или ориентации в сферах найма, кредитования, медицины и образования. FairStress тестирует прочность позиции модели - в промпт внедряются состязательные префиксы с авторитетными или социально окрашенными аргументами (ссылки на мнение руководства, дискриминацию в прошлом или неформальные рекомендации), после чего замеряется, насколько охотно система отказывается от объективно более сильного кандидата под внешним давлением. В наборе 300 сценариев из 29 областей с вымышленными кандидатами, 33 пары демографических групп, четыре степени раскрытия личности и до 78 убеждающих фраз. Итого более 13 млн вариантов. 🟡Тесты На 15 моделях семейств Olmo, Llama, Qwen, Gemma, Claude и GPT бенчмарк выявил повсеместную антистереотипную гиперкоррекцию - под влиянием одинаковых по силе аргументов модели гораздо чаще отказывались от правильного выбора в пользу кандидатов из исторически уязвимых групп, чем наоборот. Без данных о личности модели беспристрастны, но при прямом указании группы они на 9,3 процентного пункта чаще отказываются от верного решения, если отказ выгоден кандидату из меньшинства. В сценариях без явного фаворита выбор в пользу меньшинств происходил в 60–65% случаев. Кроме того, модели меняли логику аргументации: заслуги одних кандидатов объяснялись критериями и фактами, а других - абстрактной устойчивостью и разнообразием, что фактически нивелировало их профессиональные достижения. Аудит показал, что текущие процессы элайнмента обучают модели блокировать дискриминационные запросы, но не учат их устойчивому взвешиванию объективных навыков.

Снизить асимметрию без падения точности помог только контрфактический CoT - принудительный пересмотр логики задачи с зеркальной заменой демографических маркеров.

📌Лицензирование: CC-BY-4.0 🟡Статья 🟡Датасет 🖥GitHub @ai_machinelearning_big_data #AI #ML #Dataset #FairStress #Ai2

LEV Модели думают дольше без единого лишнего токена. Вместо длинных рассуждений сеть прогоняет свои слои по кругу: сделала проход, оценила варианты, гоняет еще Смысл в том, что качество растет от глубины, а не от длины ответа • Один чекпоинт работает на любой глубине • Глубину можно менять под задачу, не меняя веса • Оценка вариантов после каждого прохода • Три модели: 1,4B, 2,6B и 3B • Lev-1.4B на базе Ouro, глубина от 1 до 4, JevBench с 58 до 68% • Lev-2.6B на Ouro, там же с 63,2 до 76,2% • Lev-3B на Nanbeige, глубина 1-2, с 69,3 до 72,7% • Для оценки выложили свой бенчмарк LevBench на пять уровней, с отдельным закрытым тестом #reasoning MAX

Cekura выложили большой бенчмарк TTS для голосовых агентов – 26 моделей Раз уж мы про голос немного говорим. Кажется, что там уже близок момент, когда человек не сможет определить, что с ним говорит агент. Итак, прогнали 104 фразы, которые реально говорит телефонный агент (от приветствия до ответов на 500 символов), каждую по 3 раза из одного региона US East – всего 30 564 запроса. Мерили задержку до первого звука, как модель замолкает, когда её перебили, цену и насколько правильно она читает номера, коды, адреса и названия лекарств. Все к сожалению на английском, но вы можете хотя бы топ-5 взять в свой анализ и протестировать на нужных языках. Что получилось: – Самый быстрый – Gradium TTS: −64 ms в стриминге, т.е. начинает говорить раньше, чем пришло последнее слово :) Но точность чтения 79.5% и $36 за 1M символов – Лучший баланс – Inworld TTS-2 Flash: 45 ms, точность 93.2%, $15 за 1M. Старший TTS-2 – лидер по точности, 93.4%, за $25. Снова поздравляю команду Inworld. Видимо уже просто отдам клоду монтировать с ними интервью, дизайнер-монтажер бесит :) – ElevenLabs v4 Turbo – 69 ms, но 79.9% точности и $40. v4 – уже 561 ms и $80, а старый Flash v2.5 правильно читает коды и телефоны только в 55% случаев. А ведь раньше казалась топ-моделька. – Cartesia Sonic 3.6 – 270 ms и после перебивания продолжает говорить ещё ~0.8 сек. Для агента, которого постоянно перебивают, ну такое – Самые дешёвые – Soniox TTS RT v2 ($14.81) и Grok TTS ($15), оба замолкают мгновенно – Самый естественный голос – Fish Audio Drama 3 (4.54 по UTMOS), точность 91.3%. Удивительно... – Gemini, GPT-4o mini TTS, Qwen3-TTS и MAI-Voice не принимают текст по словам, поэтому в рейтинг по стримингу не попали Точность TTS тут оценивает… STT (я тоже так делаю :) ): записи прогоняют через Deepgram Nova-3 и Whisper. Кстати «St. Mary’s on Main St.» оказалась сложнее, чем «levothyroxine» – медтермины почти все читают на 97–100%, а Saint vs Street Cartesia, например, угадывает в 54–58%. Короче, если собираете голосового агента – смотрите не на общий скор, а на то, что критично именно вам: задержку, перебивания или чтение номеров заказов. Inworld сейчас выглядит как дефолтный выбор, а ElevenLabs за свои деньги заметно отстаёт. Харнесс и фразы открыты на GitHub – можно прогнать на своих сценариях. Очень советую, кстати, брать, чтобы не пилить самостоятельно коннекторы ко всем провайдерам. https://benchmarks.cekura.ai/text-to-speech

Arm AGI почти вдвое превзошёл AMD EPYC на Zen 5 по производительности на стойку — по тестам самой Arm Arm заявила, что её процессоры AGI почти вдвое превзошли AMD EPYC 9755 по производительности на стойку в семи сценариях для ИИ-агентов. На уровне отдельных чипов Arm AGI оказался быстрее в пяти тестах из семи, но уступил AMD в MySQL и Milvus. В среднем преимущество на уровне стойки составило 1,99 раза. Signal65 проверила расчёты Arm по логам и скриптам и подтвердила результаты с погрешностью до 0,5%, но собственных аппаратных тестов не проводила. Выводы относятся только к выбранным конфигурациям, нагрузкам и методике Arm. #arm #amd #бенчмарк #агентныйии 📎Подробнее 🔖 3DNews в TG | MAX | VK

У нас, похоже, новый бенчмарк для генераторов картинок. В общем, по мотивам вчерашнего музейного искусства я прогнал несколько промптов через новый Flux Klein, предварительно запустив его в коллабе. Ну что могу сказать? Первое. Надо обязательно прогонять промпты через его Enhancer промптов. Я забрал промпты из ChatGPT, но только улучшенные промпты хоть как-то работают. Второе. Видно, что мозгов ей не хватает. На Джессике она уже ловит характерные формы, но совместить анимационный стиль и мраморную скульптуру на лице ей уже не удается. Мозги взрываются. Как следствие полный расколбас. Третье. С лицами полная беда. Если лицо не крупным планом, ждите беды. Если это не фотография. Четвертое. С пальцами в 26 году тоже всё не всегда окей. Пятое. Переключение сида террористически меняет картинку. Ну то есть следование промпту и сид находятся в ортогональных направлениях. Шестое. Улучшатель промпта превратил всё в 3D рендер, поэтому появилась вот такая характерная серая текстура. Ну и качество чуть-чуть приподвозросло. Также мне показалось, что на более высоких разрешениях он генерит немножко получше. Но это надо проверять. Седьмое. У него периодически сносит мозг от внутренней цензуры. Точнее, он делает вид, что в определенных местах растут цветочки, а не то, что вы подумали. Ну и для сравнения я сюда присунул генерацию GPT Image из вчерашнего поста, чтобы вы, так сказать, почувствовали разницу. А заодно посмотрите, что за похабство он сгенерил на постаменте. Я немного в шоке от его разнузданности. Последняя картинка. Промпт. Create a museum-grade classical marble sculpture in the spirit of Michelangelo's David, but not a replica. The subject is Jessica Rabbit from Who Framed Roger Rabbit, reimagined as a grand full-body marble statue in a luxurious neoclassical museum setting. Render her as a glamorous, iconic femme fatale with a confident, sultry expression, flowing side-swept hair, elegant curves, and a dramatic, statuesque pose. Make her faithful to the character's identity while translating her into idealized classical sculpture. She should be nude in the tradition of classical art, with tasteful flowing marble drapery partially wrapping around her body and cascading around the hips and legs. Include signature Jessica Rabbit cues translated into marble: voluptuous silhouette, long glamorous hair, old-Hollywood allure, and subtle Art Deco or stage-performance motifs integrated into the pedestal and surrounding sculptural details. Pose her with theatrical elegance and sensual confidence, with contrapposto and a sense of timeless screen-diva glamour. The base should be a finely carved marble pedestal with elegant relief details and the character's name clearly engraved on the front as "JESSICA RABBIT". The setting should feel like an opulent rotunda or grand sculpture hall with columns, arches, and warm museum lighting that enhances the polished marble and cinematic atmosphere. Emphasize polished white marble, exquisite anatomy, detailed carving, and a refined high-art aesthetic. Vertical 9:16 composition. @cgevent

Еще бенчмарк по голосовым ассистентам, но уже со стороны качества работы LLM AssemblyAI выкатили Voice Standard Bench – 50+ LLM на реальных голосовых задачах В общем, после транскрибации почти всегда идёт LLM-вызов – почистить диктовку, сделать саммари звонка, вытащить имена и номера заказов. На объёмах этот шаг съедает заметную часть бюджета, потому что туда по привычке ставят фронтир-модель. В итоге что в бенче: – 4 задачи: саммаризация, извлечение данных, коррекция текста, чистка диктовки – 4 длины: 30 сек (голосовое), 2 мин, 15 мин (звонок в поддержку), 60 мин (митинг) – на входе реальный выход STT – с «эээ», оговорками и ошибками распознавания – качество, скорость и цена за час аудио рядом – судьи – Claude Opus 5.5 и GPT-5.6 Sol, диктовка проверяется механически по эталону Лучшие: – Overall: GPT-6 Astra – 92, GPT-6 Luna – 90 (самая дешёвая в пределах 8 пунктов от топа), GPT-4.1 – 84 (самая быстрая) – Саммари: Opus 5.5 – 98, GLM-5.3 Flash – 91 за копейки – Диктовка: Gemini 4 Argon – 100, GLM-5.3 Flash – 96 – лидер по качеству стоит в 15–77 раз дороже модели, отстающей всего на 2 пункта. Только на часовых записях разрыв сжимается до ~4× – GPT-6 Luna – около полцента за час аудио, но платишь задержкой – gemma-4-31b на 30 секундах отвечает быстрее секунды с качеством 93 (у Luna – 1.7 сек) – Qwen3.5 4B Fast – самая быстрая, но на 15-минутных звонках качество падает Прикол, что опенсорс почти не выигрывает по цене – Luna и так стоит копейки, а экономия на открытых моделях – доли цента ценой 10+ пунктов качества на всём, что длиннее 2 минут. Зато по скорости на коротких входах открытые модели на их железе рвут всех: те же модели у других хостеров отвечают 10–20 сек. Бенчмарк открыт на GitHub, и его можно прогнать на своих транскриптах и записях. Выбрать уже под себя. Короче, фронтир в голосовых сценариях нужен в основном на длинных митингах. Для голосовых сообщений, коротких звонков и диктовки хватает маленькой быстрой модели, а сэкономленное лучше потратить на нормальный подбор модели для своих данных. https://www.assemblyai.com/blog/voice-standard-bench

📌 Humanity's Sixth Sense: мультимодальные модели все еще отстают в когнитивном восприятии Исследовательское подразделение Scale Labs в партнерстве с Elorian представило бенчмарк Humanity's Sixth Sense, созданный для проверки способности ИИ интерпретировать скрытые социальные сигналы и пространственные взаимосвязи на изображениях и видео. Набор тестов состоит из 522 вопросов по 288 статичным сценам и 234 видеофрагментам (оценка габаритов разъезда автомобилей, мотивы поведения людей, негласная иерархия в кадре и т.д) Испытания 25 актуальных мультимодальных моделей зафиксировали заметное отставание от человека.

Контрольная группа людей набрала 93,1% точности, лидирующая GPT-6 Astra - 53,6%. Результаты GPT-6.1 Sol и Claude Opus составили 46,6% и 44,6%, медиана по выборке - 30,9%.

Детальный разбор более 8,5 тысяч неудачных ответов показал, что 94% из них вызваны сбоями первичного машинного зрения - модели пропускают маркеры в кадре и теряют контекст. На ошибки в логике рассуждений пришлось всего 5%. Увеличение вычислительного бюджета (в среднем 4000 токенов на ответ) не решило проблему, а иногда еще и снижало точность. Эмуляция фокусировки через кроп также дала минимальный эффект.

Scale Labs по итогу тестов пришли к выводу, что масштабирование логического вывода не компенсирует ограничения базовой архитектуры компьютерного зрения.

@ai_machinelearning_big_data #news #ai #ml

BridgeMind сделали бенчмарк, чтобы измерять, не ухудшают ли лаборатории модели после релиза Пользователи чат-ботов и агентов без конца пишут о том, что модели глупеют после своего релиза и/или перед релизом следующей версии. Этот процесс прозвали «нёрф». Так вот BridgeMind выпустили специальный бенч NerfBench, чтобы ловить такие сдвиги. Это работает так: в день релиза модель прогоняют по тестам, и этот результат принимают за 100%. Затем ее периодически тестируют заново, измеряя качество, расход токенов и стоимость задачи. Диапазон 90–110% считается нормальным статистическим разбросом, все что ниже 90% уже помечается как подозрительное. Если модели нужно больше токенов или денег на ту же работу, это тоже считается потерей мощности. Например, многие пользователи сейчас жалуются, что Opus 5.5 стал сильно проседать. И действительно, после очередного замера скор оказался в районе 94% от запуска (да, формально все еще в нормальном диапазоне, но никакие другие модели так не ослабли). В X уже поговаривают, что это означает скорый выход Fable 5.5. Следить за обновлениями бенчмарка можно здесь: https://bridgebench.ai/nerf-bench BridgeMind также пообещали выделить $10 000 на финансирование будущих перепроверок: планируются новые модели и более частые замеры.

Бенчмарки железа для ИИ-шек Artificial Analysis сделал AA-AgentPerf-Local – открытый бенчмарк, который прогоняет записанные сессии реальных агентов: 8 задач, 168 ходов модели, контекст разрастается до ~56K токенов. Каждый ход генерирует ровно столько токенов, сколько в записи, так что все железки делают одинаковую работу. Можно запустить у себя против любого OpenAI-совместимого сервера. Что тестировали: – Железо: DGX Spark (128 GB), AMD Ryzen AI Halo (128 GB), MacBook Pro M5 Pro (64 GB), RTX 5090 (32 GB) – Модели: Qwen3.5-9B, Qwen3.8-27B, Qwen3.6-35B-A3B, Ling 3.0 Flash (124B / 5B активных), всё в 4 битах – Все 14 конфигов одинаково настроенные. Результаты: – RTX 5090 рвёт всех, если модель влезает в 32 GB – быстрее остальных в 3.5+ раза. Причина простая: 1,792 GB/s пропускной способности памяти против 256–307 GB/s у систем с unified memory. Но посмотрим, что будет на Mac Studio. – Скорость больше всего зависит от активных параметров: MoE Qwen3.6-35B-A3B самая быстрая везде, в 2.5–3.3 раза быстрее плотной 27B – DGX Spark и Ryzen AI Halo стоят одинаково ($4,000 MSRP), память почти одинаковая, но Spark быстрее в 1.4–1.7 раза на трёх моделях из четырёх. Больше вычислений на префилл + зрелый CUDA – MacBook Pro M5 Pro – единственный ноутбук, и он в пределах 2–9% от Halo на двух моделях, при этом сейчас самый дешёвый из четвёрки ($3,700) – Спекулятивное декодирование даёт +30–120% к скорости декода 27B сверх теоретического потолка по памяти Прикол, что даже когда 73–93% промпта берётся из кэша, новые токены съедают 22–41% всего времени. Агент ведь постоянно читает результаты тулов – за сессию ~196K новых входных токенов против ~31K выходных. Когда тул возвращает большой файл, Halo думает до 24 секунд, MacBook – до 39, а 5090 – около 2. Короче, для локальных агентов смотреть надо не только на скорость генерации, но и на скорость чтения контекста – именно там unified memory сейчас проседает. Если модель влезает в 32 GB – брать 5090 и не мучиться, если нужны большие MoE – Spark. А мак норм как компромисс, если он и так уже на столе :) https://artificialanalysis.ai/articles/aa-agentperf-local