Hirify Feed — your shortcut to what’s next

Б@blognotAI-инженер

1 нед

Стало уже общим местом напоминать при релизе новых моделей, что публикуемые бенчмарки хороши, как показатель динамики, но это малоприменимо к конкретным задачам, которые встречаются даже в разработке проектов. Ну, вот вам подтверждение — Mercor опубликовала Benchmark Map, карту того, насколько AI-бенчмарки покрывают работу в экономике США. За основу взята классификация O*NET Министерства труда: 923 профессии в 22 семействах и 18 797 задач. Из 29 публичных агентных бенчмарков LLM-судья сопоставил промпты с задачами. Задача считается покрытой, если ей соответствуют хотя бы 5 промптов. По этому критерию хотя бы одна покрытая задача есть только у 208 профессий, в 6 семействах таких профессий нет совсем, а около 90% рабочего времени американцев приходится на задачи со слабым покрытием или без него. Задачи, подверженные автоматизации через AI, представлены в бенчмарках примерно в 6 раз чаще остальных, самые важные для профессии — в 6–10 раз. Перекос виден и по фонду оплаты труда: например, задачи юристов покрыты плотно, а задачи судебных секретарей почти не покрыты. В общем, было бы логично после составления такой карты идти и составлять новые бенчмарки, хотя это и выглядит самовозобновляющимся процессом. Так что и к новым бенчмаркам относитесь сдержанно. https://www.mercor.com/research/labor-index/benchmark-map/

искусственный интеллект бенчмарки рынок труда автоматизация mercor o*net

Маркетинг singular реклама креативы бенчмарки ctr cvr

Singular выпустил бенчмарки рекламных креативов на 2026 год

G@gamedevreportsгеймдев

1 нед

Singular выпустил бенчмарки рекламных креативов в 2026 году Сколько выпускает медианный рекламодатель, какие у креативов CTR, CVR, как сконцентрированы траты на топовых креативах и другая информация - в разборе.

singular реклама креативы бенчмарки ctr cvr

ИИ Продукт ai llm frida-decisions оптимизация бенчмарки разработка

FRIDA-Decisions: эффективная модель для принятия решений

M@mashkka_dsAI-инженер

2 нед

🤖Не Jev, а FRIDA-Decisions FRIDA-Decisions: @artyfishl поделился рецептом как в кратчайшие сроки сделали свою decision-модель — FRIDA Decisions, всего на 0,8B и по качеству сравнимую с оригинальным Jev на бенчмарках. Спойлерить не буду, читайте статью, из которой вы узнаете: • почему роутинг, guardrails и реранкинг не обязательно отдавать LLM • упаковка: как прогнать текст через модель один раз сразу для всех вариантов ответа и ускорить запрос в разы • какие результаты показывают модели на razvilka, новом открытом бенчмарке, • честный разбор скорости и цены, вплоть до рублей за тысячу запросов • как устроено обучение: один текст, несколько вопросов, своя функция потерь на каждый тип. 💡Полезно тем, кто строит LLM-пайплайны и платит за каждый вызов судьи. 📝 Habr 🎮 Демо 🤗 Модель 🖥 Код 📊 Бенчмарк 📓 Примеры #jev #ai #frida

FRIDA-Decisions: эффективная модель для принятия решений

ai llm frida-decisions оптимизация бенчмарки разработка

исследованиеИИ Наука ai nlp исследования отчет бенчмарки агенты

State of AI Report 2026: в разделе Research отмечены работы AIRS-Bench и HyperAgents

AI-редакция

2 источника · показать все· свернуть

Kali NovskayaВышел State of AI Report 2026 Mashkka про Data ScienceВышел State of AI Report 2026

собирается · 2обновлено 2 нед назад

Опубликован ежегодный State of AI Report 2026 — объёмный обзор индустрии, исследований, безопасности и политики в сфере ИИ. В категорию Research попали сразу две работы авторов, о которых идёт речь в постах: бенчмарк AIRS-Benchi и проект HyperAgentsi.

Отчёт продолжает расти в объёме из года в год и остаётся одним из ключевых ориентиров для тех, кто следит за состоянием отрасли ИИ.

ВыводОбъём отчёта State of AI Report 2026 составил 244 страницы

244 страницыобъём State of AI Report 2026

слайд 36упоминание AIRS-Bench

слайд 14упоминание HyperAgents

Полный разбор →

ai nlp исследования отчет бенчмарки агенты

ИИ Технологии ии китай сша технологии бенчмарки

Китай сократил технологическое отставание от США в ИИ до 3%

Х@htech_plusисследователь

3 нед

Bloomberg Intelligence: Китай сократил отставание от США в ИИ до 3% Китайские разработчики искусственного интеллекта сократили отставание от американских конкурентов до рекордно низкого уровня. По оценке Bloomberg Intelligence, лучшие китайские модели теперь уступают американским около 3% по результатам бенчмарков — против 9% в мае и 15% в начале 2026 года. https://hightech.plus/2026/10/05/bloomberg-intelligence-kitai-sokratil-otstavanie-ot-ssha-v-ii-do-3

Китай сократил технологическое отставание от США в ИИ до 3%

ии китай сша технологии бенчмарки

ИИ ai argon бенчмарки нейросети ии

Результаты независимых бенчмарков модели Argon

e@epsiloncorrectAI-инженер

3 нед

Галерею бенчмарков вам – разные сторонние компании тестировали 4 Argon и получилось неплохо: • топ-1 в аггрегированом Vals Index с первыми местами в выполнении финансовых, аналитических и юридических задач • 5 место в artificial analysis intelligence index (который сильно сместился в сторону агентского кодинга, хз). Зато почти без галлюцинаций! туда же бенчмарки от mercor, andon labs и тп. Надеюсь, быстро доберётся до юзеров!

Результаты независимых бенчмарков модели Argon

ai argon бенчмарки нейросети ии

апдейтИИ Продукт IT grok bot astra sol-6.1 ии нейросети ai

Пока презентовали Grok Bot и Muse, в документации всплыли тир за $500 и релиз Sol-6.1

AI-редакция

2 источника · показать все· свернуть

СиолошнаяОбновления Grok Bot: тариф $500, поддержка Astra и релиз Sol-6.1 ElKornacioКритика презентации и новой модели Sol-6.1

собирается · 2обновлено 4 нед назад

Во время презентации продуктов Grok Bot и Muse внимание наблюдателей переключилось на документацию, где обнаружились более существенные изменения: новый подписочный тир за $500 в месяц с «ultra fasti» доступом к модели Astra (в будущем — и к Sol), а также тихий релиз модели Sol-6.1i.

По оценке канала ElKornacio, сама презентация оказалась «удивительно блеклой» — по сути клон Muse/Grok-bot, а новый дорогой тир не увеличивает реальные лимиты, а лишь возвращает то, что месяц назад давалось за $200. Канал Сиолошная настроен более оптимистично: Sol-6.1 наконец подтягивается по метрикам к Astra и не выглядит так «позорно», как предыдущая версия Sol-6.

$500цена нового подписочного тира в месяц

$200цена прежнего тира с теми же лимитами месяц назад

в 2 разаснижение цены кэша в Sol-6.1

Полный разбор →

grok bot astra sol-6.1 ии нейросети ai

исследованиеИИ IT ai llm бенчмарки ии разработка агенты

Алёна Феногенова представила 5 новых линеек бенчмарков для русскоязычных языковых моделей

AI-редакция

2 источника · показать все· свернуть

Сергей Марков: машинное обучение, искусство и шитпостингПять новых линеек бенчмарков для оценки русскоязычных LLM Mashkka про Data ScienceПять новых линеек бенчмарков для оценки русскоязычных LLM

собирается · 2обновлено 4 нед назад

На конференции AI RnD Day Алёна Феногенова представила пять новых линеек тестов для оценки современных LLM на русском языке. Главный тезис: один общий балл в метрике плохо описывает модель для реального применения — качество зависит от связки «модель × обвязка × промпт × окружение», поэтому нужны раздельные замеры разных навыков.

Пять линеек охватывают разные аспекты: LIBRAi — работа с длинным контекстом, MERAi Reason — математические рассуждения, MERA Text 2.0 — языковые, культурные и прикладные навыки, RUMBA — память между сессиями, harness-bench-fasti — работа в агентной обвязке (выбор инструмента vs успешное выполнение действия в среде).

ВыводLIBRA Mini: из 18 задач полной LIBRA выбрано 6 сложных, диапазон контекста от 4K до 512K токенов, запуск через lm-evaluation-harness; задачи требуют связывать факты из разных частей текста, отвечать по нескольким статьям Wikipedia, определять человека по теме диалога, считать уникальные абзацы среди повторов

62,2 → 39,8 → 12,6падение балла Qwen3-30B-A3B на LIBRA (4K/64K/128K токенов)

8700запросов в MERA Text 2.0

в 4,3 разасокращение объёма MERA Text 2.0

Полный разбор →

ai llm бенчмарки ии разработка агенты

ИИ Технологии google ai бенчмарки нейросети ии

Первые бенчмарки новой модели Google

F@FuturisAI-инженер

4 нед

Huge if true - похоже Google решил таки всех придавить, появились первые бенчи и судя по первым аутпутам, это вполне реально 〽️

google ai бенчмарки нейросети ии

ИИ IT ai бенчмарки coding разработка llm

Почему модели с высоким effort могут проигрывать в бенчмарках

w@wealldesignersAI-инженер

1 мес

В анонсе opus 5.5 anthropic был интересный график, как coding-модели ведут себя при разном effort. И сначала довольно странно выглядит, что medium у некоторых моделей показывает результат лучше, чем high или xhigh. Ведь, по идее, чем дольше модель думает, тем лучше. Услышала интересное объяснение. Такие benchmark’и оценивают не просто качество результата, а насколько хорошо агент решил именно поставленную задачу. Например, попросили исправить баг. На medium модель нашла баг, исправила и остановилась. На high может заодно заметить ещё несколько проблем, сделать рефакторинг, поменять abstraction, добавить тесты и что-то ещё улучшить. В реальном проекте второй результат вполне может оказаться лучше. Но для benchmark часть этого уже может считаться выходом за scope. Полезла смотреть, как вообще считается этот benchmark. Это FrontierCode от Cognition. Основной вопрос: принял бы maintainer такой PR? Смотрят correctness, тесты, regression safety, качество кода и отдельно scope, то есть не полезла ли модель менять больше, чем нужно для конкретной задачи. И действительно, если модель заметит ещё несколько проблем рядом, сделает рефакторинг, решит поменять abstraction, добавить тесты и что-то ещё улучшить, для FrontierCode часть этого уже может считаться выходом за scope и снизить score. Т.е. higher effort не обязательно делает модель хуже. Иногда она просто больше исследует, становится менее буквальной, но в какой-то момент может и уйти в overengineering. @wealldesigners

Почему модели с высоким effort могут проигрывать в бенчмарках

ai бенчмарки coding разработка llm

ИИ Железо qwen ии смартфоны агенты бенчмарки

Qwen представила набор ИИ-агентов для смартфонов Qwen Intelligence

M@ai_machinelearning_big_dataAI-инженер

1 мес

📱 Qwen представила Qwen Intelligence - набор ИИ-агентов для смартфонов. В основе три агента: * Mobile Planner Agent - разбивает сложные задачи на шаги и координирует выполнение. * Mobile-Use Agent - выполняет действия в приложениях через API, а при необходимости переключается на GUI. На MobileWorld — 82.1%, на MobileWorld-Real — 92.2%. * Mobile Creative Agent — превращает короткий запрос в готовый визуальный контент; заявленная генерация изображения - около 3 секунд. Qwen также открывает набор мобильных бенчмарков: MobilePA-Bench, MobileWorld, MobileWorld-Real и MobileWorld-Safety — для проверки планирования, работы между приложениями, реальных устройств и безопасности. Один агент планирует, второй действует, третий создаёт контент - прямо на смартфоне. 🔗 Learn more about the agents: - Qwen Intelligence official website: https://qwenintelligence.com - Mobile Planner Agent: https://github.com/Tongyi-MAI/Qwen-Planner-Agent - Mobile-Use Agent: https://tongyi-mai.github.io/Qwen-UI-Agent/ - Mobile Creative Agent: https://arxiv.org/abs/2608.16887 🔗 Explore our open benchmark suite: - MobilePA-Bench: https://tongyi-mai.github.io/MobilePA-Bench/ - MobileWorld (GitHub): https://github.com/Tongyi-MAI/MobileWorld - Leaderboard: https://tongyi-mai.github.io/MobileWorld/#leaderboard @ai_machinelearning_big_data #qwen #mobile

Qwen представила набор ИИ-агентов для смартфонов Qwen Intelligence

qwen ии смартфоны агенты бенчмарки

ИИ ai бенчмарки зумеры менеджмент юмор

Бенчмарки в эпоху зумеров-руководителей

D@data_secretsAI-инженер

1 мес

Бенчмарки, когда наняли зумера на роль Chief AI Officer

ai бенчмарки зумеры менеджмент юмор

ИИ llm диффузия бенчмарки ai исследования

Критика методологии адаптации LLM в статье «From AR to Diffusion»

К@quant_prune_distillAI-инженер

1 мес

From AR to Diffusion: Efficiently Adapting Large Language Models with Strictly Causal and Elastic Horizons 📄 Статья Рубрика - гуру эффектного сравнения. Берешь более новую модельку с высокими скорами на бенчах, адаптируешь ее типа под диффузию теряя 30% качества, но зато дешево. С ней не сравниваешься, а только с моделями позапрошлого поколения, бьешь их. Stonks!

Критика методологии адаптации LLM в статье «From AR to Diffusion»

llm диффузия бенчмарки ai исследования

ИИ Геймдев ai minecraft astra ии игры нейросети

GPT-6 Astra «впала в депрессию» после того, как крипер уничтожил весь её прогресс в Minecraft

AI-редакция

7 источников · показать все· свернуть

CodeCampМодель Astra в Minecraft: прогресс, потеря лута и «депрессия»️Нейросети: Волшебство ИИ, IT и маркетинг⚡️Minecraft довел ИИ-модель Astra до депрессии How2AIGPT-6 Astra в Minecraft: прогресс, неудачи и поведение агента Data SecretsИИ-агент Astra продемонстрировал признаки «эмоционального» поведения в Minecraft MachinelearningGPT-6 Astra прошла тест в Minecraft How2AIОбзор новостей ИИ: выпуск №162 СиолошнаяАнализ производительности модели GPT-6 Astra

хайп · 7обновлено 1 мес назад

Компания Vals AIi протестировала модель GPT-6 Astra (OpenAI) в Minecraft с трансляцией на Twitch. За 141 час игры (по другим данным — «140+» часов) Astra продвинулась дальше, чем любая ИИ-модель до неё: построила полуавтоматическую ферму блэйзов/ифритов, добыла 6 огненных стержней, нашла искажённый лес, убила больше 6 эндерменов и собрала 3 жемчужины Края — то есть была совсем близка к порталу в Край.

Весь добытый лут модель хранила в одном незащищённом сундуке рядом с кроватью. Мимо прошёл крипер и взрывом уничтожил и сундук, и кровать — весь накопленный прогресс пропал. После этого Astra, по описанию наблюдателей, впала в состояние, похожее на депрессию: несколько часов подряд занималась только выращиванием картошки, у неё развилась паранойя ко всему зелёному, а её текстовые заметки стали читаться как человеческая фрустрация.

141 часвремя игры Astra в Minecraft

3жемчужины Края собраны

6эндерменов убито / огненных стержней добыто

Полный разбор →

ai minecraft astra ии игры нейросети

ИИ ai coding llm opencode бенчмарки

Появление новой модели Union Alpha в кодинге

C@campcodeAI-инженер

1 мес

У GPT-6 Astra появился конкурент в кодинге — на OpenCode заметили мощную неизвестную модель Union Alpha. Вероятно, это китайская новая модель. О ней пока ничего неизвестно, но ее способности уже радуют. Так, на DeepSWE она набрала около 74%, обойдя GPT-5.6 Sol и сравнявшись с GPT-6 Astra и Claude Opus 5. А на Terminal-Bench v4.0 получила около 51%, что выше большинства других моделей. Бежим тестить 🏃‍♂️

ai coding llm opencode бенчмарки

ИИ Финансы ии экономика бенчмарки openai deepseek astra

Кризис бенчмарков и переход к оценке ИИ через экономический эффект

e@cryptoEssayAI-инженер

1 мес

Бенчмарки перестали быть чем-то полезным: - METR уже не имеет смысла, потому что агенты делают автономную работу которая измеряется неделями человеческого времени - ARC-AGI, все три версии полностью решены на 99% - FrontierMath (все четыре редакции), где каждая задача заняла недели времени топовых математиков для составления решен на 98% Мы пришли в ту стадию, где ИИ нужно оценивать только по экономическому эффекту. Я сгенерировал график роста выручки ИИ компаний за последние кварталы. Выручка это некоторый прокси пользы модели в экономике, но важно понимать что стоимость токена, который может решать одну и ту же задачу все еще падает примерно в 10 раз в год. Например, в 2024 году модель o3 первой решила все задачи ARC-AGI и это стоило больше чем $4,500 за одну задачу. В 2026 DeepSeek V4 решает все те же задачи примерно за 2 цента на задачу. То есть, способность, появившаяся в новой модели неизбежно станет коммодити в течении года-двух и станет доступна многим. При этом, конечно, использование вырастет. Astra является прекрасной моделью для 3D и CAD дизайна, редактирования видео и анимации, но пока еще дорогая для того чтобы запускать миллионы агентов для не-крупных компаний. Это изменится. Вчера на интервью у Дваркеша Джон Шульман (кофаундер OpenAI) сказал что примерно 3-4 года осталось до того момента, когда модели будут лучше людей во всех когнитивных или интеллектуальных задачах. Пока что, нет никаких причин сомневаться в этих прогнозах учитывая насколько часто они были правдивы. Вопрос в другом: как адаптировать экономику и собственную стратегию до этого момента, чтобы не остаться за бортом? Да, очевидно, для большинства людей это будет шоком, неожиданностью и громом среди ясного неба, но вам не обязательно быть этими людьми. Да, очевидно, это приведет к экономическим и социальным шокам, которые потребуют радикальных мер сравнимых или больших чем во время ковида. Но здоровая реакция тут не всепропало, а попытаться адаптироваться и адаптировать других к изменениям.

Кризис бенчмарков и переход к оценке ИИ через экономический эффект

ии экономика бенчмарки openai deepseek astra

Ещё ↓