ИИ
Cloudflare тестирует инструменты монетизации контента для ИИ
Эксперимент Andon Labs: ИИ-менеджер Мона и провал управления кофейней
Проблемы экосистемы ComfyUI в генеративном видео
Упс, они сделали это снова? Почему ваш ИИ тупеет ровно перед выходом новой модели
Обзор новостей ИИ: OpenAI, Meta, Илон Маск, Base44 и рост цен в Сан-Франциско
Zhipu AI обновила ИИ-агента ZCode до версии 3.2
Adobe представила Firefly Graph для визуальной сборки ИИ-процессов
Стендап-монолог нейросети Fable 5
Инсайты с конференции Conversations: запросы реального сектора и байки из индустрии
Onklaud 5: новый конвейер для кодинга
Продажа пользовательских данных для обучения ИИ
Fable 5 показала рекордные результаты в бенчмарке Remote Labor Index
Center for AI Safety (CAIS) обновил результаты бенчмарка Remote Labor Index (RLI), предназначенного для оценки качества ИИ-агентов в задачах удаленной работы. Бенчмарк базируется на реальных проектах фрилансеров с платформы UpWork, а результаты моделей оцениваются путем сравнения с работой живых специалистов.
Лидером тестирования стала модель Fable 5, набравшая 16,1% (по данным CodeCamp). Для сравнения, показатели других актуальных моделей значительно ниже: Opus 4.8 набрал 8,3%, а GPT-5.5 — 6,3%. При этом на момент запуска бенчмарка лучшие решения справлялись лишь с 2,5% задач. Fable 5 продемонстрировала особые успехи в 3D, CAD, визуализации и редактировании видео.
Стоимость выполнения одной задачи в рамках теста была ограничена 50 долларами для большинства моделей и 150 долларами для Fable. По оценкам GPT-5.2 Pro, каждый процент прироста в RLI коррелирует с потенциальным влиянием на рынок труда США в диапазоне от 13 до 54 миллиардов долларов, в зависимости от охвата сегментов удаленной работы.
В дальнейшем CAIS планирует внедрить систему «критика», которая будет проверять результаты работы ИИ перед их финальной оценкой. Также исследователи намерены изучить зависимость эффективности выполнения задач от масштабирования вычислительных мощностей и финансовых затрат.