Разработчики отказываются работать без ИИ. Даже за деньги! 😁 Ну ка не ржать, матросы! Короче, у METR случилась прекрасная проблема с исследованием продуктивности. Помните ребят, которые в 2025 году выяснили, что опытные разработчики с ИИ выполняли задачи на 19% дольше? Хотя сами считали, что ускорились. Так вот, они решили провести новый эксперимент. И столкнулись с тем, что часть разработчиков просто не захотела участвовать. Потому что пришлось бы половину задач делать без ИИ. Даже за $50 в час. (metr.org) Дальше ещё прикольнее. 1. Некоторые вообще не приходят в исследование: отказываться от ИИ не хочется. 2. Среди опрошенных участников 30–50% признались, что не отдавали в эксперимент отдельные задачи. Вдруг выпадет условие «без ИИ», а делать руками совсем не хочется. 3. Один участник не завершил ни одной задачи, которую ему назначили выполнять без ИИ. В итоге METR объявила о пересмотре методики: из исследования выпадают люди и задачи с наиболее высокими ожиданиями пользы от ИИ. Это может занижать измеренный эффект. Правда, оплату участия тоже снизили — со $150 до $50 в час, что могло повлиять на отказы. (metr.org) Знаете, что самое клевое? Мы пытаемся ответить на вопрос «насколько ИИ ускоряет разработчика», предлагая ему поработать так, как он уже не хочет работать. Это как измерять пользу IDE, периодически выдавая человеку блокнот. Эксперимент провести можно. Добровольцев найти сложнее 😁 При этом нежелание отказаться от инструмента ещё не доказывает рост продуктивности. Он может экономить силы, убирать скуку или просто создавать приятное ощущение скорости. Но для нас, людей, которые делают инженерные платформы, здесь есть ещё один вопрос: Как измерять эффект инструмента, когда вокруг него уже перестроилась сама работа? Человек иначе выбирает задачи, иначе распределяет внимание, запускает несколько агентов параллельно. И сравнение «та же задача с ИИ и без» всё меньше рассказывает о том, как теперь работает команда. Исследование METR

Anthropic объявила первого «независимого оценщика» в рамках компании Embedded Evaluators, которую Дарио Амодеи продвигал в своем эссе о замедлении Им стала компания Accenture. В независимую оценку включен red-teaming, alignment-проверки, тестирование safeguards и так далее. Вот только насколько независимыми можно назвать Accenture – это вопрос. Accenture обучает ~30 000 своих сотрудников работе с Claude, у компаний есть совместный многолетний контракт еще с конца 2025 года, и Anthropic прямо с посте пишут, что будут сами финансировать работу Accenture. Напоминаем, что за некоторое время до этого Anthropic также предоставили «независимый доступ» компании METR, чтобы те провели расследование инцидентов с агентами. Однако METR, как оказалось, тоже косвенно финансируется из акций Anthropic, то есть напрямую заинтересована в финансовом успехе стартапа (об этом расследовании мы писали здесь: https://t.me/data_secrets/9931). В сухом остатке: Anthropic заявляют, что будут подключать независимых оценщиков, а сами тем временем выбирают их из числа компаний, с которыми их уже связывают деловые отношения.

В июле 2025 года METR провела рандомизированный контролируемый эксперимент: 16 опытных разработчиков, 246 задач, данные февраля по июнь 2025 года, инструменты Cursor Pro с Claude 3.5 и 3.7 Sonnet. Результат дословно: разрешение использовать ИИ увеличило время выполнения на 19 процентов, с доверительным интервалом примерно от плюс 2 до плюс 39 процентов, при том что после эксперимента те же разработчики оценивали ускорение в 20 процентов. Один эксперимент не приговор, и сама METR отмечает, что это замер начала 2025 года. Но он показывает, как легко спутать ощущение ускорения с ускорением, и почему ощущения плохой измеритель. 4. Что говорят данные о темпе, и как их читать? Есть тренд, который цитируют чаще всего. METR измеряет временной горизонт задач: длину задачи по человеческому времени, которую модель решает с вероятностью 50 процентов. Этот горизонт удваивался примерно каждые семь месяцев в 2019 по 2025 годы, а на данных 2024 по 2025 удвоение выглядит ближе к четырём месяцам. Anthropic на странице When AI builds itself приводит именно эту ускоренную оценку и добавляет внутренние данные: более 80 процентов кода, вливаемого в кодовую базу Anthropic на май 2026 года, написано Claude, Anthropic а типичный инженер во втором квартале 2026 года вливал в 8 раз больше кода в день, чем в 2024 году Anthropic. Строки кода это количество, а не качество, и Anthropic честно оговаривает, что величина 8x почти наверняка завышает реальный прирост продуктивности. Кривая METR очень чувствительна к нескольким длинным задачам, а человеческие базовые времена измерены лишь для малой части самых длинных задач. Но это не доказательство того, что машина сама выбирает направления исследований. Именно выбор целей Anthropic называет своим главным оставшимся разрывом. И ещё один датапоинт против прямолинейной экстраполяции. Дэниел Кокотайло, ведущий автор сценария AGI 2027 (апрель 2025), к концу 2025 и в 2026 году сдвинул свою медиану ближе к 2029 и 2030 годам, потому что прогресс идет несколько медленнее сценария. Скептики вроде Эге Эрдиля и Тамая Бесироглу из Epoch AI держат горизонт AGI за 2045 годом и не считают интеллектуальный взрыв правдоподобным, хотя допускают взрывной экономический рост. Когда авторы самого известного сценария сдвигают сроки, это сигнал, что экстраполяцию одной кривой стоит принимать с осторожностью. 5. Что реально засчитывалось бы как доказательство? Чтобы говорить о RSI как о свершившемся факте, а не о маркетинге, нужен повторяемый рост исследовательской способности на протяжении нескольких поколений моделей, измеренный с учётом двух вещей: человеческого вклада и стоимости вычислений. Конкретно я бы смотрела на следующее: - Растёт ли способность модели самостоятельно выбирать направления исследований, а не только исполнять поставленные эксперименты, ведь именно этот разрыв называет своим Anthropic. - Сохраняется ли ускорение, когда вы фиксируете бюджет вычислений, а не наращиваете его. - Держится ли эффект на нескольких поколениях подряд, а не на одном удачном релизе. - Подтверждается ли он контролируемыми замерами вроде METR, а не опросами и ощущениями. Пока хотя бы часть этих условий не выполнена, разумно считать, что мы видим ускорение отдельных задач, ровно как и написала сама OpenAI 9 сентября 2026 года.