Вообще забавно, что бенчмарки теперь бывают двух видов: 1. Научная статья, датасет и протокол для сравнения методов. Пир ревью, методология и всё такое. 2. Мы прикольно запромптили модели больших лаб и что-то получилось, вот блог-пост. Второй тип мне по вайбу напоминает социальные науки в 90-х. Например, как знаменитый Стенфордский эксперимент Милграма: мы сделали одних людей надзирателями, вторых заключенными, и ВЫ НЕ ПОВЕРИТЕ ЧТО БЫЛО ДАЛЬШЕ. Опускается, что Милграм показывал надзирателям как лучше бить заключенных дубинкой для большей драматичности. Или множество исследований типа "мы задали три вопроса пяти студентам в коридоре нашего универа и вот что мы узнали про психику людей..." В общем всё то, что привело к кризису репликации. И позволило многим сделать целые карьеры занимаясь какой-то веселой херней. Короче это изначально не про науку и от бенчмарков одно название

LLM придумывают исследования заметно уже людей Исследователи сравнили идеи девяти моделей с идеями из 11 683 реальных научных работ. Условия были одинаковыми: и людям, и LLM давали один набор близких предыдущих исследований и просили найти новый научный вопрос и предложить метод. Разница оказалась не столько в качестве отдельной идеи, сколько в разнообразии подходов. Люди чаще искали причины явлений, проверяли ограничения, меняли отдельные механизмы, создавали инструменты измерения и изучали сбои. Модели в основном выбирали безопасный сценарий: соединить две существующие работы или объединить несколько методов. Такую мотивацию использовали только 12,1% человеческих идей, но от 47,1% до 64,2% идей LLM. Синтез и объединение стали основным методом в 5,1% человеческих работ против 22,5–38,7% у моделей. Показательный результат: более долгое рассуждение не расширило диапазон идей. В некоторых тестах модели ещё сильнее концентрировались на знакомых шаблонах. LLM могут быстро выдать убедительную научную гипотезу. Но при массовом использовании они рискуют снова и снова предлагать одну формулу: возьмём A, соединим с B и назовём это новым методом. Исследование показывает важное ограничение AI Scientist: модель может хорошо развивать найденное направление, но выбор самого направления пока остаётся заметно человеческой задачей. arxiv.org/abs/2607.01233

Истина 1. Поведение Системы возникает из взаимодействия между её частями, а не из отдельных частей Результат системы — это результат того, как компоненты соединяются и взаимодействуют. Можно довести до совершенства каждую отдельную часть и всё равно получить сломанное целое.

Продукт это то, как совершенные части собраны в полезное целое

Системное мышление означает оптимизацию связей-линий между частями-точками. Оптимизация части всегда идёт за счёт целого. Части Системы, оптимизируемые независимо(!) по локальным метрикам, стремятся к своим локальным максимумам, которые являются провалом для целого (прямое следствие декомпозиции цели/фичи/продукта/рынка). Истина 2. Структура, правила и потоки информации обладают большей силой, чем её параметры Точки вмешательства в оптимизацию Системы имеют разную силу. Настройка параметров обладает слабейшей силой, в то время как изменение структуры, правил и информационных потоков большую, а изменение всей парадигмы Системы – максимальную. Эксперименты с версиями фичи это лишь уровень параметров Проектирование базиса механики/архитектуры/сценария, на/по/благодаря которому смогут строить и создавать другие пользователи/команды — правило. Систему можно опознать как ту же самую даже после того, как заменены все её физические носители: люди и код, главное – всё будет работать в новых версиях и компиляциях, если сохранился паттерн связей между ними. Истина 3. Граница Системы очерчена наблюдателем, а не продуктом/рынком Где проводится граница продукта, там же заканчивается его рост и оптимизация, а всё, что снаружи границы, воспринимается как внешняя среда, а не как часть целого. Не бывает объективной границы Системы — есть только граница, которую "выгодно" не видеть. Истина 4. Когда в Систему добавляются что-то "новое" как новый актор, новая ценность переходит к интерфейсу, через который это "новое" взаимодействует с частями Системы. Интерфейс – слой парадигмы. Истина 5. Управлять Системой может только То, что содержит не меньше разнообразия, чем сама Система Регулятор должен обладать вариативностью реакций, равной или превышающей вариативность возмущений, иначе часть возмущений пройдёт через него неотрегулированной (математическое ограничение управления как такового). Истина 6. Иерархия — это замороженная на момент времени искусственная сеть, а формализация и живость Системы это её взаимоисключающие состояния. Система 7. Система не может познать себя изнутри, ибо любое её самоописание есть модель низшего порядка сил. Система существует не ради цели, а ради собственного воспроизводства. Её цель это то, что она рассказывает себе про себя Истина 8. Достигнутая Системой цель — её же новое ограничение. Система, истребившая все ошибки, истребила собственную способность эволюционировать. Значит ли это, что она эволюционировала в Абсолют?