Какая боль, какая боль: лучшие научные рецензенты - ИИ - 132:0
Гарвардский эксперимент показал превосходство ИИ над лучшими экспертами. И за этой победой скрывается угроза, способная изменить саму природу науки
В науке десятилетиями существовал почти священный институт -
peer review, экспертная оценка научных работ. От рецензентов зависит, какие ошибки будут исправлены, какие результаты получат признание и какие идеи смогут пробиться на страницы престижных журналов.
И вот исследователи Гарварда
Гэри Кинг и Стивен Уортингтон устроили эксперимент, результаты которого выглядят полным разгромом «кожаных мешков».
Причём людям создали практически идеальные условия.
124 научные рукописи. 134 рецензии высококвалифицированных экспертов. Рецензентов тщательно отбирали, хорошо оплачивали их труд и мотивировали писать максимально содержательные заключения. 88% опрошенных авторов оценили полученные рецензии как хорошие или очень хорошие.
Против этих экспертов выставили
Claude Opus 4.8.
Результат оказался почти невероятным.
100% побед ИИ в 132 однозначных сравнениях, проведённых независимой моделью GPT-5.5.
87% побед в слепой оценке трёх бывших редакторов ведущих научных журналов: 26 из 30 вердиктов по десяти рукописям.
Победа во всех семи категориях — от методов исследования и теоретических идей до обнаружения слабостей, работы с источниками и качества аргументации.
Ошибочных утверждений почти втрое меньше: 5,5% у ИИ против 15,9% у людей. Ни одной вымышленной ссылки в проверенных ИИ-рецензиях.
Исследователи специально проверяли, не объясняется ли успех ИИ большей длиной рецензий, особенностями машинного стиля или предпочтениями ИИ-судьи. Преимущество сохранилось.
Но главный результат этого исследования - даже не разгромный счёт. А перспектива переворота в организации науки.
Представьте новую систему.
Учёный пишет статью и многократно прогоняет её через ИИ-рецензента, устраняя ошибки и укрепляя аргументацию. Журнал предоставляет официальный промпт для проверки. Автор отправляет статью вместе с ИИ-рецензией и ответами на замечания. Редактор проводит независимую проверку и привлекает человека-эксперта лишь в сложных случаях.
Решение о публикации, на которое сегодня уходят месяцы, потенциально можно принимать за дни.
Разумеется, пока это прогноз. Исследование ещё не прошло обычное журнальное рецензирование, охватывает ограниченный круг научных областей и не доказывает, что статьи после советов ИИ действительно становятся лучше. Тем более оно не показывает, что ИИ лучше человека решает, какие открытия заслуживают публикации.
Но именно здесь возникает вопрос, который мне кажется важнее всех остальных.
А что, если лучший рецензент отдельных научных работ окажется худшим архитектором науки в целом?
Ведь наука движется вперёд не только благодаря устранению ошибок. Она развивается благодаря идеям, которые поначалу кажутся ошибочными. Благодаря нарушению привычных правил. Благодаря интеллектуальным мутациям, которые существующие критерии качества ещё не умеют оценивать.
Авторы исследования сами предупреждают: использование сходных ИИ-моделей может сделать отдельные работы качественнее, а науку в целом - более однородной и ортодоксальной.
Представьте миллионы исследователей, совершенствующих свои статьи под требования нескольких практически одинаково мыслящих машинных критиков.
Мы рискуем получить
науку с гораздо меньшим количеством ошибок - и гораздо меньшим разнообразием идей (см. также здесь).
Причём прежняя система человеческого рецензирования тоже подавляла неортодоксальные идеи. Но машинная способна масштабировать подобный эффект с беспрецедентной скоростью.
Так что, не спрашивайте, способен ли ИИ превзойти человека в научной критике.
ИИ уже может быть лучшим критиком сегодняшней науки.
Но кто будет защищать науку завтрашнюю от её лучших критиков – вопрос открыт.
Наука #ГенИИ #Креативность
