Конференция ICLRi, одна из топовых по машинному обучению, столкнулась с рекордным ростом числа поданных статей — их уже больше 60 тысяч, что превышает суммарное количество сабмитов за всю предыдущую историю конференции. Организаторы в шоке и вынуждены искать способ автоматизировать ревью, потому что проверить такой объём вручную физически невозможно.

Это резкий разрыв с прежним экспоненциальным трендом роста заявок: раньше кривая была предсказуемой, а в этом году даже она «растерялась». Обсуждаемое решение — AI-assisted reviewi, то есть проверка статей с помощью ИИ, — фактически становится единственным реалистичным вариантом.

• 10 лет назад Ян ЛеКун писал о 500 статьях, поданных на ICLR — это было вдвое больше, чем годом ранее
• В этом году число сабмитов превысило 60 тысяч
• Ожидается, что финальное число упадёт с 60 тысяч до 45–50 тысяч (за счёт отсева части заявок), но это всё равно рекордный объём
• Рассматривается идея разделить статьи на две ветки: прошедшие классическое ревью людьми и прошедшие ревью с помощью ИИ
• Предлагается система кредитов: поощрять авторов, согласных на AI-review, и штрафовать тех, кто присылает откровенно слабые работы, тратя время рецензентов-людей
• Автор поста называет ситуацию «слопакалипсисом» и отмечает, что качество автоматического ревью ещё предстоит обсуждать — в отличие от качества отсутствующего ревью, которое обсуждать «немного сложнее»