В сети распространилось независимое исследование про новую архитектуру трансформера — Recurrent Looped Transformer (RLT)i, которую автор называет шагом к сверхинтеллекту. Разработку представил Yifan Zhang, аспирант Princeton с опытом работы в NVIDIA и ByteDance; полный технический отчёт опубликован в открытом доступе.

RLT отличается от обычного трансформера тем, что передаёт внутренний результат предыдущего шага вычисления в следующий, продолжая обработку по мере чтения и написания текста — это даёт «бесконечную глубину» рассуждений. Пока неясно, действительно ли модель становится умнее и оправдывают ли себя дополнительные вычислительные затраты, но открытая публикация отчёта, по мнению комментаторов, ускорит проверку идеи в опенсорс-сообществе.

• Автор — Yifan Zhang, аспирант Princeton, ранее работал в NVIDIA и ByteDance
• Ключевая техническая сложность — правильная реализация KV-памяти, чтобы избежать ограничения контекстного окна модели в 1-2M токенов
• Технический отчёт RLT опубликован полностью в открытом доступе
• В сопроводительном заявлении говорится, что прогресс на «открытом фронтире» следует замедлить до достижения безопасного сверхинтеллекта
• Остаётся открытым вопрос, кто именно будет принимать решение о том, когда останавливать развитие