В сети распространилось независимое исследование про новую архитектуру трансформера — Recurrent Looped Transformer (RLT)i, которую автор называет шагом к сверхинтеллекту. Разработку представил Yifan Zhang, аспирант Princeton с опытом работы в NVIDIA и ByteDance; полный технический отчёт опубликован в открытом доступе.
RLT отличается от обычного трансформера тем, что передаёт внутренний результат предыдущего шага вычисления в следующий, продолжая обработку по мере чтения и написания текста — это даёт «бесконечную глубину» рассуждений. Пока неясно, действительно ли модель становится умнее и оправдывают ли себя дополнительные вычислительные затраты, но открытая публикация отчёта, по мнению комментаторов, ускорит проверку идеи в опенсорс-сообществе.
ВыводАвтор — Yifan Zhang, аспирант Princeton, ранее работал в NVIDIA и ByteDance