Yifan Zhang представил RLT: архитектуру с «бесконечной глубиной»
F@FuturisAI-инженер
1 месАспирант Princeton Yifan Zhang опубликовал исследование RLT — рекуррентного трансформера с циклической обработкой для достижения «бесконечной глубины».
Новый подход к архитектуре нейросетей может позволить моделям эффективнее обрабатывать длинные контексты.
- RLT вводит циклическую передачу данных между шагами вычислений.
- Архитектура претендует на преодоление ограничений стандартных трансформеров по глубине обработки.
- Технический отчет опубликован в открытом доступе для дальнейшего тестирования сообществом.
Ой, а что это, вдруг появилось независимое исследование про сверхинтеллект и уже взрывает Х, как кстати для opensource:
«Мы на пороге сверхинтеллекта» — с таким заявлением Yifan Zhang, аспирант Princeton с опытом работы в NVIDIA и ByteDance, выкатил RLT — Recurrent Looped Transformer, рекуррентный трансформер с циклической обработкой. Это развитие привычного трансформера: обычная модель обращается к сохранённому контексту, а RLT дополнительно передаёт внутренний результат предыдущего шага в следующий, продолжая вычисление по мере чтения и написания текста - отсюда «бесконечная глубина». Полный технический отчёт открыт - станет ли модель умнее и оправдает ли дополнительные затраты, ещё предстоит проверить, но думаю опенсорс тут не затормозит в отличие от некоторых😊
Кратко (AI)
Аспирант Принстонского университета Yifan Zhang представил архитектуру RLT (Recurrent Looped Transformer). В отличие от стандартных трансформеров, эта модель передает внутренние результаты предыдущих шагов в последующие, что теоретически обеспечивает «бесконечную глубину» вычислений.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖