The Information опубликовали статью о новой модели OpenAI с кодовым названием Astra, заявив, что в её основе лежит революционная архитектура «рекуррентная глубина» (recurrent depthi) или «зацикленный трансформер» (looped transformeri): модель прогоняет текст через одни и те же слои несколько раз перед генерацией очередного токена, что делает компактную сеть эффективнее крупной. Издание также утверждало, что этот метод скрывает «цепочку рассуждений» модели, из-за чего сложнее отслеживать нежелательное поведение ИИ — и это якобы вызвало опасения внутри OpenAI и всей индустрии.

Однако вскоре выяснилось, что «революция» — во многом журналистское преувеличение: похожая техника известна давно, использовалась в опенсорсе и восходит к работе Google «Mixture-of-Recursions» (NeurIPS). Представитель OpenAI Якуб Пахоцкий публично назвал репортаж вводящим в заблуждение, а исследователь Себастьян Рашка указал, что повторное использование слоёв само по себе не подавляет видимую цепочку рассуждений — оно лишь добавляет вычисления в скрытых состояниях, как и обычные слои трансформера.

• По данным источника The Information, знакомого с разработкой Astra, подход аналогичен подходу из прошлогодней научной статьи о «скрытых рассуждениях»
• OpenAI ограничила использование метода рекуррентной глубины при работе над Astra (цитата из статьи обрывается на этом моменте)
• Data Secrets указывает: идея looped transformer восходит к работе Google «Mixture-of-Recursions» с конференции NeurIPS и уже неоднократно применялась в опенсорс-моделях
• Якуб Пахоцкий (OpenAI) публично заявил, что репортаж The Information вводит в заблуждение
• Себастьян Рашка: повторное использование слоёв не подавляет видимый chain-of-thoughti, а лишь добавляет вычисления в скрытых состояниях перед генерацией токена — так же, как обычные слои трансформера
• Автор канала «Сиолошная» отмечает: сама цепочка рассуждений остаётся видимой, увеличивается лишь объём вычислений между токенами, а обычное увеличение числа слоёв модели без всякой рекурсии приводит к тому же эффекту
• Канал e/acc указывает, что модели поколения о1 («клубника») выполняли рассуждения «вслух» текстом, тогда как Astra предположительно делает это напрямую через активацию весов, без декодирования и авторегрессии