Исследователи DeepMind описали феномен Abstraction Collapse
T@kryak_startupAI-инженер
6 чИсследователи DeepMind опубликовали работу о феномене Abstraction Collapse, который ставит под сомнение эффективность бесконечного контекста в LLM.
Это исследование ставит под сомнение текущий тренд на бесконечное увеличение контекста в нейросетях.
- Увеличение контекстного окна может приводить к деградации способности модели к абстракции.
- Разработчикам ИИ, возможно, придется пересмотреть архитектурные подходы к обработке длинных данных.
- Результаты показывают, что «больше контекста» не всегда означает «умнее».
😭DeepMind "The Illusion of Infinite Context" исследователи описали феномен Abstraction Collapse
КонтекстAI
В последние годы разработчики LLM активно увеличивают размер контекстного окна (до миллионов токенов), чтобы модели могли «читать» целые книги или базы кода. Исследование DeepMind ставит под сомнение целесообразность этого тренда, указывая на фундаментальные ограничения в том, как модели обрабатывают и сжимают информацию при экстремально длинных контекстах.
Кратко (AI)
Исследователи DeepMind представили работу под названием «The Illusion of Infinite Context», в которой описывают феномен Abstraction Collapse. Авторы утверждают, что увеличение контекстного окна в больших языковых моделях не всегда ведет к улучшению качества работы и может приводить к потере способности модели к абстрактному мышлению.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖