Авторы (канал «Техножрица», пост продублирован также каналом Сергея Маркова) сетуют, что их новая статья «Unveiling Intrinsic Dimension of Texts: from Academic Abstract to Creative Story» практически не цитируется, хотя связывает внутреннюю размерность активаций LLM с лексическим разнообразием текста, его сжимаемостью алгоритмом gzip и энтропией — то есть напрямую со сжатием представлений в модели.

Вместо этой работы сообщество продолжает ссылаться на более старую статью тех же авторов о детекции сгенерированных текстов через внутреннюю размерность, хотя в новой работе показано, что этот метод уже не работает для новых моделей GPT. Автор связывает это с разницей в статусе конференций: старая статья вышла на NeurIPSi, новая — на EACLi, где область интерпретируемости LLM представлена слабо.

• Новая статья называется «Unveiling Intrinsic Dimension of Texts: from Academic Abstract to Creative Story» и опубликована на конференции EACL
• Старая, более цитируемая статья того же коллектива — про детекцию генерируемых текстов с помощью внутренней размерности — была опубликована на NeurIPS
• В новой статье авторы показали, что метод детекции сгенерированных текстов на основе внутренней размерности не работает для новых моделей GPT
• Новая работа связывает внутреннюю размерность активаций LLM с лексическим разнообразием текста, его сжимаемостью алгоритмом gzip и энтропией
• Автор ссылается на идею 3blue1brown о том, что «compression is intelligence», как на основание считать новую статью значимой для области interpretability of LLM
• Автор публиковала информацию о работе в дискорд-сообществе Neel Nanda, но интереса там не вызвала — по её словам, участники там продвигают только свои работы, а чужие не читают