eaclСбросить фильтр ×

Исследовательница жалуется: новую статью об внутренней размерности текстов игнорируют, а устаревшую цитируют

Авторы (канал «Техножрица», пост продублирован также каналом Сергея Маркова) сетуют, что их новая статья «Unveiling Intrinsic Dimension of Texts: from Academic Abstract to Creative Story» практически не цитируется, хотя связывает внутреннюю размерность активаций LLM с лексическим разнообразием текста, его сжимаемостью алгоритмом gzip и энтропией — то есть напрямую со сжатием представлений в модели.

Вместо этой работы сообщество продолжает ссылаться на более старую статью тех же авторов о детекции сгенерированных текстов через внутреннюю размерность, хотя в новой работе показано, что этот метод уже не работает для новых моделей GPT. Автор связывает это с разницей в статусе конференций: старая статья вышла на NeurIPSi, новая — на EACLi, где область интерпретируемости LLM представлена слабо.

Полный разбор →

Это всё на сейчас.