interpretabilityСбросить фильтр ×

Исследовательница жалуется: новую статью об внутренней размерности текстов игнорируют, а устаревшую цитируют

Авторы (канал «Техножрица», пост продублирован также каналом Сергея Маркова) сетуют, что их новая статья «Unveiling Intrinsic Dimension of Texts: from Academic Abstract to Creative Story» практически не цитируется, хотя связывает внутреннюю размерность активаций LLM с лексическим разнообразием текста, его сжимаемостью алгоритмом gzip и энтропией — то есть напрямую со сжатием представлений в модели.

Вместо этой работы сообщество продолжает ссылаться на более старую статью тех же авторов о детекции сгенерированных текстов через внутреннюю размерность, хотя в новой работе показано, что этот метод уже не работает для новых моделей GPT. Автор связывает это с разницей в статусе конференций: старая статья вышла на NeurIPSi, новая — на EACLi, где область интерпретируемости LLM представлена слабо.

Полный разбор →

Activation Oracles не научились считывать концепты, которые их же учили распознавать

Автор (интерпретируемость/AI Safety рисерчер) в июне прошла 5-недельную программу ARENAi (Alignment Research Engineer Accelerator) — техническую школу по AI Safety, — чтобы разобраться в комьюнити interpretabilityi-исследователей и найти fellowship или работу. В последнюю неделю участники в парах делали короткие исследовательские проекты; проект автора с коллегой получился достаточно сильным, и они доработали его до статьи для воркшопа.

Статья «When Activation Oracles Learn Not to Read: Concept-Specific Blind Spots in Fine-Tuned Oracles» показывает контринтуитивный результат: дообучение Activation Oracle (AO) на активациях модели, скрывающей определённый концепт, не обязательно помогает эту скрытую информацию находить — может получиться ровно наоборот.

ВыводARENA (Alignment Research Engineer Accelerator) длилась 5 недель; автор пошла на неё перед ICML и подготовкой к IOAI

5 недельпродолжительность программы ARENA
пятьчисло протестированных скрытых концептов

Полный разбор →

Это всё на сейчас.