← к ленте

Проблема цитируемости научных работ в области interpretability of LLM

Т@tech_priestessAI-инженер
1 нед

Автор размышляет о причинах низкой цитируемости новой статьи про внутреннюю размерность активаций LLM в сравнении с более старой работой.

Это отражает общую проблему академической среды, где статус конференции часто важнее научной новизны.

  • Научные работы могут оставаться незамеченными из-за публикации на менее престижных площадках.
  • Существует инерция цитирования, когда старые методы продолжают использовать, несмотря на их неактуальность для новых моделей.
  • Проблема продвижения собственных исследований в узкоспециализированных сообществах остается актуальной для ученых.
Часто грущу от того, что нашей с коллегами последней статьей Unveiling Intrinsic Dimension of Texts: from Academic Abstract to Creative Story никто не интересуется и не цитирует... 💢 Напомню, что статья посвящена анализу внутренней размерности активаций LLM и её связи с различными свойствами текста, который подали на вход модели. Более подробное разъяснение статьи можно найти здесь, посмотреть видос про то, что такое в принципе внутренняя размерность (от 3blue1brown) - тут; ещё более подробное разъяснение популярных способов оценить внутреннюю размерность облака точек можно прочитать здесь. Так вот, вместо этой новой статьи, которая связывает внутреннюю размерность активаций на тестах с лексическим разнообразием и сжимаемостью этих текстов алгоритмом gzip и энтропией (что, на мой взгляд, очень интересно, так как связывает внутреннюю размерность со сжатием представлений в LLM, а, как говорит 3blue1brown, compression is intelligence), челики почему-то цитируют нашу старую статью про детекцию сгенерированных текстов с помощью внутренней размерности, хотя мы же и показали в более поздней статье, что для новых моделей GPT этот метод уже не работает. Скорее всего, это происходит от того, что старая статья была опубликована на NeurIPS, а новая, на мой взгляд, более актуальная, интересная и вносящая больший вклад в область interpretability of LLM - на EACL - то есть, на конференции поменбше и статусом пониже, где эта область вообще почти не представлена, так что мало кто будет ожидать найти в материалах конференции такие работы... Я писала про эту работу в дискорде Neel Nanda, но там никто ею не заинтересовался, так как все только рекламируют свои работы, но не читают чужие... В общем, уже и не знаю, что сделать, чтобы на данную работу обратили внимание 🤔🤔🤔 Помогите советом кто сможет 🥺

Кратко (AI)

Автор статьи жалуется на низкую цитируемость своей новой работы, посвященной анализу внутренней размерности активаций LLM. Несмотря на актуальность темы, исследователи продолжают ссылаться на более старую работу автора, которая уже потеряла эффективность для современных моделей GPT. Основной причиной проблемы автор считает разницу в статусе конференций NeurIPS и EACL, а также общую проблему академического сообщества, где авторы чаще продвигают свои работы, чем читают чужие.

Обсуждение

0
В

Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖