Universal Activation Oracle для анализа моделей

Разработчик представил Universal Activation Oracle — инструмент для анализа активаций различных семейств LLM, решающий проблему кастомного обучения.

Инструмент упрощает изучение того, как именно нейросети «думают» и принимают решения.

Позволяет анализировать внутренние состояния разных моделей без долгого обучения.
Упрощает проверку того, какие концепты активируются в модели при ответе на запрос.
Помогает исследователям лучше понимать логику работы закрытых или сторонних LLM.

все видели NLA/J space от антропиков? Вот и я видел, но мне не нравилось что: - кастом модели надо учить с нуля - нельзя смотреть " а была ли модель байеснута при ответе" Ну и я обучил universal activation oracle - училась сразу на разных семействах моделей и через динамическую( там тонкий слой для каждой модели за 20s на цпу чтобы размерности поматчить) можно посмотреть "а что кими3 думает про Путина(ничего хорошего)" - иногда требуется покрутить слой который вы читаете чтобы получить хороший результат, но "почти всегда" работает из коробки на средних слоях. По сути это общее решение для задачи Activation oracle/white box monimonito Велком тыкатся: https://huggingface.co/spaces/AlexWortega/activation-oracle

Universal Activation Oracle для анализа моделей

КонтекстAI

NLA/J space от Anthropic — это исследовательский проект, посвященный интерпретируемости нейросетей через анализ их внутренних активаций (sparse autoencoders). Автор поста предлагает альтернативный подход, который работает универсально для разных архитектур.

Кратко (AI)

Автор представил инструмент Universal Activation Oracle, который позволяет анализировать активации нейросетей разных семейств без необходимости обучения кастомных моделей с нуля. Решение использует динамический слой для адаптации размерностей и позволяет исследовать внутренние состояния моделей, включая Kimi3.

Universal Activation Oracle для анализа моделей

Кратко (AI)

Обсуждение