Universal Activation Oracle: универсальный инструмент для интерпретации моделей
A@abstractDLAI-инженер
3 недАвтор представил Universal Activation Oracle — инструмент для анализа активаций нейросетей, работающий с разными семействами моделей без переобучения.
Это упрощает процесс «чтения мыслей» нейросетей, позволяя исследователям быстрее понимать, как работают разные модели.
- Универсальный подход избавляет от необходимости обучать отдельный интерпретатор для каждой новой модели.
- Позволяет проверять наличие предвзятости или скрытых паттернов в ответах ИИ.
- Инструмент доступен для тестирования на платформе Hugging Face.
все видели NLA/J space от антропиков? Ну типа учат доп модель "reader который читает активации " и по ним отвечает.
Вот и я видел, но мне не нравилось что:
- кастом модели надо учить с нуля
- нельзя смотреть " а была ли модель байеснута при ответе"
Ну и я обучил universal activation oracle - училась сразу на разных семействах моделей и через динамическую( там тонкий слой для каждой модели за 20s на цпу чтобы размерности поматчить) можно посмотреть "а что кими3 думает про Путина(ничего хорошего)" - иногда требуется покрутить слой который вы читаете чтобы получить хороший результат, но "почти всегда" работает из коробки на средних слоях.
По сути это общее решение для задачи
Activation oracle/white box monimonito
Велком тыкатся:
https://huggingface.co/spaces/AlexWortega/activation-oracle
КонтекстAI
Речь идет о методах механистической интерпретируемости (Mechanistic Interpretability), где исследователи пытаются понять, как именно нейросети обрабатывают информацию, анализируя их внутренние активации. NLA/J (Neural Language Analysis) — это подход к чтению «мыслей» модели через дополнительные классификаторы.
Кратко (AI)
Разработчик представил Universal Activation Oracle — инструмент для анализа активаций различных языковых моделей. В отличие от существующих решений, он не требует обучения с нуля для каждой модели и позволяет интерпретировать внутренние состояния нейросетей через динамический слой адаптации.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖