Исследование: разные модели обучаются схожим внутренним представлениям
L@lovedeathtransformersAI-инженер
2 недИсследователи выяснили, что нейросети, обученные на разных данных, приходят к идентичным внутренним структурам с точностью до вращения.
Это открытие помогает лучше понять «черный ящик» нейросетей и то, как именно они структурируют информацию.
- Разные модели приходят к схожим логическим выводам, даже если их обучали по-разному.
- Результаты подтверждают наличие универсальных паттернов в том, как ИИ «понимает» данные.
- Это упрощает интерпретацию работы нейросетей и их сравнение между собой.
Все модели думают одно и тоже ( и учат одно и тоже)
- взяли разные данные
- разные модели
Обучили через SGD и показали что учится одно и тоже с точностью до вращения.
arxiv.org/abs/2507.01098
Кратко (AI)
Авторы исследования на базе arXiv показали, что различные модели, обученные с помощью метода стохастического градиентного спуска (SGD), приходят к практически идентичным внутренним представлениям данных. Несмотря на различия в архитектурах и обучающих выборках, структуры моделей оказываются эквивалентными с точностью до линейного преобразования (вращения).
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖