Как нейросети учат ложные корреляции: урок DeepDream
Х@habr_comмедиа / агрегатор
1 месРазбор того, как нейросети выучивают неверные связи в данных на примере DeepDream от Google и проблемы интерпретируемости моделей.
Понимание того, как нейросети принимают решения, критически важно для создания надежных систем.
- Нейросети могут использовать случайные корреляции вместо логических связей.
- Высокая точность модели не гарантирует, что она понимает суть задачи.
- Визуализация внутренних слоев помогает выявить ошибки в обучающих данных.
Снятся ли трансформерам электроовцы?
В 2015 Google выкатила DeepDream, и картинки, где облака прорастают собачьими мордами, разошлись по Интернету как отдельный визуальный стиль. Но за этими картинками исследователей занимало другое — возможность заглянуть внутрь нейросети и понять, что происходит между входной фотографией и списком вероятностей на выходе.
Метод усиливает те участки изображения, на которые сильнее реагируют внутренние сигналы модели. И когда так визуализировали класс «гантель», рядом с ней раз за разом появлялись человеческие руки. Сеть фактически выучила гантель вместе с рукой, которая её держит, потому что на обучающих фото гантели почти всегда держат руками.
Рука не часть гантели, но для модели связь оказалась полезной. И это тот самый случай, когда высокая точность ещё не говорит, что задача решена так, как задумал человек.
Разберёмся, что видит сеть в облаках и почему её внутреннее устройство так тяжело читать.
Кратко (AI)
Автор анализирует проблему интерпретируемости нейросетей на примере алгоритма DeepDream от Google. Выясняется, что модели часто выучивают ложные корреляции, например, связывая гантели с человеческими руками, что ставит под сомнение качество обучения при высокой точности предсказаний.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖